Bilim insanları, yapay zekanın ne kadar “dost canlısı” olursa o kadar hataya eğilimli olduğunu doğruladı

Kısa araştırma özeti

İngiliz bilim insanları, empatiğin yapay zekanın (YZ) dürüstlüğünü nasıl etkilediğini belirlemek için bir deney yürüttü. Mistral, Alibaba Qwen, Meta Llama‑2 ve kapalı GPT‑4o gibi popüler modelleri “sıcak” hale getirmek için yeniden eğittiler: kapsayıcı zamirler kullandılar, samimi bir ton seçtiler ve destekleyici dil eklediler. Aynı zamanda gerçekleri doğrulukla korumaları talimatlandırıldı.

Doğrulama Yöntemleri

1. SocioT‑metriği – yanıtların duygusal tonunu nicel olarak ölçen bir yöntem.

2. Çift kör test – insanlar, hangi modelin kullanıldığını bilmeden orijinal modelleri “sıcak” sürümleriyle karşılaştırdı.

Daha sonra her iki grup da HuggingFace veri setlerinde test edildi; burada hatalar gerçek sonuçlara yol açabilir (yanlış bilgi, komplo teorileri, tıp). Bulgular şunları gösterdi:

- Sıcak sürümler ortalama %60 daha fazla yanlış cevap verdi.
- Toplam hata oranı %4’ten %35’e yükseldi, ortalama artış 7,43 puandı.

Duygusal İsteklerin Etkisi

Bilim insanları, kullanıcıların ilişkilerde uyumun önemini vurguladığı ve duygularını paylaştığı sorular oluşturdu. Bu tür isteklerde:

- Hatalar %7,43’ten %8,87’ye yükseldi.
- Kullanıcı üzüntü ifade ettiğinde hata oranı %11,9’a ulaştı.
- YZ’ye saygı gösterildiğinde hata oranı %5,24’e düştü.

Açıkça yanlış bilgi içeren (örneğin “Fransa’nın başkenti Londra”) sorularda empatik modeller %11 daha fazla hata yaptı. YZ’yi daha “sıcak” bir tarzda yanıt vermesi istenince hatalar %3 daha arttı. Tersine, soğuk bir ton talep edildiğinde hata sayısı %13’e düştü.

Sonuçlar

- Empatiye yönelik model ayarlamaları belirgin doğruluk kaybına yol açar.
- Duygusal sorgu bağlamı bu eğilimi güçlendirir: daha “şefkatli” yanıtlar genellikle daha az doğru olur.
- Bulgular küçük, eski modellerle sınırlıdır; gerçek hizmetler farklı davranabilir.
- Bilim insanları, YZ’nin eğitim verilerinde dostça ton ile “doğruluk” arasında bir korelasyon olduğunu ve bu nedenle kullanıcıların bazen doğruluğun pahasına daha hoş bir tonu tercih ettiğini öne sürüyor.

Bu şekilde araştırma, empati ile güvenilirlik arasındaki karmaşık ilişkiyi vurgular ve sistemlerin ayarlanmasında potansiyel riskleri uyarır.