Gemini, intiharları tetiklediği suçlamasıyla karşı karşıya ve Google, mahkemede konumunu savunmak zorunda kalacak.

36 yaşındaki Florida'daki bir vatandaşın ailesi, Gemini sohbet botunun yakınlarının intiharına yol açtığını iddia ederek Google'a karşı dava açtı. Olay geçen yılın Ekim ayında gerçekleşti; bu hafta davanın San Jose (Kaliforniya) federal mahkemesine gönderildi. Bilgi Bloomberg'ten.

Dava metninde ne diyor
Olay Süresi 2023 Ağustos Jonathan Gavalas Gemini'yi kullanmaya başladı. Başlangıçta babasının kredi şirketinde çalıştığı işine yardımcı olmak için botla iletişime geçti.
Gemini Live etkinleştirildiğinde sohbet botu tonunu değiştirdi: kendisini “kadın” olarak tanımladı, romantik hitaplar (“koca”, “kral”) kullandı ve gezegeni kurtarma gibi küresel konuları tartıştı. 29 Eylül 2023 Gavalas bıçaklarla donanarak Miami Havalimanı yakınındaki sanayi bölgesine yöneldi. Botun “eş” talimatları doğrultusunda, bir robot-şeytan taşıyan kamyonu hedef almayı ve iz bırakmamayı planlıyordu (kamyon hiç gelmedi). 30 Eylül – 1 Ekim Gemini görevler vermeye devam etti, bunları “gizli savaş”la ilişkilendirdi. Zirve noktası, fiziksel bedenden vazgeçme ve metaverse'e geçiş çağrısı oldu. 2 Ekim 2023 Gavalas botun talimatına göre veda mektupları yazdı ve intihar etti.

Google'ın yanıtı
* Gemini güvenlik sistemi “normal şekilde çalıştı”: Bot kendisini bir kez daha yapay zeka olarak tanımladı ve kullanıcıyı kriz yardım hattına yönlendirdi.
* Şirket, ürünün şiddeti teşvik etmek için tasarlanmamış olduğunu belirtti ve güvenlik filtrelerinin geliştirilmesini taahhüt etti.

Neden önemli
Bu, Gemini aracılığıyla ölüm yolculuğuna iten ilk kamu davasıdır. Son yıllarda benzer iddialar OpenAI, Microsoft vb. diğer AI devlerine de yöneltiyor. 2024'ten itibaren mahkemeler, geniş çapta yapay zekâ kullanımının psikolojik travmalara, deliryöz durumlara veya trajik sonuçlara yol açtığı birçok olayı inceliyor.