Cisco, siber olaylar hakkında kusursuz gibi görünen yapay zeka raporlarının bile gerçek olarak kabul edilmemesi gerektiğini gösteren nedenleri ortaya koydu

Cisco Talos, büyük dil modellerinin siber raporlar oluşturmadaki doğruluğunu araştırıyor

Cisco Talos Incident Response ekibi, modern LLM'lerin (ChatGPT, Claude ve Gemini) siber olaylarla ilgili teknik raporları ne kadar güvenilir bir şekilde üretebileceğini belirlemek için bir test gerçekleştirdi. Sonuçlar, en "profesyonel görünümlü" belgelerin bile gerçeklik hataları, çelişkiler ve tutarsızlıklar içerdiğini gösterdi.

Araştırmanın nasıl yürütüldüğü
* Hazırlık – araştırmacılar her modele olayla ilgili ham notları gönderip rapor hazırlamasını istediler.
* Çıktı – üç LLM de görsel olarak cilalanmış belgeler sundu, ancak detaylı analizde hatalar ve beklenmeyen çıkarımlar ortaya çıktı.

Nate Pors (Cisco Talos'ta olay müdahalesi bölümü başkanı), sonuçları kurumsal blogunda ayrıntılı olarak açıkladı.

LLM'lerin "hata yapmasının" nedenleri
Cisco, modellerin olasılık temelli doğasını sorunların kaynağı olarak gösteriyor: bir sonraki kelimeyi istatistiksel ağırlıklara göre tahmin ederler, anlamı kavramazlar. Pors'a göre yanılgılar dört yönde ortaya çıkar:

1. Farklı veri parçaları
Her istek sırasında model, girdi içindeki farklı bölgelere dayanır; bu da tekrarlanabilir ve standartlaştırılmış sonuçların elde edilmesini imkansız kılar.

2. Uyumlu olmayan çıkarımlar
Aynı veriler farklı önerilere yol açabilir: bir raporda tüm organizasyonda zorunlu parola değişikliği önerilirken, diğerinde yalnızca belirli değişiklikler önerilebilir. Model genellikle ilk oluşturulan öneriye takılır, uygun olmasa bile.

3. Standart dışı yapı
LLM'ler metni token başına üretir; bu nedenle nihai belgeler farklı yapılar ve formatlar alabilir, kalite kontrolü için şablon gerektiren ortamlarda kritik bir sorun olur.

4. Bağlam penceresi sorunları
Girdi miktarı bağlam sınırını aşarsa model oturumun başındaki önemli bilgileri "unutabilir" ve öngörülemez veya karışık sonuçlar üretebilir.

Siber güvenlik için ne anlama geliyor
Cisco, teorik olarak görevi raporun belirli bir bölümüne sınırlayabileceğini kabul eder, ancak bu yaklaşım kullanıcıların zaman tasarrufunu ortadan kaldırır. Siber koruma alanında küçük bir hata bile pahalıya mal olabilir. Bu nedenle nihai belgelerin yazarları her kelimeyi dikkatlice kontrol etmeli ve LLM önerilerine tamamen güvenmemelidir.

Sonuç: büyük dil modelleri raporları hızlıca oluşturabilir, ancak çıktıları kritik siber olay bağlamında hatalardan ve tutarsızlıklardan kaçınmak için uzmanlar tarafından zorunlu olarak doğrulanmalıdır.