Claude Mythos testlerle güvenlik açıklarını tespit etmede lider olarak doğrulanmış olsa da, aynı zamanda başka eksiklikler de göstermektedir

Kısa Özet

XBOW, Anthropic’in Mythos Preview yapay zeka modelini bağımsız olarak değerlendirdi. Sonuçlar, modelin kaynak kodu güvenlik açıklarını bulmada ve yerel kod ile tersine mühendislikte mevcut benzerleri geride bıraktığını gösteriyor; ancak izole kod analizi ve bulunan istismarların pratik uygulanabilirliğinin doğrulanmasında zayıflıklar görüyor. Modelin maliyeti sorundur: Mythos, Opus’tan daha pahalıdır, fakat token bütçesi sınırlı olduğunda bazen daha yüksek doğruluk sunabiliyor.

1. XBOW neyi kontrol etti
- Test kapsamı – Mythos Preview üzerinde bağımsız deneyler dizisi.
- Senaryolar – kaynak koda erişimi olan çalışan sistemlerin denetimi, izole kod analizi, tersine mühendislik ve grafik arayüzle etkileşim.

2. Önemli Bulgular
| Kriter | Mythos Preview | Karşıt Modeller |
|--------|----------------|----------------|
| Açık Bulma | Tüm modeller arasında en iyi performans, özellikle kaynak kodu ve yerel programlamada. | Daha az kesin, ancak belirli durumlarda bazen daha güvenilir. |
| Yanlış Uyarı Azaltma | Önceki modellere göre daha fazla “yanlış” bulmayı ortadan kaldırır. | Sıklıkla daha fazla sahte alarm verir. |
| İzole Kod Problemleri | Sistem bağlamı olmadan zayıf performans gösterir. | Satır bazlı analizde bazı modeller daha iyi çalışır. |
| İstismar Doğrulama | Literatüre çok bağlı, bazen bulguların pratik değerini fazla değerlendirir. | Gerçek uygulanabilirliğe karşı daha eleştirel. |
| Tersine Mühendislik ve Yerel Kod | Güçlü sonuçlar; kaynak kodu olmadan program mantığını iyi anlar. | Bu görevlerde biraz daha az doğruluk. |
| UI Etkileşimi | Eleman koordinatlarını her zaman doğru bulamaz, fakat tarayıcıdaki gerekli eylemleri başarılı bir şekilde tanımlar. | Bazı modeller konumlandırmada daha kesin. |

3. Maliyet ve Verimlilik
- Fiyatlandırma – Anthropic, Mythos’un Opus’tan beş kat pahalı olacağını duyurdu.
- Ekonomik Analiz – XBOW, “ucuz” modellere daha fazla çalışma süresi vererek deneyler yaptı. Sonuçlar, maliyete göre normalleştirildiğinde Mythos Preview’ın yüksek doğruluk gerektiren görevlerde harcanabilir olmadığını gösterdi.
- Benchmark’lar – Sabit token bütçesinde Mythos, web güvenlik açıklarını bulmada Opus 4.6’yı geride bırakıyor, ancak GPT5.5’e geri kalıyor.

4. Sonuç
Mythos Preview, kaynak kodu ve yerel programların denetiminde, tersine mühendislikte ve web uygulama analizlerinde olağanüstü güç gösteriyor. Ancak model bazen bulduğu güvenlik açıklarının gerçek uygulanabilirliğini hafife alıyor ve izole kod analizi konusunda zayıflıklar sergiliyor. Token kaynakları sınırlı olduğunda Mythos, Opus’tan daha avantajlı olabilir; fakat tam bütçeyle GPT5.5 rekabetçi kalmaya devam ediyor.

XBOW’un Değerlendirmesi: Mythos Preview, potansiyel güvenlik açıklarını tespit etmek için güvenilir bir araçtır ancak bulunan istismarların pratik değerinin ek doğrulamasını gerektirir.