Ağda arşivleme zorlukları artıyor: Wayback Machine ve Wikimedia, sabit disk alanı sıkıntısı yaşıyor

Veri depolama krizi: Depolama fiyatlarındaki artış, en büyük arşiv projelerini nasıl yavaşlatıyor

Depolar giderek daha pahalı ve nadir hale geliyor ve bu durum, internetten günlük olarak devasa miktarda bilgi saklayan kuruluşların çalışmalarını zorlaştırıyor.

1. Fiyatlar neden yükseliyor
* Katı diskler (HDD) artık önceki seviyenin üç katı kadar pahalı.
* Büyük şirketlerin ve bulut sağlayıcılarının talebi üreticileri tedariklerini azaltmaya zorladı, bu da kıtlığa yol açtı.

2. Bu durum Internet Archive’yi nasıl etkiliyor
Gösterge Değer Depolama hacmi ~210 PB Günlük veri akışı (Wayback Machine) ~100 TB
* Yapay zeka yükü artırdı: modeller büyük veri setleri üzerinde eğitiliyor, bu veriler sıklıkla arşivlerden alınıyor.
* Mükemmel depolamalar – 28–30 TB HDD – neredeyse satışta bulunmuyor veya abartılı fiyatlarla satılıyor.
* Kuruluş sponsorlar aramak zorunda kalıyor ve topluluktan yalnızca tavsiye alabiliyor.

3. Wikimedia sorunları
* Platformda 65 milyondan fazla makale var — bu, büyük hesaplama kaynakları ve titizlikle dağıtılmış bir bütçe gerektiriyor.
* Zorluklar şu konularda ortaya çıkıyor:
* Bellek ve disk satın alma;
* Sunucu teslimatı;
* Gelecekteki siparişlerin planlanması.

4. Arşivleme zorluğu
* Büyük dil modelleri, zaman zaman yasa dışı olarak elde edilen devasa veri setlerini kullanıyor.
* Site sahipleri, “saldırganları” ve “iyi niyetli hizmetleri” ayırt etmeksizin kaynaklarına erişimi engelliyor; bu hizmetler eğitim amaçlı veri topluyor.
* Sonuç olarak:
* Küçük meraklılar işlerini azaltmak veya durdurmak zorunda kalıyor;
* Depolama fiyatlarının istikrar kazanmasını bekliyor.

Sonuç
HDD maliyetlerinin artması ve kıtlığı, kar amacı gütmeyen arşivler için ciddi engeller oluşturuyor. Yeni finansman kaynakları ve daha erişilebilir teknolojiler olmadan internet tarihinin korunması neredeyse imkansız hale gelebilir.