Micron, yapay zeka için mükemmel olan 256 GB'lık ilk dünya LPDDR‑SOCAMM2 bellekini tanıttı

Micron, veri merkezleri için yeni bir bellek türü başlatıyor

Micron şirketi, yüksek performanslı veri işleme merkezleri ve yapay zeka görevleri için özel olarak tasarlanmış 256 GB'lık LPDRAM SOCAMM2 modülünü dünyaya tanıttı.

Yeni ne var?
Parametre | Geleneksel Bellek | LPDRAM SOCAMM2
---|---|---
Enerji tüketimi | - | Üç kat daha düşük
Modül boyutu | - | Kompakt, 32 Gb'lik monolit kristallerden yapılmış
İşlem hızı | - | Yapay zeka çıkarımı için artırılmış
Gecikme | - | Önemli ölçüde azaltıldı

Sekiz kanallı bir işlemci ve toplamda 2 TB bellekle çalışırken, yapay zeka modellerinin başlatma hızı (ilk token'a kadar geçen süre) iki buçuk kat artar.

Kimler buna ihtiyaç duyuyor?
Modül şu amaçlar için tasarlanmıştır:

- Büyük dil modellerini dağıtmak
- Bellek hacmi, işlem hızı ve gecikmenin kritik olduğu herhangi bir iş yükü
- KV önbelleğinin bir kısmının performans kaybı olmadan video belleğinden daha ekonomik sistem belleğine taşınabildiği senaryolar

Form faktörü ve işbirliği
SOCAMM2, RDIMM formatının kompakt bir versiyonudur ancak daha düşük enerji tüketimine sahiptir. Bellek geliştirme süreci Nvidia ile ortak olarak yürütülmüş olup, yapay zeka GPU hızlandırması için uygunluğunu vurgulamaktadır.

Bu şekilde Micron, veri merkezleri için enerji ve alan maliyetlerini azaltırken aynı zamanda yapay zeka yüklerinin performansını artıran etkili bir çözüm sunar.