Turkish
WEKA, NVIDIA STX referans mimarisi ile NeuralMesh platformunun entegrasyonunu duyurarak, Artırılmış Bellek Izgarasını (Augmented Memory Grid) yeni nesil yapay zeka altyapısı için temel bir yapı taşı olarak konumlandırdı. Birleşik çözüm, büyük ölçekli çıkarım ortamlarındaki en önemli darboğazlardan birini ele alıyor: performansı, toplam sahip olma maliyetini ve ölçeklenebilir büyümeyi doğrudan etkileyen bellek kısıtlamaları.
NeuralMesh aracılığıyla çalışan WEKA'nın Artırılmış Bellek Izgarası, anahtar-değer önbelleklerini dışa aktarıp kalıcı hale getirerek GPU belleğini genişletiyor. NVIDIA STX ile dağıtıldığında, bu mimari, oturumlar, araçlar ve uçtan uca iş akışları boyunca uzun bağlamlı akıl yürütmeyi destekleyerek, aracılı yapay zeka iş yükleri için yüksek verimli bağlam belleği depolama sağlıyor. Şirkete göre, NVIDIA Vera Rubin NVL72 sistemleri, BlueField-4 DPUs ve Spectrum-X Ethernet'i birleştiren konfigürasyonlar, bağlam belleği token verimini 4 ila 10 kat artırabiliyor. Platformun ayrıca geleneksel yapay zeka depolama mimarilerinin performansını iki katından fazla artırarak en az 320 GB/s okuma ve 150 GB/s yazma verimi sağlaması bekleniyor.
Bellek Altyapısı Çıkarım Darboğazı Haline Geliyor
WEKA, bu entegrasyonu modern yapay zeka dağıtımlarındaki büyüyen bellek duvarı zorluğuna odaklıyor. Günümüzün çıkarım işlem hatlarında, sınırlı yüksek bant genişlikli GPU belleği, sık KV önbelleği tahliyelerine neden olarak tekrarlanan yeniden hesaplamalara ve azalan operasyonel verimliliğe yol açıyor. Sistem eşzamanlılığı arttıkça, bu verimsizlikler katlanarak artıyor, altyapı harcamalarını artırıyor ve performans öngörülebilirliğini azaltıyor.
Şirket, paylaşılan KV önbelleği altyapısını çözüm olarak tanıtıyor. Paylaşılan önbellekleme, kullanıcılar ve oturumlar arasında kalıcı bağlamı koruyarak gereksiz işlemeyi ortadan kaldırır ve token verimini stabilize eder. NVIDIA STX bu model için doğrulanmış referans mimarisini sağlarken, WEKA depolama ve bellek genişletme katmanını sunuyor.
NeuralMesh ve Artırılmış Bellek Izgarası Mimarisi
NeuralMesh, tüm NVIDIA STX yığınıyla sorunsuz bir şekilde entegre olacak şekilde tasarlanmış WEKA'nın dağıtık depolama platformu olarak görev yapıyor. Yapay zeka iş yükleri için optimize edilmiş yüksek performanslı veri hizmetleri sunarken, Artırılmış Bellek Izgarası, KV önbelleğini GPU belleği dışında konsolide eden özel bir bellek genişletme katmanı olarak hizmet veriyor.
Bu tasarım, çıkarım ortamlarının GPU kaynaklarını aşırı yüklemeden uzun bağlamlı oturumları sürdürmesine olanak tanıyor. Önbellek durumunu koruyarak ve iş yükleri arasında yeniden kullanıma izin vererek, platform dağıtımlar ölçeklendikçe yüksek kullanım ve tutarlı performans sağlıyor.
WEKA, ilk olarak GTC 2025'te tanıtılan ve şu anda genel kullanıma sunulan Artırılmış Bellek Izgarası'nın, BlueField DPUs ile eşleştirilmiş NVIDIA Grace CPU platformlarında doğrulandığını belirtiyor. Mimari, GPU başına daha yüksek token verimi ve artan eşzamanlılık altında kararlı performans dahil olmak üzere çıkarım verimliliğinde ölçülebilir kazanımlar sağlıyor. Veri yolunu BlueField-4'e boşaltmak aynı zamanda CPU yükünü azaltıyor ve G/Ç darboğazlarını hafifletiyor.
Performans ve Verimlilik Kazanımları
Üretim benzeri ortamlarda, platform yanıt verme yeteneğini ve altyapı verimliliğini artırmak için tasarlanmıştır. WEKA, Artırılmış Bellek Izgarası'nın ilk token'a kadar geçen süreyi 4 ila 20 kat azaltırken, GPU başına token çıktısını 6,5 kata kadar artırabildiğini belirtiyor. Bu iyileştirmeler, daha yüksek KV önbelleği isabet oranlarından ve daha az yeniden hesaplama döngüsünden kaynaklanıyor, bu da sistemlerin bağlam boyutları ve kullanıcı sayıları genişledikçe performansı korumasını sağlıyor.
Yapay zeka altyapı sağlayıcısı Firmus, NVIDIA tabanlı altyapı ile NeuralMesh'i kullanan erken bir benimseyici olarak öne çıkıyor. Firma, ek donanım dağıtımları yerine mevcut GPU'ların daha verimli kullanımından elde edilen kazanımlarla, ölçekte gelişmiş token verimi ve daha düşük gecikme süresi bildiriyor.
Yapay Zeka Altyapı Tasarımı İçin Etkileri
Bu entegrasyon, bellek ve depolama stratejilerinin genel performansı ve maliyet verimliliğini giderek daha fazla tanımladığı yapay zeka sistem tasarımında bir değişime işaret ediyor. Aracılı yapay zeka iş yükleri genişledikçe ve bağlam pencereleri büyüdükçe, artan yeniden hesaplama maliyetleri ve az kullanılan GPU'lar nedeniyle yalnızca DRAM tabanlı yaklaşımlar sürdürülemez hale geliyor.
WEKA, kalıcı, paylaşılan KV önbelleğini yapay zeka fabrikaları için temel bir yetenek olarak konumlandırıyor. Bu modeli benimseyen kuruluşlar, daha yüksek GPU kullanımı, çıkarım görevi başına daha düşük enerji tüketimi ve daha öngörülebilir ölçeklendirme elde edebilir. Buna karşılık, yalnızca yerel GPU belleğine güvenen ortamlar, iş yükleri büyüdükçe artan operasyonel maliyetler ve azalan getirilerle karşı karşıya kalacaktır.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web Sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla işbirliği yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak” Güvenilir BT Ürün Hizmet Sağlayıcınız!
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web Sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla işbirliği yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak” Güvenilir BT Ürün Hizmet Sağlayıcınız!