Turkish
DDN, Paris'teki RAISE Zirvesinde, büyük ölçekli yapay zeka çıkarım dağıtımları için verimliliği artırmaya odaklanan Avrupalı egemen hibrit bulut sağlayıcısı Nebul ile devam eden işbirliğini sergiledi.Geçen hafta açıklandı., ortak girişim, Nebul'ün çıkarım platformunu, DDN'nin Infinia veri istihbarat mimarisi ve NVIDIA hızlandırılmış bilişimini bir araya getirerek önemli bir üretim yapay zekâ sıkışıklığını çözüyor:İfade iş yükleri sırasında veri hareket maliyetleri ve performans sınırlamaları.
DDN, işbirliğini kritik üretim ölçümleri etrafında çerçeviyor: GPU kullanımı, token verimi, token başına maliyet ve gecikme.İfade operasyonel ve ticari getirilerini tanımlar.Ajantik yapay zekâ'nın (AI) artan kullanımı, arındırma-artırılmış nesil (RAG),ve yüksek eşzamanlı çıkarım, depolama ve veri altyapısının hızlandırıcı verimliliğini ve yapay zeka yanıt hızlarını doğrudan etkilediğini gösterir..
Bu aktif konsept kanıtlama projesi ilk umut verici sonuçlar verdi.Ortaklar, KV önbelleği etkinleştirildiğinde ve RoCE tabanlı altyapı için geçerliliği tamamladıklarında, ilk simge zamanında ölçülebilir iyileşmeler kaydettiler.Devam eden karşılaştırma, daha uzun çıkarım dizisi uzunluklarını kapsar ve Infinia platformu için daha fazla optimizasyon potansiyelini açar.İşbirliği, aynı zamanda NVIDIA'nın karşılaştırma çerçeveleri üzerinde ortak çabalarına da yayılıyor., ölçeklenebilirlik doğrulama ve önümüzdeki teknik yayınlar.
Entegre platform dağıtılmış KV önbellek hizmetlerini, GPU-native veri hareketini, akıllı veri orkestrasyonunu ve yüksek performanslı depolama mimarisini kullanır.KV önbellek hızlandırması, önceden hesaplanmış dikkat durumlarını koruyarak ve hızlı bir şekilde geri alarak önemli çıkarım kazançları sağlar, gereksiz hesaplamaları azaltmak ve GPU'nun boşlukta çalışmasına neden olan veri teslimat gecikmelerini ortadan kaldırmak.
DDN, Nebul ve NVIDIA'nın liderleri büyük bir endüstri değişikliğini vurguladı: AI altyapısı öncelikleri çiğ GPU dağıtımından operasyonel verimliliğe geçiyor,Mevcut hızlandırıcı donanımından elde edilen geri dönüşleri en üst düzeye çıkarmak. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsNVIDIA Bulut Altyapısı VP'si Rod Evans, büyük ölçekli ajan iş yüklerinin artık sadece hesaplama gücünden ziyade, GPU kullanımı ve gecikme ile altyapı başarısını ölçtüğünü ekledi.
DDN, yapay zekâ altyapısının, yapay zekâ yürütme iş akışlarını aktif olarak desteklemek için temel depolama işlevlerinin ötesine geçmesi gerektiğini vurguluyor.Şirketin altyapı platformları şu anda dünya çapında bir milyondan fazla GPU'yu güçlendiriyor., hiper ölçeklendiricilere, bulut sağlayıcılarına, işletmelere, hükümetlere ve araştırma kurumlarına hizmet veriyor.
Modern yapay zeka altyapısı ekipleri artık şu temel üretim ölçümlerine öncelik veriyor:
GPU kullanımı: İfade sırasında etkili hızlandırıcı aktivitesini ölçer, yüksek kaliteli GPU donanımının değerini en üst düzeye çıkarır.
Token başına maliyet: Altyapı performansını doğrudan yapay zeka modeli çıkışı operasyonel maliyetleri ile bağlar.
Watt başına token: Yapay zeka çıkarımının enerji verimliliğini değerlendirir.
İlk simge zamanı.: Etkileşimli yapay zeka uygulamasının yanıt vermesini ve kullanıcı deneyimini belirler.
Üretime kadar süre: Yapay zeka hizmetlerini testten ölçeklendirilebilir ticari dağıtımına taşımak için operasyonel çabayı ölçer.
İfade, AI iş yükünün baskın hale gelmesiyle birlikte, önbelleğe alınmış bağlam ve kurumsal verileri GPU'lara düşük bir hızla teslim ederek,istikrarlı gecikme, yüksek GPU kullanımını sürdürmek ve uzun vadeli işletme maliyetlerini kontrol etmek için kritik olacaktır..
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!