Oracle Bulut Altyapısı (OCI), WEKA NeuralMesh ve Gelişmiş Hafıza Şebekesi yazılımı üzerinde çalışan, 10 kat daha yüksek token verimi, 10 kat daha fazla eşzamanlı kullanıcı ve GPU başına 7 kat daha fazla token sunar.Sadece yerel DRAM'a dayanan standart OCI ortamlarıyla karşılaştırıldığında.
WEKA's Augmented Memory Grid, NeuralMesh aracılığıyla harici depolamadan yararlanarak AI çıkarımı için GPU sunucu belleğini genişletir ve harici kaynakları yüksek performanslı bir KV Kache'ye dönüştürür.Mikrosaniye gecikme ve çok GB/s bant genişliği sağlarNeuralMesh, WEKA'nın yüksek performanslı AI dosya sistemidir.Tüm referans değerleri, 9 düğümlü bir OCI çıplak metal H100 kümesi üzerinde 100,000-token bağlam pencereleri.
Pablo Salem, OCI'de Yazılım Geliştirme Kıdemli Direktörü, şunları belirtti: "Kurumsal AI iş yükleri bağlam pencerelerini genişletmeye ve GPU kullanımını yeni sınırlara çıkarmaya devam ediyor.Bu ölçümler WEKA'nın çözümünün OCI'deki GPU belleği sıkıntılarını ortadan kaldırdığını kanıtlıyor., daha fazla GPU donanım yatırımı yapmadan daha büyük ve daha zorlu çıkarım iş yüklerini mümkün kılıyor.
WEKA, artan çıkarım talebinin, yapay zeka altyapısının verimsizliğini artırdığını belirtiyor.Kullanıcı deneyimine zarar verir ve token başına işletme maliyetlerini artırırUzun bağlamlı ve ajantik AI iş yükleri için, 100.000'den fazla belirteç girişi ile, bu tür bir üst maliyet, üretim AI dağıtımlarının birim ekonomisine ciddi şekilde zarar verir.
Benchmark, 9 düğüm, 72 H100 GPU'su, 100.000 tokenlik bağlam pencereleri ve binlerce eşzamanlı kullanıcı üzerinde kuruldu ve açık performans boşlukları aşağıda gösterilmiştir:
-
Eşzamanlı kullanıcı kapasitesi: WEKA, yalnızca DRAM kurulumlarında sadece 600'e karşı 5.000'den fazla eşzamanlı kullanıcıyı destekledi. Aktif önbelleği 8.64 TiB DRAM'dan 287 TiB NVMe flash depolama alanına genişleterek önleme yapar.Ek GPU satın alma olmadan mevcut GPU donanımında ROI'yi en üst düzeye çıkarmak.
-
Token verimi: WEKA yığını saniyede yaklaşık 2 milyon jetona ulaştı, yalnızca DRAM sistemlerinin saniyede 200.000 jetondan daha düşük baz seviyesinden 10 kat daha hızlı.
-
Toplam belirteç işleme hacmi: 2400 eşzamanlı kullanıcıyla yapılan bir saatlik bir testte, WEKA 5 milyar jeton işledi, ancak sadece DRAM kuruluşu sadece 700 milyon jeton işledi.
Ajantik AI iş akışları için, yeterli DRAM, önbelleğin doymasından sonra sürekli GPU yeniden hesaplamasını tetikler, token başına maliyetleri yükseltir ve ROI'yi düşürür.WEKA, üretim AI hizmetleri için genel token maliyetlerini büyük ölçüde düşürüyor.
Arama, özetleme, kod desteği ve çok dönüşlü ajanlar da dahil olmak üzere gerçek zamanlı yapay zeka hizmetleri için, belirti verimi, kullanıcı kapasitesi için hizmet sınırlarını tanımlar.Yanıt hızı ve altyapı gelir potansiyeli10 kat daha fazla verim OCI kümesi içindeki yerel GPU işlem gücünü tamamen açıyor.
Kısacası, WEKA'nın bellek genişletme yazılımı bulut platformlarının daha fazla kullanıcıya hizmet vermesine, daha fazla belirteci işlemesine ve operasyonel maliyetleri etkili bir şekilde düşürmesine yardımcı olur.
WEKA'nın CEO'su Liran Zvibel, "Sözdeleme performansı, mevcut GPU etkin belleği ile engellenir. Bu sonuçlar, yalnızca donanım yükseltmelerinin AI token ekonomik sorunlarını çözemeyeceğini kanıtlar.Gerçek sınırlama GPU performansını kısıtlayan uzun süreli bellek duvarıdır.WEKA'nın OCI'deki çözümü, sahip olma toplam maliyetinin optimize edilmesiyle belirteç işleme kapasitesini önemli ölçüde arttırıyor.
OCI, resmi AI & Data Science blogunda tam ölçüm metodolojisini, sistem yapılandırmalarını ve tam test sonuçlarını yayınladı.
Genişletilmiş Bellek Şebekesi ile NeuralMesh, artık WEKA müşterileri için genel olarak kullanılabilir ve Oracle Marketplace'da listelenmiştir.OCI'de uzun bağlamlı çıkarım yapan işletmeler, bu üretime hazır, tam olarak doğrulanmış mimari hemen.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
