Turkish
VAST Data, bulut ve kurumsal platformlar için AI altyapısını geliştirmek için AMD ile ortaklığını genişletti.ve ajantik AI iş yükleriEntegre yığın, VAST AI işletim sistemini 6. nesil AMD EPYC işlemcileri, AMD Instinct GPU'ları, AMD ağ donanımı ve ROCm yazılımı ile birleştirir.
Bu işbirliği, büyük bir endüstri değişimi ile uyum içindedir: Yapay zeka altyapısı, sürekli bağlamı desteklemek için sadece eğitim kümelerinin ötesine geçiyor, yüksek rekabet sonucu,ve çok devreli ajan iş akışlarıModern AI dağıtımları verilerin verimli hareketine, optimize edilmiş KV önbelleği yönetimine, daha yüksek GPU kullanımına ve büyük modeller ve bağlamlı veri kümelerine düşük gecikme erişimine öncelik verir.
VAST'in Ayrılıklı Paylaşılan Herşey (DASE) mimarisi, bu modern AI ortamları için birleşik paylaşılan veri katmanı olarak hizmet eder.olay akışı, ve tek bir küresel isim alanı altında çekirdek veri hizmetleri, aynı zamanda çeşitli müşteriler ve uygulama görevlerini eşzamanlı olarak çalıştıran AI bulutları için çoklu kiracılık ve iş yükü izolasyonu sunar.
AMD EPYC 9006 Güçleri Yeni Nesil VAST Donanım
VAST, VAST AI işletim sisteminin donanım temelini oluşturan 6. nesil CBox ve 3. nesil EBox sistemleri için 6. nesil AMD EPYC 9006 serisi (Venice) işlemcileri kullanıyor.EPYC 9006 platformu, PCIe Gen6 bağlantısını VAST'in donanım yelpazesine tanıtıyor, nesil başına I/O bant genişliğini iki katına çıkaracak.
Güncelleme, dosya ve nesne depolama işlemini artırır ve VAST DataBase ve DataEngine tarafından desteklenen veritabanı, veri deposu ve olay akışı iş yükleri için gecikme süresini düşürür.Geliştirilmiş I/O bant genişliği, tüm hesaplamalarda engelleri hafifletir., ağ ve NVMe depolama, model yüklemesini, geri alma boru hatlarını, kontrol noktasına erişimi ve yerel GPU belleği sınırlarını aşan harici KV önbelleği iş akışlarını avantajlı kılar.
AMD ve DriveNets ile Üç Oyunculu Referans Mimarlığı
VAST, AMD ve DriveNets, AMD'nin raf ölçeğinde Helios AI altyapısını, VAST AI OS'u ve DriveNets AI Fabric ağlarını birleştiren birleşik bir AI altyapısı referans mimarisi inşa ediyorlar.Çerçeve, yapay zeka eğitimi için standartlaştırılmış dağıtım rehberliği sunar, çıkarım, güçlendirme öğrenimi ve KV önbelleği iş yükleri,Paylaşılan veri altyapısı ve yüksek performanslı ağla AI fabrikaları kuran işletmeler için boyutlandırma ve kullanılabilirlik en iyi uygulamalarını sağlamak.
VAST ayrıca, endüstriyel yapay zeka kullanım durumları için üretim düzeyinde çıkarım mimarilerine odaklanarak, çıkarım satıcıları TensorMesh ve EmbeddedLLM ile ekosistem bağlarını genişletti.Özel bütünleşme ve fırlatma detayları henüz açıklanmadı..
Yüksek eşzamanlı çıkarım için optimize edilmiş KV önbelleği yüklenmesi
Güncellenmiş işbirliğinin merkezinde, AMD Instinct GPU'ları, AMD Infinity Context, ROCm yazılımı ve VAST AI işletim sistemi kullanılarak gelişmiş KV önbelleği indirimi bulunuyor.KV önbelleği, çoklu dönüş etkileşimlerini ve uzun bağlamlı AI iş yüklerini hızlandırmak için çıkarım oluşturulan dikkat durumu verilerini depolar, ancak büyük önbellek boyutları sınırlı GPU belleğini hızla tüketir.
KV önbelleğini yüksek performanslı paylaşılan depolama alanına indirmek veya katmanlamak, daha sonraki çıkarım istekleri için bağlamsal verileri korurken aktif görevler için GPU belleğini serbest bırakır.AMD Instinct MI355X GPU'larında yapılan erken testler, 9 kat daha hızlı zaman-ilk belirteç ve 9 kat daha hızlı zaman-ilk belirteç sağladı.VAST destekli KV önbelleği yüklenmesi yoluyla yüksek eşzamanlılıkta ajantik AI iş yükleri için.7 kat daha yüksek belirteç verimliliği, donanım taban hatına, iş yüküne ve depolama yapılandırmasına göre değişen performansla.
Ek olarak, VAST'in otomatik yaşam döngüsü politikaları KV önbelleği verilerine uygulanır, önbelleğe alınan içeriğin planlı olarak sona ermesini ve silinmesini sağlar.Kişisel veya düzenlenmiş çıkarım verileri.
Pensando Pollara 400 üzerinden Yüksek Hızlı GPU - Depolama Bağlantısı
Mimarlık, AMD Instinct GPU'larını VAST depolama kümelerine bağlamak için AMD Pensando Pollara 400 AI NIC'lerini dağıtır.NIC, verilerin GPU'dan depolamaya verimli bir şekilde aktarılmasını sağlar., KV önbelleği ve genel çıkarım iş yükleri için NVMe tabanlı VAST depolama alanına düşük gecikme erişimi sağlar.
Bu tasarım, bağlam yönetimi ölçeklendirmeyi fiziksel GPU belleği sınırlarından ayırır.VAST, platformu dağıtılmış model yönetimi için birleşik bir veri ve yürütme katmanı olarak konumlandırıyor, veritabanları, akış, dosya varlıkları ve AI bağlamı.endüstrinin seri eğitiminden ve GPU kiralamasından kalıcı çıkarım ve ajanik AI hizmetlerine geçişini desteklemek.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!
Sandy Yang, Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
İş odaklı:
İKT Ürün dağıtım/Sistem entegrasyonu ve hizmetler/altyapı çözümleri
20+ yıllık BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık kuruyoruz.
Akıllı bir dünya inşa etmek için teknolojiyi kullanmak güvenilir İKT ürün hizmet sağlayıcınız!