MinIO, AIStor nesne depolama platformunun üzerine yerleştirilen, Nvidia GPU'lar için özel olarak tasarlanmış petabayt ölçeğinde bir MemKV önbellekleme sistemi geliştirdi.
Çıkarım çalıştıran GPU kümeleri, bağlamı, vektörleştirilmiş belirteçleri ve ara anahtar/değer (KV) çiftlerini depolamak için yüksek bant genişlikli belleğe (HBM) ihtiyaç duyar. GPU HBM doyuma ulaştığında veriler, Nvidia BlueField-4 (BF4) DPU'lar tarafından yönetilen CPU DRAM ve NVMe SSD'lere aktarılır. Bu katmanlar kapasiteye ulaştığında MinIO AIStor son depolama yedeği görevi görür. Nvidia'nın STX mimarisi bu çok katmanlı önbellek hiyerarşisini yönetir ve MemKV, GPU kümeleri arasında üstün ölçekte kalıcı, paylaşılan içerik sunma standardına uygundur.
MinIO kurucu ortağı ve CEO'su AB Periasamy şu yorumu yaptı: "Sektör yıllardır bağlam kaybının üstesinden geliyor çünkü küçük ölçekte yeniden hesaplama vergisini karşılayabilirsiniz. Günümüzün hiper ölçekleyiciler ve neocloud'lar için yüksek GPU yoğunluğunda bu artık geçerli değil.
Oluşturulan bağlamın yeniden hesaplanması gücü boşa harcar; binlerce GPU içeren kümeler için temel yapısal verimsizlik yaratır. Büyük ölçekli çıkarım, amaca yönelik oluşturulmuş bir altyapı gerektirir ve MemKV, bu veri yolu için özel olarak tasarlanmıştır."
MinIO ilk kez tüm GPU kümeleri için mikrosaniye düzeyinde gecikmeyle eşleşen çıkarım iş akışlarında paylaşılan bağlam havuzlarını mümkün kılıyor ve geleneksel harici depolamadan kaynaklanan milisaniyelik gecikmeleri önlüyor. Yeterli önbellek katmanı olmadığında, GPU'lar kaynakları tekrarlanan bağlam yeniden hesaplamalarıyla israf eder.
128K jeton bağlam uzunluğuna sahip 128 GPU dağıtımında MemKV, üretim yükleri altında ilk jetona ulaşma süresini iyileştirdi ve GPU kullanımını %50'den %90'ın üzerine çıkararak yıllık tahmini 2 milyon ABD doları tutarında hesaplama maliyeti tasarrufu sağladı.
Nvidia STX mimarisi için özel olarak tasarlanan MemKV, Nvidia Dynamo ve NIXL önbellekleme araçlarını destekler. Petabaytlarca paylaşılan bağlam belleğini SSD düzeyinde maliyetlerle sunarak önbellek ölçeklendirmesini GPU bilgi işlem kaynaklarından ayırır. Temel özellikleri aşağıda listelenmiştir:
-
Yerel BF4 STX desteği: Ayrı x86 depolama sunucuları yerine depolamaya gömülü olarak STX altyapısı içinde bir ARM64 ikili programı olarak çalışır.
-
Uçtan uca RDMA aktarımı: KV önbelleğini GPU belleği ile NVMe arasında RDMA aracılığıyla geleneksel dosya ve nesne depolama protokollerini atlayarak aktarır.
-
GPU için optimize edilmiş blok boyutu: GPU çıkış talepleri için eski 4 KB depolama blokları yerine 2-16 MB bloklar kullanır.
-
Kablo hızı performansı: Fiziksel yapı verimini en üst düzeye çıkarmak için Nvidia Spectrum-X Ethernet ve PCIe Gen6 için optimize edilmiştir.
MemKV, verileri NVMe SSD'lerden RDMA üzerinden AI işlem hatlarına doğrudan aktararak HTTP yükünü, dosya sistemi çevirisini ve ara depolama sunucularını ortadan kaldırır.
MinIO, rakip bağlam belleği çözümlerini iki türe ayırıyor: paylaşılamayan yerel NVMe (G3) ve genel amaçlı paylaşılan depolama (G4). MemKV'yi amaca yönelik bir G3.5 katmanı olarak konumlandırıyor ve kendisini genel depolama ürünlerinden ayırıyor.
Firma, eski satıcıların G3.5 tekliflerinin hâlâ yedekli protokol düğümlerini, meta veri hizmetlerini ve dosya çeviri katmanlarını koruduğunu vurguluyor. Bu katmanlar, eğitim verileri ve model ağırlıkları için dayanıklılık ve tutarlılık sağlar, ancak 2-16 MB veri blokları için optimize edilmiş geçici, yeniden hesaplanabilir KV önbelleği için gereksizdirler.
Donanım RAID satıcısı GRAID ve depolama firması WEKA ayrıca STX uyumlu KV önbellek çözümleri de sağlıyor. Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops ve VAST Data dahil çok çeşitli depolama sağlayıcıları Nvidia STX'i destekler.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odağı:
BİT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimimizle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak”Güvenilir BİT Ürün Servis Sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
