Turkish
MinIO, büyük ölçekli yapay zeka çıkarım hatlarındaki kritik bir darboğazı çözmek için oluşturulmuş özel bir bağlam bellek deposu olan MemKV'yi piyasaya sürdü. AIStor ile birlikte MinIO'nun ikinci amiral gemisi çözümü olarak hizmet veren MemKV, firmanın veri altyapısını bellek katmanına kadar genişletiyor. Dağıtılmış GPU kümelerinde çalışan aracılı yapay zeka iş yükleri için kalıcı, paylaşılan bağlamsal veriler sunmak üzere tasarlanmıştır.
MinIO AIStor
Yapay zeka sistemleri tek seferlik yanıtlardan çok dönüşlü akıl yürütmeye ve otomatik görev yürütmeye doğru ilerledikçe, çıkarım döngüleri boyunca sürekli bağlamı sürdürmek giderek daha önemli hale geldi. Mevcut mimarilerde, HBM ve DRAM dahil olmak üzere GPU'ya bitişik bellek katmanlarının sınırlı kapasitesi nedeniyle bağlam verileri sıklıkla atılır. Bu, GPU'ları mevcut bağlamı tekrar tekrar hesaplamaya zorlayarak gecikmeyi, bilgi işlem kullanımını ve güç tüketimini artırır. MinIO, bu gereksiz iş yükünü, hiper ölçekli bulut ortamlarında katlanarak kötüleşen bir verimsizlik olan "yeniden hesaplama vergisi" olarak tanımlıyor.
MemKV, mikrosaniye seviyesinde erişim gecikmesiyle petabayt ölçekli depolama kapasitesine sahip, paylaşılan, kalıcı bir bellek katmanı aracılığıyla bu sıkıntı noktasını hafifletmek için tasarlandı. Platform, çıkarım iş akışları boyunca bağlamsal verileri koruyarak gereksiz hesaplamayı azaltır ve genel altyapı verimliliğini artırır. MinIO'dan alınan dahili kıyaslama verileri, üretim düzeyinde eşzamanlılık altında ilk belirteç gecikme süresinin iyileştirildiğini doğruluyor. 128 GPU ve 128K jeton bağlam pencereleriyle donatılmış tipik bir dağıtımda, GPU kullanımı yaklaşık %50'den %90'ın üzerine çıktı ve bu da yıllık işlem maliyetinde önemli düşüşlere yol açtı.
MinIO yöneticileri, yeniden hesaplama ek yükünün küçük ölçekli dağıtımlarda fark edilmediğini ancak kurumsal ölçekte temel bir yapısal kusura dönüştüğünü belirtti. GPU kümeleri genişledikçe, tekrarlanan bağlam yenileme daha yüksek güç tüketimine ve altyapı harcamalarına neden olur ve bu da özel bellek sistemlerini sürdürülebilir yapay zeka operasyonu için vazgeçilmez hale getirir.
Bellek Ölçeğindeki Dengesizliğin Ele Alınması
Eski yapay zeka altyapısı, geliştiricileri erişim hızı ile depolama kapasitesi arasında uzlaşmaya zorluyor. HBM ve DRAM gibi yüksek performanslı bellek katmanları mikrosaniye gecikme sağlar ancak sıkı kapasite sınırları ve yüksek maliyetlerle birlikte gelir. Buna karşılık, geleneksel depolama sistemleri çok büyük ölçeklenebilirlik sunar ancak milisaniye düzeyindeki gecikmelerden muzdariptir, bu da onları gerçek zamanlı çıkarım ve uzun bağlamlı akıl yürütme görevleriyle uyumsuz hale getirir.
Mikron HBM4
MemKV, ultra düşük gecikme süresi ile büyük depolama ölçeklenebilirliğini dengeleyen bir ara paylaşımlı bellek katmanı sunarak sektördeki bu açığı kapatıyor. NVIDIA BlueField-4 STX ile yerel olarak uyumlu ve NIXL araçlarının yanı sıra NVIDIA Dynamo ile entegre olan çözüm, tüm GPU kümelerinin çıkarım hizalı iletim hızlarında birleşik bağlamsal veri havuzlarına erişmesine olanak tanır. Bu tasarım, yalıtılmış bellek ve depolama katmanları arasında sık sık bağlam verisi geçişini ortadan kaldırarak gecikmeyi azaltır ve sistem verimini artırır.
NVIDIA BlueField-4
Çıkarım İş Yükleri için Optimize Edilmiş Mimari
Çıkarım veri hatları için özel olarak tasarlanan MemKV, MinIO'nun GPU bellek hiyerarşi çerçevesinin G3.5 katmanına uyar. NVMe depolama altyapısı üzerine kurulu olup, mikrosaniyelik erişim gecikmesini korurken petabayt düzeyinde kapasiteye ulaşır ve bellek ölçeklenebilirliğini GPU bilgi işlem kaynaklarından başarılı bir şekilde ayırır.
Sistem, hantal geleneksel depolama soyutlamalarını ortadan kaldırarak verileri uçtan uca RDMA iletimi yoluyla doğrudan NVMe sürücülerinden yapay zeka veri hatlarına aktarıyor. Bu, HTTP protokollerinin, dosya sistemi dönüştürmenin ve ara depolama sunucularının (nesne ve dosya tabanlı depolama mimarilerindeki yaygın darboğazlar) getirdiği performans yükünü ortadan kaldırır.
Kaynak: Google
Temel mimari optimizasyonlar arasında, harici x86 depolama düğümlerine bağımlılığı azaltmak için doğrudan depolama katmanına gömülü NVIDIA BlueField-4 STX üzerinde yerel ARM64 ikili yürütme yer alıyor. GPU belleği ile NVMe depolama arasındaki tüm veri aktarımları, yedekli geleneksel depolama yığınlarını atlayarak RDMA aktarımını benimser. Ek olarak MemKV, eski 4 KB depolama blokları yerine GPU çıkış özellikleri için optimize edilmiş, 2 MB ile 16 MB arasında değişen genişletilmiş blok boyutlarını kullanır. NVIDIA Spectrum-X Ethernet ve PCIe Gen6 gibi son teknolojiye sahip yüksek hızlı ara bağlantı yapılarını destekleyerek kümeler arasında neredeyse kablo hızına yakın veri iletimini kolaylaştırır.
Kullanılabilirlik
MinIO MemKV artık kurumsal dağıtım için ticari olarak mevcuttur.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odağı:
BİT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimimizle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak”Güvenilir BİT Ürün Servis Sağlayıcınız!
Sandy Yang/Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odağı:
BİT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimimizle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak”Güvenilir BİT Ürün Servis Sağlayıcınız!