CoreWeave, CoreWeave Cloud üzerinde çoklu raf NVIDIA Vera Rubin NVL72 kümesi dağıttı ve ajan odaklı yapay zeka iş yükleri için optimize edilmiş birleşik bir ölçeklenebilir ortamda yüzlerce Rubin GPU'yu birbirine bağladı. Dell tarafından üretilen her raf, 72 Rubin GPU ve 36 Vera CPU barındırıyor, ölçek büyütme ara bağlantı yapısı olarak NVLink 6'yı benimsiyor ve GPU başına iki ConnectX-9 SuperNIC ile eşleştiriliyor. Raflar, CoreWeave'in yaklaşık 128.000 GPU'ya kadar ölçeklenebileceğini belirttiği iki katmanlı engelsiz bir yapıda NVIDIA Spectrum-X Ethernet aracılığıyla birbirine bağlanıyor. CoreWeave, bir Vera Rubin NVL72 sistemini başarıyla doğrulayan ve etkinleştiren ilk bulut sağlayıcısı ve ölçülen performansını yayınlayan ilk sağlayıcıdır. İlk hakemli karşılaştırma sonuçları geçen hafta, bir GB300 NVL72 gönderimine dayanarak yayınlandı. Hesaplama yükseltmesinin yanı sıra, CoreWeave AI Nesne Depolama, bölgeler arası yazma hızlandırması ve yepyeni bir Arşiv katmanı ekliyor.

Çoklu Raf NVIDIA Vera Rubin NVL72 Mimarisi

Bu çoklu raf dağıtımı, dağıtılmış altyapı boyunca veri erişim gecikmesini artıran sıralı akıl yürütme döngüleri ve harici araç çağrıları içeren ajan odaklı yürütme iş akışlarını hedefliyor. Her Rubin GPU'ya takılı çift ConnectX-9 SuperNIC, çoklu hat, çoklu düzlem bağlantıları üzerinden GPU başına 1,6 Tb/s'ye kadar arka ağ bant genişliği sağlıyor. Yapı, kapasite genişledikçe yeni NVL72 raflarının aynı engelsiz topolojiye katılmasını sağlayan modüler bir tasarıma sahiptir. Raflar 45°C sıvı soğutma ile çalışır.

CoreWeave, bu rafları Mission Control yazılım paketiyle birleştirir. Bir Raf Yaşam Döngüsü Denetleyicisi, donanım algılama (firmware flaşlama yoluyla), doğrulama, güç ve termal izleme dahil olmak üzere raf sağlama ve yaşam döngüsü yönetimini ele alır. Racky raf yönetim modülü güç ve altyapıyı kontrol ederken, programlanabilir Valvey soğutma denetleyicisi sıvı soğutma devreleri ve ortam sensörleri için yazılım tanımlı görünürlük ve yönetim sağlar.

Raflar yalnızca aşamalı doğrulama testlerinden sonra üretime girer. Düğüm düzeyinde, bu, saatlerce tekrarlanan GPU teşhislerini, CPU-GPU aktarım doğrulamasını, ara bağlantı ve termal yük testlerini ve gerçekçi eğitim iş yüklerini içerir. Raf düzeyinde, tüm 72 GPU'daki senkronize edilmiş işler NVLink GPU'dan GPU'ya verimi doğrular; performans eşiklerinin altına düşen herhangi bir donanım sorun giderme için gönderilir. Raf çapında doğrulama için CoreWeave, arka uç ağındaki trafiği zorlamak için NVLink'i kasıtlı olarak devre dışı bırakarak dağıtılmış iş yükleri çalıştırır ve kararsız bağlantıları, artan hata oranlarını, aşırı ısınan bileşenleri ve dengesiz trafiği izler. Test yükleri, ani talep artışları, değişken eşzamanlılık ve ani iletişim modelleri içeren ajan odaklı uygulamaları taklit eder.

Yapay Zeka Nesne Depolama Güncellemeleri: Bölgeler Arası Yazmalar ve Arşiv Katmanı

Depolama geliştirme, CoreWeave Kubernetes Hizmeti içindeki her GPU ve CPU düğümünde dağıtılan ve nesne verilerini düğüm yerel NVMe'de depolayan bir önbellekleme proxy'si olan Yerel Nesne Taşıma Hızlandırıcısı (LOTA) üzerine kuruludur. CoreWeave, önbelleğe alınmış okumaların GPU başına 7 GB/s'ye kadar ulaştığını ve p99 okuma gecikmesinin doğrudan bucket erişiminden 8 kat daha düşük olduğunu bildiriyor. Önde gelen bir model sağlayıcısı, %99,7 isabet oranı elde ederek LOTA'yı 15.000'den fazla GPU ve 20PB önbellekte çalıştırıyor ve LOTA ek ücret ödemeden sunuluyor.

Bölgeler arası yazma hızlandırması, uygulamaların API'leri veya SDK'ları değiştirmeden uzak bir bölgedeki bir bucket'a yerel gecikmeyle yazmasına olanak tanır. Uygulamalar, LOTA uç noktasına standart S3 yazmaları gönderir; nesne verileri yerel olarak kalıcı olarak depolanırken meta veriler uzak bölgeye işlenir. Nesne, yazan iş için bile anında okunabilir hale gelir ve veri arka planda uzak bölgeye taşınır. Uygulamalar, bölgeler arası kontrol noktası dağıtımı için tipik olarak gereken ayrı bölgesel bucket'ları ve çoğaltma işlem hatlarını ortadan kaldırarak, tüm bölgeleri kapsayan tek bir bucket ad alanı ve tutarlı IAM ilkeleri, yaşam döngüsü kuralları ve erişim denetimleri görür.

Cohere'de iç altyapı direktörü Cécile Robert-Michon, "Veri kümelerimiz birden fazla bölgeye yayılıyor ve eğitim programımızın bölgeler arası alma gecikmeleri tarafından belirlenmesine izin veremeyiz" dedi. "CoreWeave AI Nesne Depolama, bölgeler arasında birleşik bir veri kümesi ayak izi sağlıyor ve okumalar yerel olarak önbelleğe alınıyor, böylece hiçbir şey ağda beklemiyor."

Arşiv katmanı, Hot, Warm ve Cold'un yanı sıra dördüncü depolama sınıfıdır ve geçmiş eğitim kontrol noktaları ve ham veri kümeleri gibi bir kez yazılan, nadiren okunan veriler için tasarlanmıştır. Daha düşük temel kapasite fiyatlandırmasına sahiptir ve alma, önbellek, istek başına, erken silme, katmanlama ve çıkış ücretlerini kaldırır. CoreWeave, hızlı yeniden başlatmalar için yakın zamanda alınan kontrol noktalarını daha hızlı katmanlarda tutmayı önerir ve 60 gün sonra okunma olmaması durumunda Arşiv'e otomatik olarak katmanlanır. Bölgeler arası yazmalar ve Arşiv katmanı artık genel olarak kullanılabilir.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla işbirliği yapıyoruz.
"Teknoloji Kullanarak Akıllı Bir Dünya İnşa Etmek" Güvenilir BT Ürün Hizmet Sağlayıcınız!