Huawei, Atlas 960 SuperPoD'leri için 64 PB'ye kadar KV önbellek taban katmanı sunan ölçeklenebilir, tamamen flash depolama kümesi OceanStor M900'ü duyurdu; Nvidia'nın SuperPOD'larına rakip raf ölçekli yapay zeka hızlandırıcıları.
Nvidia, GPU'larını, BlueField NIC'lerini, Spectrum-X anahtarlarını ve yapay zeka yazılımlarını depolama sistemleriyle entegre eden, GPUDirect, RDMA ve Dynamo yazılımı ve CMX şeması aracılığıyla KV önbellek genişletmesini destekleyen bir referans tasarım tanımladı. Bu çok katmanlı mimari, en hızlı üst katman olarak GPU'nun yüksek bant genişlikli belleğini (HBM), ardından ilişkili X86 sunucularının DRAM'ini 2. katman, sunucunun yerel SSD'lerini L3 ve bir flash depolama sunucusu içinde L3.5 olarak hizmet veren akıllı BlueField-4 NIC bağlantılı NVMe SSD'leri kullanır. Bunlar, mikrosaniye sınıfı gecikmeyle tek bir ağ atlamasında bir GPU'nun HBM'sine ulaşabilir.
Huawei, hiper ölçekli yapay zeka veri merkezleri için tasarladığı kendi SuperPOD'ları ile Nvidia'nın SuperPOD tasarımına meydan okuyor. Sistemler, 10 trilyon parametreli modelleri ve milyonlarca token bağlam penceresini hedefliyor, bu da tek bir hızlandırıcının yüksek bant genişlikli belleğinin gerekli tüm anahtar-değer token'larını tutamayacağı ve bir önbelleğe alma mekanizması gerektireceği anlamına geliyor.
Şirket, bir Atlas 960E SuperPoD'un 4.096'ya kadar NPU'ya (Sinirsel İşlem Birimi) ölçeklenebileceğini, 8 EFLOPS FP8 hesaplama performansı, 1 petabayta kadar HBM kapasitesi ve 256 TB birleşik bellek havuzu sunduğunu belirtiyor. Birleşik Veriyolu (NPO) ile donatılmış 5.500 Hi-ONE biriminin konuşlandırılması, tüm NPU'ları birbirine bağlamak için geleneksel olarak gereken 48.000 800G optik modüle kıyasla güç tüketimini 550 kilovatın üzerinde azaltıyor. Ayrıca sistemin hatasız çalışma süresini iki katına çıkarıyor ve %99,8 sistem kullanılabilirliğine ulaşıyor.
Huawei OceanStor M900
SuperPoD, M900'ün L3.5 katmanı için petabayt ölçekli KV önbelleği sağladığı çok katmanlı bir KV önbelleğe alma çerçevesi benimsiyor. Her küme, bu katman için optik ağ üzerinden 4 PB'ye kadar paylaşılan L3.5 KV önbellek kapasitesi ve 40 TB/sn toplu bant genişliği sunarak NPU başına birden fazla terabayt KV önbellek kapasitesi sağlıyor. Huawei, tipik yapay zeka çıkarım iş yükleri altında bu mimarinin çıkarım kümesinin token verimini iki katına çıkardığını ve ilk token'a kadar geçen süreyi (TTFT) yarıya indirdiğini iddia ediyor.
Firma, 40 TB/sn bant genişliğinin, açıkça satıcı adı belirtmeden, rakip çözümlerden %50 daha yüksek olduğunu belirtiyor. Genel olarak, küme bant genişliği 10-25 TB/sn arasında değişen DDN, Everpure, IBM (Storage Scale), MinIO ve VAST Data sistemlerine atıfta bulunduğu anlaşılıyor.
M900, CPU, ağ denetleyicisi ve NAND denetleyicisini tek bir birimde birleştiren entegre bir tasarıma sahiptir ve SuperPoD NPU'larının SSD'lere doğrudan, tek atlamalı bir bağlantı kurmasını sağlar. Bu, erişim gecikmesini milisaniyelerden yaklaşık 60 mikrosaniyeye düşürür.
Huawei Yönetim Kurulu Başkan Yardımcısı ve Dönüşümlü Başkanı David Wang şunları söyledi: “OceanStor M900 ayrıca hibrit ortam ve optimize edilmiş bir saklama algoritması kullanarak SSD okuma/yazma ömrünü 16 kat uzatıyor. Bu, baştan sona daha yüksek bir KV önbellek isabet oranının yanı sıra uzun vadeli kararlılık ve güvenilirlik sağlar.”
Daha fazla ayrıntıda Huawei, M900'ün KV önbellek verilerinin her bir segmentinin beklenen ömrünü ve değerini tahmin eden KV'ye duyarlı uyarlanabilir depolama teknolojisine sahip olduğunu belirtiyor. Bu tahminlere dayanarak, verileri farklı ortam katmanlarına zamanlar ve dağıtır: yonga içi bellek, DRAM ve SSD'ler. Huawei, bu optimize edilmiş yerleştirme ve saklama stratejisinin, SSD'lerin günde 24 sürücü yazımına (DWPD) kadar dayanmasına olanak tanıdığını, bunun dikkate değer derecede yüksek bir rakam olduğunu ve SSD dayanıklılığını 16 kat artırarak daha az sürücü değişimiyle üç yıl boyunca kararlı çalışmayı desteklediğini söylüyor.
Huawei'nin M900 veri sayfalarını ve teknik brifinglerini yayınlaması için henüz erken olduğundan, düğüm raf birimi boyutu, denetleyiciler, sürücü sayısı ve kapasitesi, küme düğümü sayısı ve diğer özellikler gibi ayrıntılar henüz mevcut değil.
NPU Dipnotu
NPU'lar, Huawei'nin yerel olarak yapay zeka için üretildiğini söylediği (kökeni grafik yongaları olan GPU'ların aksine) Huawei Ascend Sinirsel İşlem Birimleridir. Küp (matris) çekirdekleri ve Vektör çekirdekleri ile Huawei'nin Da Vinci mimarisini benimserler ve büyük modeller için çıkarım ve eğitimi hızlandırmak üzere FP8 ve FP4 dahil düşük hassasiyetli formatları desteklerler. Huawei'nin UnifiedBus tüm-optik ara bağlantısı aracılığıyla devasa sistemlere monte edildiklerinde, binlerce, hatta yüz binlerce NPU'nun tek bir mantıksal makine olarak çalışmasına ölçeklenebilirler. Atlas 350 (Ascend 950PR kullanan) ve gelecek Atlas 960 SuperPoD'lar gibi son teklifler, Çin pazarında Nvidia GPU'larına alternatif olarak konumlandırılıyor.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknoloji Kullanmak” Güvenilir BT Ürün Hizmet Sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
