Nvidia'nın GTC'de tanıttığı Groq 3 LPX rafı, NVL72 raflarıyla birlikte konuşlandırılacak ve yapay zeka çıkarımı ve aracılı yapay zeka iş yükleri için özel kapasite sağlayacak. Nvidia'nın sunumuna göre Groq 3 LPX rafı, 128 GB SRAM ve şaşırtıcı bir şekilde saniyede 40 petabayt SRAM bellek bant genişliği ile donatılmış 256'ya kadar LPU hızlandırıcıyı barındırabiliyor. Raf, toplamda saniyede 640 TB'ye kadar ölçeklenebilir bant genişliği sağlıyor ve Nvidia, sonunda 1.000'den fazla LPU'yu barındıracak şekilde ölçeklenebileceğini belirtiyor.
Nvidia'ya göre, Groq 3 LPX rafını Rubin NVL72 sistemiyle eşleştirmek, müşterilerin 400 bin token bağlam penceresine sahip 1 trilyon parametreli bir GPT modelinde yalnızca 45 $ karşılığında bir milyon token oluşturmasına olanak tanıyor. Bu rakam, Rubin NVL72 sisteminin kendi başına üretebileceğinden 35 kat daha fazla tokeni temsil ediyor.
Groq 3 LPU'lar Nvidia'nın yapay zeka çıkarım kapasitesini artırmak için kullandığı tek yeni çip değil. Şirket ayrıca Vera CPU'ları için özel bir raf duyurdu; ARM tabanlı işlemciler, Nvidia'nın NVL72 ve NVL8 sistemlerinin çekirdeğindeki süper çipleri oluşturmak için iki Rubin GPU ile eşleştirildi.
CPU'lar yapay zeka çıkarımı ve aracılı yapay zeka iş yükleri için önemli bir darboğaz olarak ortaya çıktıkça, işletmeler giderek daha fazla CPU kaynağı talep ediyor. Buna cevaben Nvidia, Vera CPU Rack adında, 300TBps hızında çalışan 400TB LPDDR5x belleğe bağlı 256 Vera CPU içeren, yalnızca CPU içeren bağımsız bir rafı piyasaya sürdü.
Vera CPU Rafı ayrıca bir Spectrum-X Ethernet omurgası ve 64 BlueField-4 veri işleme ünitesi (DPU'lar) ile donatılmıştır. Bu DPU'lar, Nvidia'nın NVLink-C2C ara bağlantısı aracılığıyla NVL72 sistemlerindeki GPU'larla koordineli olarak 1,8 TBps tutarlı bant genişliği sağlıyor; bu, şirket başına PCIe Gen 6'nın yedi katı bant genişliği anlamına geliyor.
Nvidia, Vera rafının 22.500 eşzamanlı CPU ortamını destekleyebileceğini ve yapay zeka çıkarımını ve aracılı iş yüklerini sorunsuz bir şekilde çalıştırmak için gereken büyük CPU talebini karşılayabildiğini belirtiyor. Raf, sıvı soğutmayı kullanıyor ve şirketin 80 ekosistem ortağı tarafından desteklendiğini vurguladığı Nvidia'nın MGX referans mimarisi üzerine kurulu ve Nvidia'nın küresel ortak ağı aracılığıyla dağıtılacak.
Nvidia ayrıca, Nvidia'nın yeni AI süper bilgisayarını oluşturduğunu öne sürdüğü yedi yeni yongadan biri olan BlueField-4 DPU'larla dolu yeni bir rafı da duyurdu. BlueField-4 STX, Nvidia'nın GPU belleğini HBM'den birincil NVMe depolamaya genişleten yeni CMX (bağlam belleği depolama) platformunun ilk raf ölçekli uygulamasıdır. CMX'i Ocak ayında tanıttı ve birkaç hafta önce konferansında CMX depolama teklifini sunan VAST Data gibi Nvidia'nın depolama ortakları, bunu Nvidia STX referans mimarisi aracılığıyla benimsemeye başlıyor.
Buck, "STX, aracı iş akışları tarafından oluşturulan devasa anahtar değer önbellek verilerini depolamak ve almak için optimize edilmiş, yüksek bant genişliğine sahip, paylaşılan bir katmandır" dedi. "Bu bir referans mimarisi. Nvidia bunu doğrudan sağlamayacak olsa da, tüm depolama ortaklarımıza ve depolama ekosisteminin tamamına [referans mimarisini] sağlıyoruz, böylece AI fabrikaları için watt başına 4 kat daha fazla performansa sahip, kurumsal veriler için saniyede sayfa sayısını iki katına çıkaran ve ajansal iş akışları çalıştıran AI fabrikaları için gerekli bağlam belleğinin saniyede 5 katı token sunan yeni nesil depolamayı oluşturabiliyorlar."
Nvidia, Cloudian, DDN, Dell Technologies, Everpure (eski adıyla Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix ve WEKA'nın BlueField-4 STX referans mimarisi üzerinde yeni depolama alanı inşa ettiğini belirtirken, CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) ve Vultr gibi şirketler bunu benimsiyor.
Sonuçta Nvidia, GTC'de her biri Vera Rubin platformunda yapay zekayı güçlendirmede rol oynayan yedi yeni çip sergiliyor. Buna Vera CPU, Rubin GPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU, Groq 3 LPU ve silikon fotonik üzerinden 200 Gbps bağlantı sağlayan yeni ortak paket optik Ethernet anahtarı SpectrumX CPO dahildir. CEO Jensen Huang açılış konuşmasında Nvidia, SpectrumX çipini GTC 2025'te duyurdu ve şu anda üretimde olduğunu söyledi.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Küresel Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odağı:
BİT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimimizle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
“Akıllı Bir Dünya İnşa Etmek İçin Teknolojiyi Kullanmak”Güvenilir BİT Ürün Servis Sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
