Meta ve CXL teknoloji tedarikçisi Panmnesia, yapay zeka veri merkezlerinin bağımsız sunuculardan oluşan yerleşik bir küme yerine, tek bir koordine edilmiş işlem kaynağı olarak görülmesi gerektiğini söylüyor.
Yapay zeka veri merkezi, bir CPU çipi gibi tek bir tutarlılık alanına sahip, sıkıca bağlı bir kaynak olmalıdır. Bu, birçok tutarlılık alanına sahip mevcut, gevşek bağlı, istek odaklı kurumsal veri merkezlerinden farklıdır. Yapay zeka veri merkezleri, yüzlerce, hatta binlerce GPU üzerinde tek bir işi yürütebilir, bu da kabaca koordine edilmiş işlemci çekirdekleri, bellek ve ağ bağlantılarını içeren yüksek performanslı bilgi işlem iş yüklerine benzer.
Panmnesia ve Meta, veri merkezinin tek bir çip gibi çalıştığı bu türden yeni nesil bir yapay zeka veri merkezi mimarisi önerdi. Çalışma, Nature Portfolio dergisi NREE'de yer alıyor.
Myoungsoo Jung
Panmnesia CEO'su Myoungsoo Jung şunları söyledi: “Yapay zeka sistemleri ölçeklenmeye devam ettikçe, çok sayıda hızlandırıcı ve bellek cihazını hızlı ve verimli bir şekilde bağlama yeteneği, bireysel hızlandırıcıların performansı kadar önem kazanıyor. Bu araştırma, CXL'nin tüm veri merkezinin tek bir bilgi işlem sistemi olarak çalışmasını sağladığı yeni nesil yapay zeka altyapısı için bir yön çiziyor.”
Tek bir işlem çipindeki bileşenler, çekirdekler vb., tek bir tutarlılık alanında tekdüze bağlantı yollarına sahip olacak ve işlerini zamanlanmış, koordine edilmiş ve kontrollü bir şekilde yapacak şekilde tasarlanır ve yerleştirilir. Buna karşılık, mevcut veri merkezlerinde raf raflarında sunucu işlemcileri ve depolama birimleri, raf içi ve raflar arası ağ bağlantıları ve anahtarları bulunur. Sunucu işlemesinin koordine edildiği bir kontrol yapısı yoktur.
Çip benzeri veri merkezi
Panmnesia şunları söylüyor: “Mevcut veri merkezlerinde, bir raf içindeki hızlandırıcılar hızlı ölçek büyütme ara bağlantılarıyla bağlanırken, raftan çıkan bağlantılar ve hızlandırıcılar dışındaki cihazlara yapılan bağlantılar daha yavaş ölçeklendirme ağlarına bağlıdır. Bu tür ortamların ölçümleri, %99'luk gidiş-dönüş gecikmesinin ortalamanın yaklaşık beş katı olduğu, ağır kuyruklu gecikme dağılımları gösteriyor. Genel işi yavaşlatan budur ve ne kadar çok cihaz katılırsa, bu o kadar sık ve o kadar şiddetli olur.”
Bir yapay zeka veri merkezinin verimli ve hızlı çalışması için, GPU'ların, belleklerinin ve depolama birimlerinin hem raf içinde hem de raflar arasında kontrol ve koordinasyon gereklidir. Büyük ölçekli yapay zeka altyapısında, cihazlar arasındaki gecikme varyasyonunu azaltmanın, veri merkezinin bir bütün olarak öngörülebilir şekilde davranmasını sağlamanın, bireysel cihaz performansını veya bağlantı hızını iyileştirmek kadar önemli olduğunu belirtiyor.
Panmnesia LAU
Meta ve Panmnesia, bunun temelini oluşturmak için CXL'nin kullanılmasını ve çoklu GPU raf düzeyinde çalışmasını sağlayan yeni kavramları öneriyor. Genişletilmiş CXL, Nvidia'nın raf ölçekli, NVLink tabanlı GB200 NVL72 ve UALink'ten daha fazla sayıda cihazı destekleyerek hızlandırıcı rafları arasında önbellek tutarlılığı sağlar.
Bu, cihazları bir araya getirmenin temel kurallarını tanımlar, ancak veri yönlendirmesini ve gecikmeyi tanımlamaz. Gecikme varyasyonunu azaltmak ve sınırlamak için üç özel donanım öğesi öneriyorlar:
Yüksek fan-out engellemeyen anahtar: birçok cihazı aynı anda bağlar, atlama sayısını azaltır ve kaynak ne olursa olsun yol uzunluklarını benzer tutar.
Bağlantı Hızlandırma Birimi (LAU): her bağlantı noktasındaki tekrarlayan protokol işlemesini özel bir donanım işlem hattına taşır, atlama düzeyindeki davranışı daha düzenli hale getirir ve gecikme varyasyonunu sınırlar.
Kumaş denetleyicisi: tüm sistem boyunca istekleri işlemek için aynı sıralama politikasını uygular, böylece işlemler hangi cihazdan geçerse geçsin tutarlı bir şekilde işlenir.
Panmnesia yüksek fan-out ve engellemeyen anahtar
Kumaş denetleyicisi (birleşik CXL/PCIe denetleyicisi) ve LAU, silikon doğrulamayı tamamladı ve kumaş anahtarı fiziksel bir silikon çip olarak üretildi, ön sürüm silikonu şu anda tedarik ediliyor. Bu, önerilen mimarinin üretilebilir silikon düzeyinde geçerli olduğunu gösteriyor.
Mimari, CPU'ları, hızlandırıcıları, belleği ve anahtarları işlevlerine göre tepsilere gruplandırır, tepsileri podlara gruplandırır ve podları bir kumaş aracılığıyla bağlar - sabit atlamalı, daha tutarlı iletişim yolları ve zamanlamayı korumak için tasarlanmış düzenli bir tepsi-pod-kumaş hiyerarşisi.
Panmnesia Kumaş Denetleyicisi
Bir CPU'nun NVLink-C2C üzerinden iki hızlandırıcıya bağlandığı, raf iç kısmının NVLink ile bağlandığı ve sunucuların ve rafların Ethernet veya InfiniBand gibi bir ölçeklendirme ağı ile bağlandığı Nvidia'nın tasarımına kıyasla, onların şeması:
Tek bir CPU tarafından doğrudan koordine edilen hızlandırıcı sayısında 8 kat artış sağlar; 2'den 16'ya,
Tek bir tutarlılık alanında 960 adede kadar hızlandırıcının birlikte çalışmasını sağlar,
Veri erişim gecikmesini mikrosaniye düzeyinden yüzlerce nanosaniyeye düşürür; yaklaşık bir büyüklük mertebesi daha düşük,
Arıza değiştirme birimi, arızalı bir sunucu yerine arızalı tek bir cihaz haline gelir. Kaynakları türe göre ayırmak, sistemin tüm bir sunucu yerine yalnızca arızalı cihazları değiştirmesini sağlar, israf edilen kaynakları ve uzun süreli operasyonel duraklamaları önler.
Panmnesia, mimarinin temel bileşenlerini zaten silikona uyguladı, doğrulamayı tamamladı ve şimdi ticari tedarik için hazırlıyor. Gelecekteki geliştirmeler, hızı ve ölçeklenebilirliği artırmak için optik ara bağlantıları inceliyor.
Dipnot
NREE makale referansı mevcuttur.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com
İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla işbirliği yapıyoruz.
Teknoloji Kullanarak Akıllı Bir Dünya İnşa Etmek”Güvenilir BT Ürün Hizmet Sağlayıcınız!
Mesajınız 20-3.000 karakter arasında olmalıdır!
Turkish
