Tam özellikler:

Dell PowerEdge XE9680 Yapım ve Tasarım

PowerEdge XE9680, yüksekliği 10,36 inç (263,20 mm), genişliği 18,97 inç (482,00 mm) ve derinliği 39,71 inç (1008,77 mm) olan etkileyici bir donanım parçasıdır.Tam yüklendiğindeNVIDIA H100 / H200 modeli 238 pound'da gelirken, AMD MI300X birimi 251 pound'da ölçekleri eğerken, GPU seçimi ağırlık konusunda son sözü söyleyecektir.

Bu, test ortamımıza düzgün bir şekilde yüklenmek için dikkatli bir düşünce gerektiren ilk sunucuydu.Sınırların dışına çıkmak için biraz hareket alanı var.Dell size bu platformun nasıl yer aldığını anlamanıza yardımcı olacak bir asansör masası verecek kadar kibar.Kevin XE9680'i rafın içine kendi yükledi..

Karmaşıklığına ve Dell'in uzman servis teknisyenleri için önermesine rağmen, XE9680 son derece kullanıcı dostu servis elemanlarına sahiptir.Sunucu panelleri ayrıntılı servis talimatları ve net grafikler içerirBu görsel kılavuzlar, sistemle ilgili pratik zamanlarımızda paha biçilmez oldu.Çeşitli bileşenleri güvenle servis etmemizi sağlar..

PowerEdge XE9680'in kapağını açtıktan sonra, üstteki küçük güç istasyonundan gelen sayısız güç kablosunun yanından geçtiğinizde, PowerEdge R760'a çok benziyor.Aygıtımız iki Intel Xeon Platinum 8468 işlemcisiyle çalışıyordu.Her işlemci, XE9680'a yüklenen GPU'ları, NIC'leri ve diğer donanımları desteklemek için bu ünitedeki birkaç PCIe anahtarından geçen 80 PCIe şeridi sunar.

En etkileyici mühendislik özelliklerinden biri PCIe Switch Board (PSB) tasarımıdır.yarı uzunluklu PCIe kartları (iki tanesi 75W'den fazla güç tüketimi sağlayabilir) ve doğrudan GPU taban tahtası ile entegre edilirBu doğrudan entegrasyon, SSD'lerin ve ağ kartlarının doğrudan GPU'larla iletişim kurmalarını, CPU'yu atlamalarını ve I/O yoğun AI iş yükleri için gecikme sürelerini azaltmalarını sağlar.

Her genişleme yuvası, düzenin en sol ve sağ tarafındaki iki alt yuva dahil olmak üzere tam bir PCIe Gen5 x16 ara yüzünü destekler.iki alt yuva doğrudan PCIe Temel Plakasına (PBB) bağlanır. Bu iki yuva ayrıca yüksek güçlü çekim kartlarını da destekler. Ek olarak, PCIe düzeninin PowerEdge XE9680 için seçilen GPU türüne bağlı olarak hafifçe değişeceğini belirtmek gerekir.AMD donanımlı modeller SmartNIC / DPU'ları desteklemez, ve Intel Gaudi3 modelleri hava akışı sorunları nedeniyle iki yuva kilitlidir.

Dell'in mühendislik uzmanlığının parladığı başka bir alan soğutmadır.Sistem 16'ya kadar yüksek performanslı altın dereceli fan kullanır.PowerEdge XE9680 çok çeşitli kurulum senaryolarını destekler, ortam sıcaklıkları 10-35C (30C ile Intel Gaudi3 GPU'ları) arasında değişir.

Bu sağlam soğutma çözümü, en zorlu termal yükleri bile, en uygun çalışma sıcaklıklarını korurken, AMD MI300X, Intel Gaudi3 veya NVIDIA H100 GPU'larını da içeren en zorlu termal yükleri de ele alır.PowerEdge XE9680 gürültü çıkışı açısından yük altında oldukça biraz şarkı söylüyorDell, farklı durumlarda XE9680 için tam bir akustik özellik sayfası sunar, ancak yük altında gürültülü bir platform olacağını söylemek oldukça kolaydır.

Yönetim

XE9680'lerin yönetim yetenekleri, kapsamlı sunucu yaşam döngüsü yönetimi ve izleme sağlayan Dell'in kurumsal olarak kanıtlanmış iDRAC9'unun etrafında inşa edilmiştir.iDRAC'in bu yenilenmesi, AI tarafından optimize edilmiş birçok özellik getiriyor., ayrıntılı GPU telemetri, güç tüketimi analizi ve yüksek yoğunluklu AI iş yükleri için tasarlanmış kapsamlı termal izleme.

Platformun yönetim yığını özellikle AI altyapısı dağıtımları için dikkate değer.kuruluşlar programlı olarak GPU kullanımını izleyebilir ve yönetebilir, bellek bant genişliği ve termal koşullar ¢ optimal yapay zeka eğitimi ve çıkarım performansını sürdürmek için kritik ölçümler.Sistemin OpenManage Enterprise ile entegrasyonu, tek bir konsol aracılığıyla çoklu XE9680'lerin filo genelinde yönetimini sağlar., büyük ölçekli yapay zeka kümeleri için gereklidir.

Güvenlik ve uyumluluk yönetim mimarisinin temel unsurlarıdır.Donanım bütünlüğünün başlatılmasından çalışmaya kadar güvence altına alınmasıBu özellikler, hassas yapay zeka iş yüklerini çalıştırırken veya özel model ağırlıklarını işlediğinde özellikle değerlidir.

CloudIQ entegrasyonu tarafından desteklenen öngörüsel arıza analizi yeteneği, iş yüklerini etkilemeden önce potansiyel donanım sorunlarını tahmin etmek için makine öğrenimini kullanır.Bu proaktif yaklaşım özellikle uzun süreli AI eğitim işleri için çok önemlidir.Dell'in ProSupport Plus hizmeti ile birleştirildiğinde, bu öngörüsel yetenek otomatik vaka oluşturma ve parça gönderimini tetikler.Sistem bozulmasından önce sıklıkla önleyici bakım gerektirir..

Mevcut yönetim araçlarıyla entegrasyon gerektiren kuruluşlar için, XE9680, ServiceNow ve BMC TrueSight,kurulu BT hizmet yönetimi iş akışlarına sorunsuz bir şekilde dahil edilmesini sağlar.

iDRAC9 arayüzü, sezgisel bir pano aracılığıyla kritik bileşenlerin ayrıntılı gerçek zamanlı izlemesini sağlar.Güç tüketimi, ve AI iş yükü dağılımını optimize etmek için gerekli olan sekiz hızlandırıcıda kullanım oranları.

Depolama izleme arayüzü, sürücü sağlığı, sıcaklık ve performans ölçümlerine NVMe dizisinde anında görünürlük sunar.Bu, yüksek verimli çıkarım önbelleğini ve eğitim veri kümelerini yönetirken özellikle değerlidir..

Hafıza, Depolama ve Ölçek

Dell PowerEdge XE9680'in içindeki sekiz AMD MI300X GPU'su, NVIDIA H200'lerin 141 GB'ya kıyasla kart başına 192 GB HBM3 belleği sunan GPU belleği kapasitesinde önemli bir sıçrama temsil ediyor.Bu %36 hafıza kapasitesindeki artış sadece bir özellik sayısında bir sayı değil büyük dil modeli dağıtımı için kritik.

Bu büyük hafıza havuzu, MI300X'in 5.3 TB/s hafıza bant genişliği ile birlikte,kuruluşların daha küçük modellerin birden fazla örneğini çalıştırmalarını veya GPU'lar arasında daha büyük modelleri bölme yapmalarını sağlarken yüksek verimlilik ve düşük gecikme süresini korur.

Bunu perspektife koymak için, Meta'nın Llama 3.1 405B modeli, BF16'da 1TB VRAM'ın kuzeyini gerektiriyor.MI300X GPU'ları ile tek bir XE9680'de kuantisasyon olmadan ve tam 128k bağlam uzunluğunda rahatça dağıtılabilirBu, kuantisasyon teknikleriyle ilişkili potansiyel kalite kaybını ortadan kaldırır ve modelin iki sunucu üzerinde dağıtılmasına kıyasla daha fazla Token / saniyeye izin verir.

Depolama kapasitemizi en üst düzeye çıkarmak için, Solidigm 61.44TB sürücüleri belleğin gelişmiş bir uzantısı olarak hizmet etmek için kullandık. Yüksek hızlı GPU belleği ile geleneksel depolama arasındaki boşluğu kapattık.SSD'ler çıkarım sırasında anahtar-değer önbelleği çiftlerini saklamada mükemmeldir., GPU'ların hafıza kapasitesini uzun bağlamlı nesiller için etkili bir şekilde genişletiyor.verimli bir model değişimi ve sıcak başlangıç sağlayan.

Aşağıda ayrıntılı olarak anlattığımız Metrum AI dağıtımı gibi uygulamalarda, SSD'ler vektör veritabanları için depolama arka uç olarak çift görev yaparlar.Geniş gömülü depolama kapasitesini korurken gerçek zamanlı benzerlik aramaları için gerekli performansı sağlamak.

Bu yüksek kapasiteli sürücülerin değeri, eğitim iş akışları için çıkarımın ötesine uzanır.Verileri hesaplama kaynaklarına daha yakın tutarak ağ genel masraflarını azaltmakEğitim sırasında, bu sürücüler, eğitim ilerlemesini sürdürmek ve hızlı bir şekilde iyileşmeyi sağlamak için kritik olan yerel olarak model kontrol noktalarını depolamada başarılıdır.Bu yerel depolama stratejisi ayrıca, her işlenmiş katman ve partiden sonra anında ağ trafiğini azaltarak ağ kullanımını optimize etmeye yardımcı olur.

XE9680'deki sekiz bölgede 61,44 TB kapasite umut verici görünse de, yeni duyurulan Solidigm'in 122,88 TB sürücüsüyle,XE'deki depolama yoğunluğu, daha fazla eğitim optimizasyonu ve daha uzun ömürlü çıkarım önbelleği için neredeyse bir petabyte ikiye katlanabilir..

Metrum AI Sağlık Asistanı

Sağlık sektörü, genellikle doğrudan hasta bakımını azaltan zaman alıcı hasta belgeleri ve kayıt yönetimi yönetimi konusunda sürekli bir zorlukla karşı karşıyadır.Metrum AI'nin Sağlık Asistanı, AMD hızlandırıcıları ile Dell PowerEdge XE9680 sunucularında dağıtıldı, gelişmiş AI altyapısının sağlık iş akışlarını nasıl değiştirebileceğini, verimliliği artırabileceğini ve hasta sonuçlarını iyileştirebileceğini örnekler.

Sistem, tıbbi bağlamların anlaşılması ile tanınan Llama 3.1 70B Instruct'u birincil dil modeli olarak kullanır.Bu dil modeli gte-v1 ile eşleştirilmiştir.5 yerleştirme modeli ve Milvus Vector DB, tıbbi verileri işlemek için gerekli olan doğal dil işleme ve bağlamsal anlayış için sağlam bir temel sağlar.

Metrum AI'nın Sağlık Asistanı, histopatoloji görüntü analizi için HistoGPT'yi ve doktor notlarının gerçek zamanlı transkripsiyonu için OpenAI'nin Whisper'ını içeren multimodal bir yaklaşımı da içerir.Birlikte, bu modeller klinik iş akışlarını kolaylaştırır, doktorların doğal olarak konuşmalarına izin verirken sistem gerçek zamanlı olarak bilgiyi transkripte eder, kategorize eder ve hasta kayıtlarına entegre eder.

Metrum AI, bireysel hasta verilerinin nispeten küçük olmasına rağmen, yüksek trafikli hastanelerin toplam depolama taleplerinin yüzlerce terabayta çıkabileceğini kabul ediyor.Dell PowerEdge XE9680 yerel yerleşik NVMe depolaması ile bunu çözebilir.XE9680'i 61.44TB Soldigim D5-P5336 QLC SSD'leri ile test ettiğimizde, bu kapasite daha da genişletilebilir.Soldigim yakın zamanda yeni D5-P5336 122'lerini piyasaya sürdü..88TB QLC modelleri, aynı performansı korurken zaten büyük SSD'lerinin kapasitesini iki katına çıkarıyor.

Metrum, hasta verilerinin zamanla farklı senaryolarda nasıl dönüştüğünün tahminlerini sağladı.En yüksek kapasiteli SSD'leri kullanarak bir ünitenin kaç ek hastayı destekleyebileceğini görebilirsiniz.Hasta başına tahmin edilen veri ayak izini alarak ve her bir SSD için kullanılabilir kapasiteye (57TB için 61TB SSD ve 114TB için 122TB SSD),yoğun SSD'lere sahip olmanın sunucuda yılda anlamlı bir şekilde saklayabileceğiniz miktarı büyük ölçüde arttırdığını görebiliriz..

İlk 1 yıllık tahminler oldukça yüksek görünse de, hasta verilerinin statik olmadığını belirtmek önemlidir.Bu, tıbbi görüntüleme alanında depolamanın önemli bir rol oynadığı yerdir.Ek depolama kapasitesi, bir çözümün ne kadar hastayı etkili bir şekilde destekleyebileceğini doğrudan etkiler.

Dell PowerEdge XE9680, AMD MI300X hızlandırıcıları ile donatılmış ve Metrum AI'nin Sağlık Asistanı ile entegre, sağlık hizmeti sağlayıcıları için ölçeklenebilir ve verimli bir çözüm sunmaktadır.Zaman alıcı görevleri otomatikleştirerek ve kritik anlayışlara hızlı erişimi sağlayarak, bu kurulum, klinik uzmanların artan talepleri yönetirken hasta bakımına daha fazla odaklanmalarını sağlar.Sağlık Asistanı, yapay zekaya dayalı sağlık çözümlerinde önemli bir ilerlemeyi temsil ediyor., idari yükü azaltmak ve genel hasta sonuçlarını iyileştirmek.

Sonuçlar