Temel Çıkarımlar

• Tek Bir Düğümde Benzeri Görülmemiş Verim:R7725xd, 300 GB/sn üzerinde dahili bant genişliği ve NVMe-oF RDMA üzerinden 160 GB/sn üzerinde destek sağlayarak, 2U kasa içindeki çok düğümlü depolama kümelerine rakip oldu.
• Gerçek Gen5 Mimarisi, Anahtar Yok, Yayılma Yok:24 Micron 9550 PRO SSD'nin tümü, doğrudan CPU kompleksinden özel x4 PCIe Gen5 şeritlerini alır ve bu da çekişme olmadan hat hızında ölçeklendirmeye olanak tanır.
• AMD EPYC 9005 Serisi tarafından desteklenmektedir:Çift AMD EPYC 9575F işlemciler, sürekli yüksek eş zamanlı G/Ç için gereken şerit sayısını, bellek bant genişliğini ve NUMA topolojisini sağlar.
• Yapay Zeka, Analitik ve Denetim Noktası Ağırlığındaki İş Yükleri için Tasarlandı:Sistem, modern GPU işlem hatlarını durduran G/Ç darboğazlarını ortadan kaldırarak sürekli, yüksek bant genişlikli veri dağıtımına olanak tanır.
• PEAK:AIO Tam Paralelliğin Kilidini Açar:PEAK:AIO'nun yazılım yığını, kuyruk yapılarını yük altında doygun halde tutarak, etkileyici bir GB başına dolar oranında kurumsal performans sunar.

iDRAC 10'un depolama bölümü, R7725xd'de kurulu tüm fiziksel disklere ilişkin eksiksiz bir genel bakış sunar. Özet paneli, sürücü durumlarını gösteren görsel bir pasta grafiğiyle birlikte bağlı tüm sürücülerin üst düzey sayısını görüntüler. Bu yapılandırmada, 24 NVMe SSD etkindir ve birincil ön NVMe kümesinden ayrı olarak sistemde iki ek önyükleme aygıtının mevcut olmasıyla birlikte hazır olarak raporlanır.

Sağdaki Disk Özeti paneli, bunları fiziksel disklere ve ilişkili sanal disklere ayırır. R7725xd, geleneksel RAID denetleyicileri olmadan doğrudan bir NVMe mimarisi kullandığından, tüm sürücüler, sistemin büyük NVMe havuzları ve SDS platformlarına yönelik tasarımına uygun olarak, RAID Olmayan ve ayrı ayrı adreslenebilir olarak raporlanır.

Durum özetinin altında, Son Günlüğe Kaydedilen Depolama Olayları alanı, her PCIe SSD için bölme ve yuvaya göre düzenlenmiş ekleme günlüklerini listeler. Bu kayıt, tüm sürücü bölmelerinde doğru algılamayı doğrular ve oturma, kablolama veya çalışırken değiştirme etkinliğiyle ilgili sorunların belirlenmesine yardımcı olur. Büyük dağıtımlar için bu günlükler, sürücü provizyonunun izlenmesinde veya kapasitenin beklendiği gibi doldurulduğunun doğrulanmasında kullanışlıdır.

Son ekran görüntüsü iDRAC10'daki ayrıntılı NVMe cihazı görünümünü gösterir. Sisteme kurulu her NVMe sürücüsü durumu, kapasitesi ve bölme konumuyla birlikte listelenir. Tek bir sürücünün seçilmesi, onun özelliklerinin tam bir dökümünü açar.

Bu örnekte, sürücü bilgi paneli tam model dizisini, cihaz protokolünü, form faktörünü ve anlaşılan PCIe ayarlarını görüntüler. NVMe cihazları, anlaşmalı x4 bağlantısıyla 32 GT/s bağlantı hızında çalışıyor; bu da sürücülerin sistemin PCIe Gen5 arka panelinde tam bant genişliğinde çalıştığını doğruluyor. Bilgi bölümü aynı zamanda dayanıklılık yüzdesini, mevcut yedek durumunu ve protokol türünü de raporlayarak yöneticilerin disk sağlığını ve yaşam döngüsü beklentilerini izlemesine yardımcı olur.

Bu ayrıntılı sürücü raporlaması, bağlantı genişliğinin, anlaşmalı hızın ve medya sağlığının iş yükü davranışını ve depolama performansını doğrudan etkilediği yüksek yoğunluklu NVMe yapılandırmalarında değerlidir.

Genel olarak iDRAC 10 arayüzü, R7725xd'nin NVMe depolama mimarisinin net, donanım merkezli bir görünümünü sunarak bağlantı sağlığının, sürücü durumunun ve sistem bütünlüğünün bir bakışta kolayca doğrulanmasına olanak tanır.

Dell PowerEdge R7725xd Performansı

Testten önce sistemimiz dengeli ancak yüksek performanslı bir donanımla yapılandırıldı. Sistem, her biri 64 yüksek frekanslı çekirdeğe sahip ve 6400 MT/s hızında çalışan 24 adet 32 ​​GB DDR5 DIMM ile eşleştirilmiş iki AMD EPYC 9575F işlemciyle donatılmıştır. Depolama için kasa, her biri özel bir PCIe Gen5 x4 bağlantısı aracılığıyla bağlanan 24 adet 15,36 TB Micron 9550 PRO U.2 NVMe SSD ile tamamen doldurulmuştur. Bu, toplam 368,64 TB ham kapasite sağlar ve Micron 9550 PRO sürücüleri, 14.000 MB/s'ye kadar sıralı okuma hızları ve 10.000 MB/s'ye kadar sıralı yazma hızları sunar. Ağ iletişimi, birleşik sekiz adet 200 Gb bağlantı noktası sağlayan dört Broadcom BCM57608 bağdaştırıcısının yanı sıra iki ek 10 gigabit bağlantı noktası sunan bir BCM57412 OCP NIC tarafından gerçekleştirilir.

Test Sistemi Özellikleri

• İŞLEMCİ:2x AMD EPYC 9575F 64 Çekirdekli Yüksek Frekanslı İşlemciler
• Hafıza:24x 32 GB DDR5 @ 6400MT/s
• Depolamak:24x 15,36 TB Micron 9550 PRO U.2 sürücüler (her biri 4x PCIe Gen5 hattına bağlı); ufukta daha yüksek kapasitelerle birlikte bugün 128 TB'a kadar sürücüleri destekliyor
• Ağ:4x Broadcom BCM57608 2x200G NIC, 1x BCM57412 2x10Gb OCP NIC
• Anahtar:Dell PowerSwitch Z9664

FIO Performans Karşılaştırması

PowerEdge R7725xd'nin depolama performansını ölçmek için endüstri standardı ölçümleri ve FIO aracını kullandık. Bu bölümde aşağıdaki FIO kriterlerine odaklanıyoruz:

• Rastgele 4K – 1M
• Sıralı 4K – 1M

FIO – Yerel – Bant Genişliği

Dell PowerEdge R7725xd içindeki 24 PCIe Gen5 NVMe sürücüsüne yerel erişimi test ederken sistem, her sürücünün tam x4 şeritli PCIe Gen5 bağlantısı kullanılarak CPU'lara bağlandığı bir platformdan tam olarak ne beklediğinizi gösterir. Hiçbir ağ katmanı dahil edilmeden bu, Dell'in Gen5 depolama düzeninin ve AMD EPYC platformunun kısıtlama olmaksızın çalışan PCIe bant genişliğinin saf, dahili verimidir.

Sıralı okumalar 4K bloklarla 184 GB/sn hızında başlar ve blok boyutu arttıkça hızla ölçeklenir. Sunucu, 512K'dan 1M'ye kadar tutarlı bir 312 ila 314 GB/sn'yi korur; bu, sistemin 24 × 4 Gen5 hattının tamamını denetleyici aşamasında herhangi bir darboğaz olmadan sürdürülebilir okuma bant genişliği halinde ne kadar iyi toplayabildiğinin güçlü bir göstergesidir.

Sıralı yazmalar farklı bir eğri izler ancak kesin olarak beklenen aralıkta kalır. 149 GB/sn'den başlayan sonuçlar 100'lerin ortalarına kadar yükselerek 1 milyonda 182 GB/sn'ye ulaşıyor. Bu, Micron 9550 PRO SSD'lerin yazma davranışına ve pek çok bağımsız cihazda yüksek paralel NVMe yazmanın doğasında olan ek yüke uygundur.

Rastgele okuma performansı başka bir öne çıkan özelliktir. Sistem, en küçük blok boyutlarında yaklaşık 300 GB/s hıza ulaşıyor, orta aralığa hafifçe düşüyor ve daha sonra daha büyük blok boyutlarında üst 200'lere ve düşük 300'lere geri dönüyor. 1M'de rastgele okumalar maksimum 318 GB/s'ye ulaşır ve bu da platformun karma işlemleri 24 sürücünün tamamına eşit şekilde dağıtma yeteneğini gösterir.

Rastgele yazmalar daha düşük bir hızda gerçekleşir; bu, geniş bir NVMe seti genelinde dağınık meta veriler ve yazma tahsisi görevleri için tipiktir. Testlerin çoğunda sonuçlar 140 ila 160 GB/s aralığında kalıyor ve 1 M'de 100 GB/s'nin biraz altına iniyor.

FIO – Yerel – IOPS

IOPS tarafı incelendiğinde R7725xd, daha büyük blok boyutları iş yükünü bant genişliği odaklı bir profile kaydırmadan önce istek oranlarının on milyonlara ulaşmasıyla güçlü küçük blok performansı sergiliyor.

4K'da okumalar 44,9 milyon IOPS'ye ulaştı ve yazmalar 36,3 milyona ulaştı. Rastgele okumalar 71,4 milyon IOPS ile daha da yüksek seviyelere ulaşarak sistemin yüksek kuyruklu iş yüklerini tüm sürücülere verimli bir şekilde dağıtma yeteneğini gösterir. Bu değerler blok boyutları arttıkça doğal olarak azalır, ancak ilerleme 8K, 16K ve 32K aralıklarında tutarlı kalır.

16K ve 32K bloklarda okumalar 17,4 milyon ve 8,35 milyon IOPS'ye sabitleniyor; rastgele okumalar ise 16,5 milyon ve 8,15 milyonla yakından eşleşiyor. Yazmalar beklenen modeli takip ederek daha düşük değerleri takip eder ancak hem sıralı hem de rastgele erişim modellerinde sabit kalır.

64K ve üstüne geçtikçe test, saf IOPS'tan daha bant genişliğine bağlı bir senaryoya geçiş yapar. IOPS, düşük milyon aralığına ve sonunda yüzbinlere düşer. 1M blok boyutunda, IOPS'yi okuma 300K civarında olur, yaklaşık 174K'da yazar ve rastgele işlemler aynı mahallede tamamlanır.

Genel olarak, yerel IOPS sonuçları, aktarımlar büyüdükçe ve bant genişliği baskın faktör haline geldikçe öngörülebilir ölçeklendirme ile sistemin küçük bloklar boyunca çok yüksek kuyruk derinliğine sahip iş yüklerini sürdürme yeteneğini açıkça göstermektedir.

PEAK:AIO: Dell PowerEdge R7725xd Neden Bu İş Yüküne Uygun?

PEAK:AIO, genellikle yapay zeka eğitimi, çıkarım hatları, finansal modelleme ve gerçek zamanlı analitik için büyük veri kümelerine son derece hızlı, düşük gecikme süreli erişim gerektiren ortamlar için tasarlanmıştır. Platform, yoğun NVMe depolama, dengeli PCIe bant genişliği ve uygun ölçekte öngörülebilir gecikme süresiyle gelişiyor. Bu gereksinimleri karşılamak için temeldeki donanımın, eşzamanlı ağır yükler altında tutarlı ve tekrarlanabilir performansı korurken aynı zamanda sürekli verim sağlaması gerekir.

Dell PowerEdge R7725xd'nin PEAK:AIO ile doğal olarak uyum sağladığı nokta burasıdır. Sistemin mimarisi, geleneksel RAID denetleyicilerine bağlı kalmadan, ön tarafa monte edilen 24 U.2 NVMe yuvasının tüm bant genişliğini doğrudan CPU'lara sunarak PCIe Gen5 kaynaklarını en üst düzeye çıkaracak şekilde tasarlanmıştır. Bu düzen, PEAK:AIO'ya modern NVMe tabanlı veri hatlarından beklediği paralellik ve gecikme profilini sağlar. Sistem yapılandırması NVMe SSD'leri iki RAID0 grubuna ayırdı.

Test edilen senaryoda, her biri Broadcom BCM57608 2x 200G NIC'lerle donatılmış, R7725xd'ye bağlı iki istemci sistemi kullandık. Bu, her istemciye beslenen toplam dört adet 200G yukarı bağlantı oluşturarak R7725xd'yi PEAK:AIO dağıtımlarının üretimde gördüklerini yansıtan gerçekçi, yüksek performanslı bir yapılandırmaya itti. Bu seviyedeki ağ bant genişliği, bize NIC katmanında darboğaz olmadan NVMe alt sistemini, PCIe topolojisini ve CPU ara bağlantılarını tam olarak vurgulama olanağı sağladı.

Sonuç, PEAK:AIO iş yüklerine etkili bir şekilde uyum sağlayan bir platformdur. R7725xd, yoğun NVMe kapasitesi, PCIe Gen5 verimi, paralellik için çift AMD EPYC 9005 işlemci ve istemci başına yüzlerce gigabitte çok istemcili veri alımını sürdürmek için ağ oluşturma yeteneği sağlar. Tüm bu özellikler PEAK:AIO'nun performans beklentilerini karşılamanın temelini oluşturur.

PEAK:AIO – NVMe-oF RDMA – Bant Genişliği

PEAK:AIO özellikli PowerEdge R7725xd'deki NVMe-oF RDMA bant genişliği sonuçlarını incelediğimizde, genel eğilimin tam da bu kadar PCIe ve ağ bant genişliğine sahip bir sistemden beklediğimiz şey olduğunu görüyoruz. Blok boyutu arttıkça verim, platformun pratik sınırına yaklaşana kadar hızla artar.

Küçük blok boyutlarında performans, hem okuma hem de yazma için 20 GB/sn'nin ortasında başlar; bu normaldir çünkü 4K ve 8K aktarımlar, IOPS yolunu üretim yolundan çok daha fazla zorlar. 16K ve 32K bloklarına girdiğimizde boru hattı açılıyor. Okumalar 32K'da yaklaşık 154 GB/s'ye sıçrar ve 160 GB/s aralığına tırmanmaya devam eder; bu, dört adet 200 Gb/sn'lik bağlantı üzerinden çift istemci kurulumunun olmasını beklediğimiz noktadır.

Rastgele okuma performansı sıralıyı neredeyse mükemmel şekilde yansıtır. PEAK:AIO, komut sıralarının beslenmesini sağlama konusunda iyi bir iş çıkarıyor; bu nedenle rastgele okuma bant genişliği, esas olarak sıralı okuma bant genişliğini sonuna kadar takip ederek 32K'dan 1M'ye kadar kabaca 159 ila 161 GB/s'ye sabitleniyor. Bu, depolama yığınının karma erişim düzenleri altında darboğaz oluşturmadığını ve R7725xd'nin PCIe topolojisinin yükü 24 Gen5 NVMe sürücülerine eşit olarak dağıttığını gösterir.

Yazma performansı da benzer bir eğri izliyor ancak okuma performansından biraz daha düşük. Sıralı yazmalar, orta büyüklükteki bloklar boyunca 140 ila 148 GB/s aralığında kalıyor, 128K'da yaklaşık 117 GB/s'ye düşüyor ancak blok boyutu arttıkça düzeliyor. Rastgele yazma işlemleri farklı davranır ve 110-117 GB/sn'ye yakın bir hızda düzleşir; bu, ek yük getiren karma kuyruklu iş yükleri için normaldir.

Bu bölümden çıkarılacak en önemli sonuç, R7725xd'nin, birden fazla istemcinin sistemin sınırlarını zorlamasına rağmen NVMe-oF üzerinden son derece yüksek bant genişliğini sürdürmekte hiçbir sorun yaşamamasıdır. Blok boyutları 32K veya daha yükseğe ulaştığında, sunucu mevcut ağ ve depolama bant genişliğini sürekli olarak doyurur. Bu tam olarak PEAK:AIO'nun elde etmek için tasarladığı performans türüdür ve bu sonuçları platformun gerçek dünya koşulları altında ölçeklendirme yeteneğinin güçlü bir doğrulaması haline getirir.

PEAK AIO – NVMe-of RDMA IOPS

IOPS tarafında PowerEdge R7725xd, başlangıçta beklenenden düşük rakamlar gözlemlemiş olsak da güçlü küçük blok performansı sergiliyor; Bu sorunun gelecekte ağ sürücüsü desteğinin iyileştirilmesiyle çözülmesi bekleniyor. Bu durumda bile, genel ölçeklendirme eğilimi tam olarak NVMe-oF RDMA'nın blok boyutu arttığında tipik olarak davrandığı gibi görünüyor.

Sistem, en küçük blok boyutunda hem sıralı hem de rastgele iş yüklerinde 6 milyondan fazla IOPS sağlayabilir. Okuma, yazma, rastgele okuma ve rastgele yazmanın tümü 4K ve 8K'da kabaca aynı aralıkta yer alıyor; bu da ön uç istemcilerin, PCIe altyapısının ve NVMe sürücülerinin istek hızına ayak uydurmakta hiçbir sorun yaşamadığını gösteriyor.

Blok boyutları büyüdükçe IOPS'ta beklenen düşüş başlıyor. 32K'da okuma yaklaşık 4,7 milyon IOPS'ye ulaşırken, yazma hızı yaklaşık 4,4 milyonla biraz geride kalıyor. Rastgele yazmalar burada en büyük darbeyi alıyor ve kabaca 3,3 milyon IOPS'ye düşüyor; bu, karma erişim modellerinin getirdiği ek kuyruk ve CPU yüküyle uyumlu.

Büyük bloklara doğru ilerleyen IOPS, öngörülebilir bir doğrusal biçimde azalmaya devam ediyor. 256.000 ve 512.000 aktarıma ulaştığımızda, verim baskın ölçüt haline gelir ve IOPS doğal olarak yüzbinlerin ortasına düşer. 1M blok boyutunda tüm iş yükleri, önceki bölümde gördüğümüz bant genişliği sayılarıyla tutarlı olarak 140K-153K IOPS'ye yakınsar.

GPUDirect Depolama Performansı

R7725xd üzerinde gerçekleştirdiğimiz testlerden biri Magnum IO GPUDirect Storage (GDS) testiydi. GDS, NVIDIA tarafından geliştirilen ve GPU'ların NVMe sürücülerinde veya diğer yüksek hızlı depolama aygıtlarında depolanan verilere erişirken CPU'yu atlamasına olanak tanıyan bir özelliktir. Verileri CPU ve sistem belleği üzerinden yönlendirmek yerine GDS, GPU ile depolama cihazı arasında doğrudan iletişime olanak tanıyarak gecikmeyi önemli ölçüde azaltır ve veri verimini artırır.

GPUDirect Depolama Nasıl Çalışır?

Geleneksel olarak, bir GPU, bir NVMe sürücüsünde depolanan verileri işlediğinde, verilerin GPU'ya ulaşmadan önce ilk olarak CPU ve sistem belleğinden geçmesi gerekir. Bu süreç, CPU'nun aracı haline gelmesi, gecikmenin artması ve değerli sistem kaynaklarının tüketilmesi nedeniyle darboğazlara neden olur. GPUDirect Depolama, GPU'nun PCIe veri yolu aracılığıyla doğrudan depolama aygıtından verilere erişmesini sağlayarak bu verimsizliği ortadan kaldırır. Bu doğrudan yol, veri taşıma yükünü azaltarak daha hızlı ve daha verimli veri aktarımlarına olanak tanır.

Yapay zeka iş yükleri, özellikle de derin öğrenmeyi içerenler, oldukça veri yoğundur. Büyük sinir ağlarının eğitimi, terabaytlarca verinin işlenmesini gerektirir ve veri aktarımındaki herhangi bir gecikme, GPU'ların gereğinden az kullanılmasına ve daha uzun eğitim sürelerine yol açabilir. GPUDirect Depolama, verilerin GPU'ya mümkün olduğu kadar hızlı iletilmesini sağlayarak, boşta kalma süresini en aza indirerek ve hesaplama verimliliğini en üst düzeye çıkararak bu zorluğun üstesinden gelir.

Ayrıca GDS, video işleme, doğal dil işleme veya gerçek zamanlı çıkarım gibi büyük veri kümelerinin akışını içeren iş yükleri için özellikle faydalıdır. GDS, CPU'ya olan bağımlılığı azaltarak veri hareketini hızlandırır ve CPU kaynaklarını diğer görevler için serbest bırakır, böylece genel sistem performansını daha da artırır.

Ham bant genişliğinin ötesinde, NVMe-oF (TCP/RDMA) özellikli GPUDirect aynı zamanda ultra düşük gecikme süreli I/O sunar. Bu, GPU'ların hiçbir zaman verilere aç kalmamasını sağlayarak sistemi gerçek zamanlı yapay zeka çıkarımları, analiz hatları ve video yeniden oynatma için ideal hale getirir.

GDSIO Sıralı Okuma

PEAK:AIO'yu GDSIO kullanan bir istemciyle incelerken, hem blok boyutu hem de iş parçacığı sayısı arttıkça okuma verimi net bir ölçeklendirme modeli sergiliyor. Bu tek istemci iki adet 400G bağlantı üzerinden bağlandı ve toplam potansiyeli 90 GB/s ile sınırlandı.

En küçük blok boyutlarında ve düşük iş parçacığı sayılarında, tek iş parçacığında yaklaşık 189 MiB/s'den başlayan 4K okumayla performans mütevazıdır. İş parçacığı paralelliğini arttırdığımızda sistem hemen yanıt verir, dört iş parçacığında 691MiB/s'yi zorlar ve daha büyük bloklara adım attığımız anda çoklu GiB/s aralığına girer.

Orta aralıktaki blok boyutları, iplik sayısına karşı en güçlü hassasiyeti gösterir. 32K'da verim, tek iş parçacığında 1,3 GiB/s'den 64 iş parçacığında yaklaşık 20 GiB/s'ye yükselir ve bunun ötesinde yalnızca hafif bir azalma olur. Benzer bir model, iş yükü ölçeklendikçe sistemin düşük paralellikte düşük tek haneli GiB/s'den 30 GiB/s'nin üzerine geçtiği 64K ve 128K'da da ortaya çıkıyor.

Daha büyük blok boyutlarına ulaştığımızda, sistem tek bir istemci için performans tavanına yaklaştıkça verim düşmeye başlar. 1 MiB'de performans, tek iş parçacığında 11GiB/s'den yüksek iş parçacığı sayılarında yaklaşık 88GiB/s'ye yükselir. 5 MiB ve 10 MiB aktarımları aynı platoyu gösteriyor ve testin 64, 128 veya 256 iş parçacığında çalışıp çalışmadığına bakılmaksızın yaklaşık 89-90GiB/s'yi aşıyor.

GDSIO Sıralı Yazma

Yazma tarafında, ölçeklendirme davranışı okumalara benzer bir model izler ancak sıralı yazma iş yükleri için beklenen çoğu blok boyutunda biraz daha düşük performans gösterir. En küçük blok boyutlarında, 4K'da tek bir iş parçacığı için verim 165 MiB/s'den başlar ve paralellik arttıkça istikrarlı bir şekilde artar. Dört iş parçacığında bu, sekiz iş parçacığında 1GiB/s'yi geçmeden önce 619 MiB/s'nin biraz üzerine çıkıyor.

Orta aralıktaki blok boyutları, iş parçacığı sayısı arttıkça daha güçlü kazanımlar gösteriyor. 32K'da verim 1 GiB/s'nin hemen altında başlar ve daha yüksek iş parçacığı seviyelerinde 21 GiB/s'nin üzerine ölçeklenir. 64K ve 128K aralıkları, iş yükü daha paralel hale geldikçe düşük tek haneli GiB/s'den orta 30 GiB/s ve 50 GiB/s'ye geçerek trendi sürdürüyor.

Daha büyük aktarımlar, sistemin doğal yazma verimi tavanına yerleştiği zamandır. 1 MiB'de performans, tek iş parçacığında 13,3GiB/s'den yüksek iş parçacığı sayılarında 90GiB/s'nin biraz altına yükselir. 5 MiB ve 10 MiB testleri de benzer bir modeli izliyor; sistemin 64, 128 veya 256 iş parçacığında çalışıp çalışmadığına bakılmaksızın sonuçlar 90 GiB/s civarında zirveye ulaşıyor.