Dell PowerEdge NVMe Arka Panel Seçenekleri

Dell, 16G PowerEdge sunucularında çeşitli depolama arka panelleri sunar. R760'ı yapılandırırken, yaklaşık 50 sürücü şasi seçeneği bulunur. Bunların bir kısmı eski destek olsa da (örneğin PERC 11), önemli olan şasi kararının büyük bir karar olmasıdır. Bu, gelecekteki E3.S NVMe SSD desteğini bile hesaba katmıyor, ki bu da PowerEdge sunucularında Gen5 SSD'leri almanın tek yoludur. Gen5 ve EDSFF form faktörlerinin faydaları hakkında daha fazla bilgi edinmek isterseniz, Dell PowerEdge R660'da E3.S'yi inceledik.

Konuya geri dönelim. Bu inceleme için, Dell'in Direct Drives seçeneğini PERC 12 HWRAID kartı seçeneğiyle karşılaştırmanın sonuçlarını anlamak istiyoruz. Belirtildiği gibi, buradaki açık odak noktası yalnızca Gen4 U.2/U.3 NVMe SSD'ler dikkate alındığında geçerlidir. Şimdilik SATA/SAS ve 3.5 inç HDD'ler için şasi seçeneklerini göz ardı ediyoruz. Bu yapılandırmalar çok daha basittir.

R760'da Dell, Gen4 NVMe sürücülerini yerleşik olarak almak için birkaç şasi seçeneği sunar. Direct Drives seçeneği 8 veya 16 sürücü desteği için yapılandırılabilir. HWRAID yapılandırmaları için Dell, PERC 12 HWRAID kartını aynı şekilde, her 8 SSD grubuna bir RAID kartı ile sunar. Bu karar, tam dolu bir R760'ın 16 NVMe SSD ile mümkün olan en iyi performansı elde etmesini sağlamak için temel olduğundan önemlidir.

Dell PERC 12 Genel Bakış

Dell PowerEdge RAID Denetleyicisi (PERC) 12, Broadcom SAS4116W silikonuna dayanmaktadır. Ürün adında SAS olmasına rağmen, denetleyici üç modlu bir RAID-on-Chip (ROC) cihazıdır. Broadcom MegaRAID serisinde de aynı RAID denetleyicisi kullanılır. Yakın zamanda MegaRAID 9670W'yi inceleyerek temel yeteneklerini vurguladık. Ancak Dell PERC 12 ile, hangi Dell sunucusuna ve depolama ailesine ilgi duyduğunuza bağlı olarak temel tasarım farklılıkları devreye girer.

PowerEdge ile ilgili olarak, çoğu yapılandırma "H965i Front" PERC 12 kartını kullanacaktır. R760 sisteminin HWRAID ile yapılan incelememizde, sistemde bu H965i Front kartlarından ikisi bulunuyor, her biri 8x Solidigm P5520 SSD grubuna hizmet ediyor. Bu kartların ek kartlardan önemli ölçüde daha küçük olduğunu belirtmekte fayda var. PCB tasarımı ve termal yönetimi gerçekten etkileyici. Bu kartlar doğrudan 8 sürücülü NVMe arka paneline monte edilir ve iki adet x8 PCIe kablosuyla anakarta bağlanır. Bu, sunucunun arka tarafındaki PCIe yuvalarını diğer cihazlar için boşaltır.

Ek kartlardan bahsetmişken, standart PERC 12 H965i, yerleşik bir fan içeren yarım yükseklik, yarım uzunlukta bir karttır. PERC 12'nin bu sürümü bazı PowerEdge yapılandırmalarında görünecek ve ayrıca yeni Dell PowerVault MD JBOD'larının bazılarında da bulunabilir. Son olarak, MX7000 modüler şasi gibi bir şey için tasarlanmış uzun, dar bir PCB olan bir H965i MX var.

Dell PERC 11 vs PERC 12

Dell PERC 11 kartı NVMe SSD'leri destekliyordu, ancak ne yazık ki donanım RAID'in faydaları önemli bir performans maliyetiyle geliyordu. Bu darbe, sektörün yeni Broadcom silikonu ve Dell'in bu kartın sürümü olan PERC ile neden bu kadar heyecanlı olduğunun tam nedenidir. Dell, PERC 11 ve PERC 12 arasındaki fark hakkında bazı sayılar yayınladı ve bunlar şaşırtıcı.

PERC 12'nin gecikme faydaları açıkça görülüyor; ancak en kötü koşullarda, bir yeniden oluşturma sırasındaki performansa bakın. PERC 12, birkaç bin yüzdelik iyileşme sağlıyor ve hatta RAID yeniden oluşturma süresi bile önemli faydalar görüyor.

Dell'in belirttiği bant genişliği ve IOPS sayılarına baktığımızda, PERC 12'nin PERC 11'e kıyasla attığı devasa adımı tekrar görebiliriz. Genel olarak, bu iş yüklerinin tümü PERC 12 kartında minimum 2 kat iyileşme görüyor. Elbette, PERC 12 performansını kontrol etmek için kendi testlerimizi yaptık ve oraya geleceğiz.

Dell Direct Drives vs. Dell PERC 12 Performansı

Direct Drives ile PERC 12 arasındaki depolama performansını karşılaştırmak için R760 sunucu "kuzenlerimizi" Solidigm P5520 7.68TB SSD'lerle yapılandırdık. Direct Drives'lı Dell R760'da 8x NVMe yuvası bulunuyor. PERC 12'li R760'da, ikiz H965i Front RAID kartlarıyla 16x NVMe yuvası bulunuyor.

İlk bakışta, her iki tarafta da belirli performans sınırlamaları olduğu açık olmayabilir. Direct Drives yaklaşımıyla başlayarak, her SSD'nin kendi x4 PCIe bağlantısı vardır, bu da sekiz SSD'nin bunlara ayrılmış 32 PCIe hattına sahip olduğu anlamına gelir.

Bu, her Gen4 sürücüsü 6.5GB/s bağlantısını doyurabilirse, genellikle 52GB/s'nin üzerinde inanılmaz bir bant genişliği sağlar. PERC 12 H965i kurulumuna kıyasla, her sekiz SSD grubu doğrudan RAID kartıyla arayüz oluşturur, bu da anakartla x16 PCIe bağlantısıyla geri bağlanır. Bu, Direct Drives yapılandırmasının desteklediği bant genişliğini yarıya indirir. Yani açıkçası, yerel NVMe bağlantıları kazanır? Tam olarak değil.

Çoklu CPU sistemlerinde birden fazla NVMe cihazıyla uğraşırken, sürücü ve CPU arasındaki NUMA eşlemesi ve sistem kesmeleri devreye girer. Bu, önemli ayarlamalar gerektirerek optimize edilebilir. Tüm uygulamalar bunu dikkate almaz.

Sanal ortamlar, paylaşılan kaynakların gerçek zamanlı olarak dengelendiği, bazen doğrudan bu atanmış PCIe kaynaklarına erişimi olmayan bir CPU'ya yönlendirildiği NUMA eşlemesini yönetmenin zor olduğu bir alandır. Donanım RAID kartları bu sorunların çoğunu hafifletir ve sistem kesmeleri ve bağlam anahtarlama için optimize eder, bu da CPU kaynaklarını serbest bırakır. NUMA eşlemesi de daha az karmaşık hale gelir, çünkü iki CPU'ya bölünmüş 16 bireysel SSD yerine, yönetilecek her CPU için yalnızca bir depolama kartınız olur.

Test planımız iki alana odaklanıyor. Birincisi, her iki R760'a geçirilen sekiz SSD ile JBOD performansını ölçen Vdbench iş yükleridir. Direct Drives R760'da sekiz yerel SSD bulunurken, HWRAID R760'da PERC 12 sekiz ham depolama cihazı geçirir. Her ikisi de optimizasyon olmadan test edilir. Testin 2. aşaması, PERC 12 çözümünün tek karttan optimize edilmiş çift kart kurulumuna kadar ölçeklenen performansını gösterir.

Direct Drives PowerEdge R760 inceleme birimimiz aşağıdaki yapılandırmaya sahiptir:

• Çift Intel Xeon Gold 6430 (32 çekirdek/64 iş parçacığı, 1.9GHz taban)
• 1TB DDR5 RAM
• 8 Solidigm P5520 7.68TB Gen4 SSD
• RHEL 9

HWRAID NVMe PowerEdge R760 inceleme birimimiz aşağıdaki yapılandırmaya sahiptir:

• Çift Intel Xeon Gold 6430 (32 çekirdek/64 iş parçacığı, 1.9GHz taban)
• 1TB DDR5 RAM
• 16 Solidigm P5520 7.68TB Gen4 SSD
• Çift PERC 12 H965i
• RHEL 9

Vdbench İş Yükü Analizi

Depolama cihazlarını karşılaştırırken, uygulama testi en iyisidir, ardından sentetik test gelir. Gerçek iş yüklerinin mükemmel bir temsili olmasa da, sentetik testler, rakip çözümler arasında kolayca karşılaştırma yapmayı sağlayan tekrarlanabilirlik faktörüyle depolama cihazlarının temelini oluşturmaya yardımcı olur. Bu iş yükleri, "dört köşe" testlerinden ve yaygın veritabanı aktarım boyutu testlerinden farklı VDI ortamlarından alınan iz yakalamalara kadar bir dizi test profili sunar.

Bu testler, otomatikleştirmek ve büyük bir hesaplama test kümesi üzerinde sonuçları yakalamak için bir betik motoruyla tipik Vdbench iş yükü oluşturucusunu kullanır. Bu, flaş diziler ve bireysel depolama cihazları dahil olmak üzere çeşitli depolama cihazlarında aynı iş yüklerini tekrarlamamızı sağlar. Bu karşılaştırmalar için test sürecimiz, sürücü yüzeyini veriyle doldurur ve ardından sürücünün uygulama iş yüklerine nasıl yanıt verebileceğini simüle etmek için sürücü kapasitesinin %25'ine eşit bir sürücü bölümü ayırır. Bu, sürücünün tamamını kullanan ve onları kararlı bir duruma getiren tam entropi testlerinden farklıdır. Sonuç olarak, bu rakamlar daha yüksek sürekli yazma hızlarını yansıtacaktır.

Profiller:

• 4K Rastgele Okuma ve Yazma: %100 Okuma veya Yazma, 128 iş parçacığı, %0-120 iorate
• 64K Sıralı Okuma: %100 Okuma, 32 iş parçacığı, %0-120 iorate
• 64K Sıralı Yazma: %100 Yazma, 16 iş parçacığı, %0-120 iorate
• 4K 70R/30W ve 90R/10W Rastgele Karışım, 64 iş parçacığı, %0-120 iorate

Okuma aktarım bant genişliğine odaklanan ilk testimize baktığımızda, Direct Drives yaklaşımının 32 PCIe hattıyla tek PERC 12'ye (16 hat) göre sahip olduğu PCIe kanal avantajını görebiliriz. Bu, Direct Drives'dan 41.6GB/s ve JBOD modunda PERC 12'den 28GB/s'ye denk geliyor.

Okumadan yazma bant genişliğine geçtiğimizde, ek PCIe hatlarının avantajı, Solidigm P5520'nin yazma hızının okuma hızından daha düşük olmasıyla azalır. Burada Direct Drives yapılandırması 18.3GB/s ölçülürken, PERC 12'den 20.3GB/s ölçüldü.

Rastgele 4K okuma iş yükümüzde, Direct Drive PowerEdge R760'daki 8 Solidigm P5520 SSD, PERC 12 kurulumundaki 4.34M IOPS'ye kıyasla 5.55M IOPS zirveye ulaştı.

4K rastgele yazmada, bu fark tekrar daralır, Direct Drives 3.96M IOPS ölçerken PERC 12'de 4.15M IOPS ölçülür.

İki karışık iş yükümüzün ilkinde, %70/30 Okuma/Yazma dağılımına sahip bir 4K rastgele aktarıma bakıyoruz. Burada Direct Drives PowerEdge R760 yapılandırması, 3.66M IOPS'li PERC 12'ye karşı 4.47M IOPS zirveye ulaştı.

Aynı 4K aktarım testinde okuma yüzdesini %90'a çıkararak, Direct Drives sunucusundan 5.04M IOPS ve PERC 12 sisteminden 3.62M IOPS ölçtük.

FIO İş Yükü Analizi

Dell'in Direct Drive ve PERC 12 HWRAID tekliflerinin sürücü performansını ölçmek için karşılaştırmalar aşağıdaki yapılandırmalara ayrıldı. İlkinde, JBOD yapılandırması her sürücüyü RAID dışında, RAID10 ve ardından RAID5 yapılandırmalarını ölçtü.

Direct Drives yaklaşımı için, SSD'ler OS'ye normal olarak görünür; PERC 12 için, HBA aracılığıyla ham depolama cihazları olarak geçirilirler. Bu yapılandırmalar, flaşı ön koşullandırmak, koşullandırıldıkları testleri çalıştırmak ve bir sonraki ön koşullandırma/iş yükü karışımına geçmek için bir betik sürecinden geçirildi.

• Sıralı ön koşullandırma
• JBOD, 8DR10, 8DR5 (Tek ve Çift PERC) üzerinde sıralı testler
• Rastgele ön koşullandırma
• JBOD, 8DR10, 8DR5 (Tek ve Çift PERC) üzerinde rastgele optimal testler
• 8DR10, 8DR5 (Tek ve Çift PERC) üzerinde rastgele yeniden oluşturma testleri
• 8DR5 (Tek PERC) için optimal ve yeniden oluşturma için rastgele yazma gecikmesi

PERC 12 H965i'nin x16 PCIe Gen4 yuvasına sahip olmasıyla, tepe performansı tek yönde yaklaşık 28GB/s olacaktır ve bu, Gen4 yuvasının üst sınırıdır. Dell, PowerEdge R760'da çift PERC 12 yapılandırması sunarak bu bant genişliği sınırına benzersiz bir yaklaşım benimsedi. Tek bir karta bağlı 16 SSD yuvası yerine, yük bölünür ve her PERC 12 kendi 8 SSD grubunu kontrol eder. Bu yaklaşım, bant genişliği sınırını atlar ve yoğun iş yükleri altında tepe kullanılabilir verimi önemli ölçüde artırır.

Önce sıralı aktarım performansına baktığımızda, Direct Drives yapılandırmasının bant genişliği avantajını görebiliriz, okuma hızı 54.4GB/s ölçülürken tek PERC 12 28.1GB/s ölçüyor. Yazma hızı yerel olarak da bir avantaja sahip, 33.4GB/s ölçülürken arkasında sekiz sürücü bulunan tek PERC 12'den 28.3GB/s ölçülüyor. Genel olarak yazma hızları burada büyük bir fark görmeyecektir, çünkü genel olarak bu sınıf SSD'lerin yazma hızından çok daha yüksek okuma hızları vardır.

Rastgele aktarım performansına odaklanmamızı değiştirdiğimizde, RAID kartının avantajlarının NUMA dengelemesiyle ilgili olarak nerede devreye girebileceğini görmeye başlıyoruz. Okuma performansı ile, Solidigm 7.68TB P5520 SSD'ler 4K okuma testimizde 7.96M IOPS ölçerken, PERC 12 JBOD yapılandırması 7M IOPS ölçtü. Direct Drives yapılandırması üzerinden yazma hızı 3.4M IOPS'ye düştü, PERC 12 ise 5.97M IOPS'yi korudu. 4K OLTP iş yükünde, bu Direct Drives 3.6M IOPS ölçerken PERC 12'den 10.2M IOPS ölçmesiyle daha da belirgin hale gelir.

Donanım RAID'in modern SSD'lerle değeri olmadığı yönündeki geleneksel düşünceye rağmen, bunun artık geçerli olmadığını görebiliriz. Evet, Direct Drives NVMe kurulumu ayarlanabilir, ancak iki CPU üzerinde dengelenmiş birden fazla SSD'de hareketli bir hedeftir.

Bu, tüm bu karmaşıklığı yöneten ve yalnızca bir CPU'ya bağlanan PERC 12 HWRAID kartıyla doğrudan bir tezat oluşturur. Ölçeklendirme için, Dell PowerEdge R760'daki 2. PERC kartı diğer CPU'ya bağlanır ve bu iki disk grubuna bölünmüş daha büyük iş yükleri için dengeleme sunar. Yaklaşık 10M IOPS civarında, sistemin CPU'ları doyurmaya başladığı belirtilmelidir, bu nedenle ek PERC 12 kartıyla bazı alanlarda doğrusal ölçeklendirme görmedik.

Direct Drives PowerEdge R760 yapılandırmasıyla yazılım RAID seçeneklerini incelememiş olsak da, PERC 12'de RAID yapılandırmasının bozuk bir durumda ne kadar iyi performans gösterdiğini görme şansımız oldu. Performans, optimal performansına kıyasla önemli bir düşüş gösterse de, hem RAID10 hem de RAID5, RAID gruplarını yeniden oluştururken güçlü performans sundu.

Optimal RAID performansı bir depolama çözümü seçmenin önemli bir yönü olsa da, suboptimal koşullar altında nasıl performans gösterdiğini görmek de aynı derecede önemli olabilir. Bu amaçla, RAID5'te optimal koşullar altında 4K yazma gecikmesini ve bir sürücü arızalandığında yeniden oluşturma performansını ölçtük. Performans veya gecikme büyük bir darbe alırsa, uygulama yanıt verebilirliği bir sorun haline gelebilir. Yeniden oluşturma performansı optimal duruma göre düşse de, performans gecikmesi temel seviyenin üzerine çıkmaz.

Son Düşünceler

Dell'in yeni PERC12 NVMe RAID kartı, PowerEdge sunucularındaki NVMe depolama seçenekleri için oyunu değiştiriyor. Geçmişte, bazı müşteriler SAS SSD'lerden geçiş yapmaktan çekiniyor veya çeşitli SDS veya hipervizörlere bağlı NVMe sürücülerini tercih ediyordu. Ancak, PERC 12 kartının tanıtılması, PowerEdge için denklemi değiştirerek daha uygulanabilir bir seçenek haline getirdi.

PERC 12'nin bu kadar iyi performans göstermesinin nedeni aynı zamanda PowerEdge sunucusunun düzenine de atfedilebilir. R760'ımızda her biri x16 şeride sahip iki adet PERC 12 (H965i Front) kartı bulunuyor. Bu, her kartla 8 Solidigm SSD'yi kullanmamıza olanak tanır ve kart başına 28GB/s'ye kadar maksimum bant genişliği sağlar. Tüm 16 SSD'yi tek bir RAID kartına bağlamak, potansiyel performansın yarısının kaybolmasına neden olur.

"Neden HWRAID ile 24 SSD değil?" diye sorabilirsiniz. Unutmayın ki her sistemin bir yerde bir darboğazı vardır. Bu durumda, CPU'yu oldukça kolay bir şekilde doyurabiliriz, bu nedenle sunucu içindeki x86, sınırlayıcı faktör haline gelir. Kümelenmiş bir çözümden bahsediyorsak, ağı da bağlarız. Birkaç SSD, 200GbE veya hatta 400GbE'yi kolayca doldurabilir. SSD kapasiteleri artık 30.72TB'ı aştığı için, sistem kapasitesi sorunları için sunucuyu sürücülerle doldurma ihtiyacı daha azdır.

Broadcom 9600 Serisi RAID kartı incelememizi okuduysanız, yeni silikonun NVMe SSD performans profilini baltalamadan HWRAID'in tüm veri dayanıklılığı ve yeniden oluşturma faydalarını gerçekçi bir şekilde sağlayacağından oldukça şüpheciydik. O incelemede sonuçlardan oldukça memnun kaldık ve burada PERC 12'nin R760'da ikiye katlanarak iki kat daha fazla üst düzey performans elde edebilmesiyle daha da memnun kaldık. Dell Direct Drives hala yazılım tanımlı depolama gibi birçok kullanım durumu için tercih edilebilirken, PERC 12 seçeneği çoğu kurumsal kullanım durumu için son derece popüler olmalıdır.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strateji Direktörü
WhatsApp / WeChat: +86 13426366826
E-posta: yangyd@qianxingdata.com
Web sitesi: www.qianxingdata.com/www.storagesserver.com

İş Odak Noktası:
BT Ürün Dağıtımı/Sistem Entegrasyonu ve Hizmetleri/Altyapı Çözümleri
20 yılı aşkın BT dağıtım deneyimiyle, güvenilir ürünler ve profesyonel hizmetler sunmak için önde gelen küresel markalarla ortaklık yapıyoruz.
"Akıllı Bir Dünya İnşa Etmek İçin Teknoloji Kullanmak" Güvenilir BT Ürün Hizmet Sağlayıcınız!