Dell PowerEdge NVMe Backplane Opcje

Dell oferuje różne systemy pamięci masowej w swoich serwerach 16G PowerEdge.na przykład)Nie liczy to nawet nadchodzącej obsługi E3.S NVMe SSD, która jest jedynym sposobem na uzyskanie SSD-ów generacji 5 w serwerach PowerEdge.S w Dell PowerEdge R660 jeśli chcesz dowiedzieć się więcej o zaletach Gen5 i EDSFF czynniki kształtu.

W tym przeglądzie chcemy zrozumieć implikacje wyboru opcji napędów bezpośrednich Dell'a w porównaniu z opcją karty PERC 12 HWRAID.wyraźne skupienie się tutaj jest tylko w rozważaniu Gen4 U.2/U.3 NVMe SSD. Na razie ignorujemy opcje podwozia dla SATA/SAS i 3,5′′ dysków twardych.

W modelu R760 Dell oferuje kilka opcji podwozia, aby włączyć napędy NVMe generacji 4. Opcja bezpośrednich napędów może być skonfigurowana na obsługę 8- lub 16-napędową.Dell oferuje kartę PERC 12 HWRAID w ten sam sposóbDecyzja ta jest ważna, ponieważ ma zasadnicze znaczenie dla umożliwienia R760 z 16 SSD NVMe uzyskania jak najlepszej wydajności.

Dell PERC 12 Przegląd

Dell PowerEdge RAID Controller (PERC) 12 jest oparty na silikonie Broadcom SAS4116W. Pomimo SAS w nazwie produktu, kontroler jest trójtrybnym urządzeniem RAID-on-Chip (ROC).Ten sam kontroler RAID jest używany w linii Broadcom MegaRAIDNiedawno przeanalizowaliśmy MegaRAID 9670W podkreślając kluczowe możliwości.Istotne różnice projektowe wchodzą w grę w zależności od tego, który z serwerów Dell i rodziny pamięci masowej Cię interesuje..

Jeśli chodzi o PowerEdge, większość konfiguracji będzie wykorzystywać kartę PERC 12 z HWRAID, w naszym przeglądzie systemu R760, mamy dwie z tych kart H965i Front.jeden na każdy zestaw 8x Solidigm P5520 SSDWarto wspomnieć, że karty te są znacznie mniejsze niż karty add-in.Karty te są montowane bezpośrednio na 8-napęd NVMe backplane i podłączone do płyty głównej z dwoma x8 PCIe kabliUwolni to miejsca PCIe po stronie czytania serwera dla innych urządzeń.

Mówiąc o kartach dodatkowych, standardowa karta PERC 12 H965i to karta o połowie wysokości i połowie długości, która zawiera wbudowany wentylator.Ta wersja PERC 12 pojawi się w niektórych konfiguracjach PowerEdge i można ją również znaleźć w niektórych nowych Dell PowerVault MD JBODWreszcie, jest H965i MX, który jest długim, wąskim płytem PCB zaprojektowanym do czegoś w rodzaju modułowego podwozia MX7000.

Dell PERC 11 vs. PERC 12

Karta Dell PERC 11 wspierała SSD NVMe, ale niestety korzyści z RAID sprzętowego wiązały się z wysokimi kosztami wydajności.Ten hit jest właśnie powodem, dla którego branża jest tak podekscytowana nową silikonową wersją karty Broadcom i Dell.Dell opublikował kilka liczb na temat różnicy między PERC 11 a PERC 12, które są zdumiewające.

Korzyści z opóźnienia PERC 12 są wyraźnie widoczne, ale spójrz na wydajność w najgorszych warunkach, wydajność podczas przebudowy.i nawet czas odbudowy RAID widzi znaczące korzyści.

Patrząc na szerokość pasma i liczby IOPS cytowane przez Dell, możemy ponownie zobaczyć ogromny krok naprzód, jaki robi PERC 12 w porównaniu z PERC 11.wszystkie te obciążenia widzą minimalną 2X poprawę w karcie PERC 12Oczywiście przeprowadziliśmy testy w celu sprawdzenia wydajności PERC 12 i do tego dojdzie.

Dell Direct Drives vs. Dell PERC 12 Performance

Aby porównać wydajność przechowywania w dyskach bezpośrednich z PERC 12, skonfigurowaliśmy serwer R760 ′′cousins′′ z SSD Solidigm P5520 7.68TB. Dell R760 z dyskami bezpośrednimi ma 8x zatoki NVMe.R760 z PERC 12 ma 16x NVMe z podwójnymi kartami H965i Front RAID.

Począwszy od podejścia Direct Drives, każdy dysk SSD ma własne połączenie x4 PCIe,Oznacza to, że osiem dysków SSD ma 32 pasy PCIe dedykowane im..

To umożliwia niesamowitą przepustowość, zazwyczaj ponad 52 GB/s, jeśli każdy napęd Gen4 może nasycić swoje 6.5 GB/s połączenie.każda grupa ośmiu dysków SSD łączy się bezpośrednio z kartą RAIDTo obniża o połowę przepustowość obsługiwaną przez konfigurację napędów bezpośrednich.Niezupełnie..

Przy obsłudze wielu urządzeń NVMe w systemie z wieloma procesorami wchodzi w grę mapowanie NUMA między napędem a procesorem, a także przerwy systemu.To może być zoptymalizowane wokół ale wymaga znaczącego dostosowaniaNie wszystkie wnioski uwzględniają to.

Wirtualizacja to proces, w którym zarządzanie mapowaniem NUMA jest trudne, ponieważ wspólne zasoby są zrównoważone w czasie rzeczywistym,czasami do procesora, który może nie mieć bezpośredniego dostępu do przypisanych zasobów PCIe. Karty RAID sprzętowe łagodzą wiele z tych problemów i optymalizują przerwy systemu i przełączanie kontekstu, co uwalnia zasoby procesora.zamiast mieć 16 pojedynczych dysków SSD podzielonych na dwa procesory, masz tylko jedną kartę pamięci na procesor do zarządzania.

Nasz plan testowy koncentruje się na dwóch obszarach. Pierwszy to obciążenia robocze Vdbench mierzące wydajność JBOD z ośmioma dyskami SSD przekazywanymi do obu R760.podczas gdy na HWRAID R760, PERC 12 przechodzi przez osiem urządzeń pamięci masowej.Drugi etap testowania pokazuje skalowaną wydajność rozwiązania PERC 12 z pojedynczej do zoptymalizowanej konfiguracji podwójnej karty.

Nasza jednostka przeglądu Direct Drives PowerEdge R760 ma następującą konfigurację:

• Dual Intel Xeon Gold 6430 (32 rdzenie/64 wątki, 1,9 GHz)
• 1 TB pamięci RAM DDR5
• 8 Solidigm P5520 7,68TB Gen4 dyski SSD
• RHEL 9

Jednostka przeglądu HWRAID NVMe PowerEdge R760 ma następującą konfigurację:

• Dual Intel Xeon Gold 6430 (32 rdzenie/64 wątki, 1,9 GHz)
• 1 TB pamięci RAM DDR5
• 16 Solidigm P5520 7,68TB Gen4 dyski SSD
• Dwójka PERC 12 H965i
• RHEL 9

Wdbench Analiza obciążenia pracą

W przypadku porównania urządzeń pamięci masowej najlepiej jest przetestowanie aplikacji, a następnie testowanie syntetyczne.Testy syntetyczne pomagają urządzeniom pamięci podstawowej z współczynnikiem powtarzalności, który ułatwia porównanie jabłek do jabłek między konkurencyjnymi rozwiązaniami.Obciążenia te oferują szereg profili testowania, począwszy od testów "czterech kątów" i wspólnych testów wielkości transferu bazy danych po śledzenie uchwytów z różnych środowisk VDI.

Testy te wykorzystują typowy generator obciążeń roboczych Vdbench z silnikiem skryptowym do automatyzacji i przechwytywania wyników w dużym klastrze testowym.Pozwala nam to na powtarzanie tych samych obciążeń pracy na różnych urządzeniach pamięci masowej, w tym układy pamięci flash i indywidualne urządzenia pamięci masowej. Our testing process for these benchmarks fills the entire drive surface with data and then partitions a drive section equal to 25 percent of the drive capacity to simulate how the drive might respond to application workloadsTo różni się od kompletnych testów entropii, które wykorzystują 100 procent napędu i wprowadzają go do stanu stabilnego.

Profili:

• 4K Random Read and Write: 100 procent Read or Write, 128 wątków, 0-120 procent iorate
• 64K Sequential Read: 100 procent Read, 32 wątki, 0-120 procent iorate
• 64K Sequential Write: 100 procent Write, 16 wątków, 0-120 procent iorate
• 4K 70R/30W i 90R/10W Mix losowy, 64 nitki, 0-120 procent joratu

Patrząc na nasz pierwszy test koncentrujący się na przepustowości odczytu, możemy zobaczyć przewagę kanału PCIe, którą ma podejście Direct Drives z 32 pasami PCIe nad pojedynczym PERC 12 z 16 pasami.To się kończy na 410,6 GB/s z napędów bezpośrednich w porównaniu z 28 GB/s z PERC 12 w trybie JBOD.

Przełączanie szerokości pasma odczytu do zapisu zmniejsza korzyści z dodatkowych pasów PCIe, ponieważ prędkość zapisu Solidigm P5520 jest niższa niż prędkość odczytu.Tutaj konfiguracja napędów bezpośrednich mierzy 180,3 GB/s w porównaniu z 20,3 GB/s z PERC 12.

W naszym przypadkowym obciążeniu czterokrotnym, 8 dysków SSD Solidigm P5520 w Direct Drive PowerEdge R760 mierzyło 5,55M IOPS, w porównaniu z 4,34M IOPS w konfiguracji PERC 12.

W 4K random write, różnica ta zmniejsza się ponownie, przy czym napędy bezpośrednie mierzą 3,96M IOPS w porównaniu z 4,15M IOPS na PERC 12.

W pierwszej z dwóch mieszanych obciążeń roboczych, obserwujemy przypadkowy transfer 4K z 70/30 odczytu/zapisu.w stosunku do PERC 12 z 3.66M.

Zwiększając odczyt do 90 procent w tym samym teście transferu 4K, zmierzyliśmy 5,04 mln IOPS z serwera Direct Drives w porównaniu z 3,62 mln IOPS z systemu PERC 12.

Analiza obciążenia FIO

W celu pomiaru wydajności napędów oferowanych przez firmę Dell Direct Drive i PERC 12 HWRAID, wskaźniki odniesienia zostały podzielone na następujące konfiguracje.Pierwszy zawierał konfigurację JBOD mierzącą każdy napęd poza RAID, RAID10, a następnie konfiguracje RAID5.

W przypadku podejścia Direct Drives dyski SSD pojawiają się w systemie operacyjnym normalnie; w przypadku PERC 12 są one przekazywane przez HBA jako surowe urządzenia pamięci masowej.Te konfiguracje zostały przeprowadzone przez proces skryptowania do wstępnego warunku błysku, przeprowadzić testy, na które zostały uwarunkowane, i przejść do następnej mieszanki wstępnego uwarunkowania/obciążenia roboczego.

• Sekwencyjne wstępne uwarunkowanie
• Badania sekwencyjne na JBOD, 8DR10, 8DR5 (jednorazowe i podwójne PERC)
• Wyborne wstępne uwarunkowanie
• Badania optymalne losowo na JBOD, 8DR10, 8DR5 (jednorazowe i podwójne PERC)
• Badania losowego przebudowywania na 8DR10, 8DR5 (jednorazowy i podwójny PERC)
• Randomne opóźnienie zapisu dla optymalnego i odbudowy dla 8DR5 (Single PERC)

Ponieważ PERC 12 H965i ma gniazdo x16 PCIe Gen4, jego maksymalna wydajność wynosi około 28 GB/s w jednym kierunku, a to jest miejsce, w którym gniazdo Gen4 jest najlepsze.Dell podjął unikalne podejście do tego limitu przepustowości, oferując podwójną konfigurację PERC 12 w ich PowerEdge R760Zamiast 16 dysków SSD podłączonych do jednej karty, obciążenie jest podzielone, a każdy PERC 12 kontroluje własny zestaw 8 dysków SSD.Takie podejście eliminuje ograniczenia przepustowości, jednocześnie znacząco zwiększając maksymalną dostępną przepustowość w warunkach wymagających obciążeń roboczych.

Najpierw przyjrzyjmy się wydajności transmisji sekwencyjnej, możemy zobaczyć przewagę przepustowości, jaką ma konfiguracja napędów bezpośrednich, z prędkością odczytu mierzącą 54.4 GB/s w stosunku do pojedynczego PERC 12 mierzącego 28.1GB/s. Prędkość pisania native ma również przewagę, mierząc 33,4GB/s w porównaniu z 28,3GB/s z pojedynczego PERC 12 z ośmioma dyskami.Nie zauważysz tu ogromnej różnicy.Ogólnie rzecz biorąc, ta klasa dysków SSD ma prędkość odczytu znacznie większą niż prędkość zapisu.

Zmieniając naszą uwagę na wydajność przelewu losowego, zaczynamy dostrzegać zmianę, w której zalety karty RAID mogą wejść w odniesieniu do zrównoważenia NUMA.68TB P5520 SSD mierzone 7.96M IOPS w naszym teście odczytu 4K, z konfiguracją PERC 12 JBOD mierzącą 7M IOPS. Prędkość zapisu w konfiguracji napędów bezpośrednich spadła do 3.4M IOPS, podczas gdy PERC 12 utrzymywał 5,97M IOPS.Z obciążeniem 4K OLTP, jest to jeszcze bardziej wyraźne w przypadku napędów bezpośrednich mierzących 3,6 M IOPS w porównaniu z 10,2 M IOPS z PERC 12.

Tradycyjne myślenie było takie, że w przypadku nowoczesnych dysków SSD RAID nie ma żadnej wartości, ale widzimy, że tak już nie jest.Ale to ruchomy cel na wielu dyskach SSD zrównoważonych przez dwa procesory..

To jest wprost przeciwieństwie do karty PERC 12 HWRAID, która zarządza całą tą złożonością i łączy się tylko z jednym procesorem.Druga karta PERC w Dell PowerEdge R760 łączy się z drugim procesorem, oferując równowagę dla większych obciążeń pracy podzielonych na te dwie grupy dysków.Dlatego nie widzieliśmy liniowego skalowania w niektórych obszarach z dodatkową kartą PERC 12.

Chociaż nie przyjrzeliśmy się opcjom oprogramowania RAID z konfiguracją Direct Drives PowerEdge R760, mieliśmy okazję zobaczyć, jak dobrze konfiguracja RAID działa na PERC 12 w stanie zdegradowanym.Podczas gdy wydajność odnotowała znaczny spadek w porównaniu z jej optymalną, zarówno RAID10 jak i RAID5 oferowały silną wydajność podczas odbudowy swoich grup RAID.

Podczas gdy optymalna wydajność RAID jest ważnym aspektem wyboru rozwiązania pamięci masowej, obserwowanie jego wydajności w warunkach nieoptymalnych może być równie ważne.mierzyliśmy opóźnienie zapisu 4K w RAID5 w optymalnych warunkachJeśli wydajność lub opóźnienie będą miały duży wpływ, szybkość reagowania aplikacji może stać się problemem.Podczas gdy wydajność odbudowy maleje w porównaniu z optymalną, opóźnienie wydajności nie wzrasta w stosunku do wartości wyjściowej.

Ostatnie uwagi

Nowa karta RAID PERC12 NVMe firmy Dell zmienia grę w zakresie możliwości przechowywania NVMe w serwerach PowerEdge.Niektórzy klienci wahają się w przejściu od SSD SAS lub wybierają napędy NVMe podłączone do różnych SDS lub hiperwizorówJednakże wprowadzenie karty PERC 12 zmieniło równanie dla PowerEdge, czyniąc ją bardziej realną opcją.

Powodem, dla którego PERC 12 działa tak dobrze, jest również układ serwera PowerEdge. Nasz R760 ma dwie karty PERC 12 (H965i Front), każda z pasami x16.To pozwala nam wykorzystać 8 Solidigm SSD z każdą kartąPodłączenie wszystkich 16 dysków SSD do jednej karty RAID spowodowałoby utratę połowy potencjalnej wydajności.

Możecie zapytać, dlaczego nie 24 dyski SSD z HWRAID? Pamiętajcie, że każdy system ma gdzieś wąski gardło.Więc x86 w serwerze staje się faktorem bramyJeśli mówimy o rozwiązaniu klasterowanym, to będziemy również wiązać sieć.Nie ma potrzeby posiadania serwera pełnego napędów dla problemów z pojemnością systemu..

Jeśli przeczytacie naszą recenzję karty RAID Broadcom serii 9600,Zaczęliśmy dość sceptycznie, że nowy krzemowy realistycznie zapewnić wszystkie dane odporność i odbudować korzyści z HWRAID bez kolana NVMe SSD profilu wydajnościByliśmy przyjemnie zaskoczeni wynikami tego przeglądu, a tym bardziej tutaj, gdy PERC 12 był w stanie podwoić w R760 aby uzyskać dwukrotnie większą wydajność.Podczas gdy napędy Dell Direct mogą być nadal preferowane w wielu przypadkach użytkowania, podobnie jak pamięć masowa definiowana przez oprogramowanie, opcja PERC 12 powinna być niezwykle popularna w większości przypadków zastosowania w przedsiębiorstwach.

Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com

Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!