Dane techniczne komputerów Dell PERC12 H965i i PERC13 H975i

Kontroler PERC13 H975i Front w serwerach Dell PowerEdge zaprojektowano z myślą o bezproblemowej integracji z architekturą systemu. W przeciwieństwie do tradycyjnych kart rozszerzeń, które zajmują tylne gniazda PCIe, H975i podłącza się bezpośrednio do płyty montażowej przedniego napędu i łączy się z przednimi złączami MCIO na płycie głównej za pośrednictwem dedykowanych interfejsów PCIe 5.0. Ta zintegrowana konstrukcja pozwala zachować tylne gniazda PCIe dla wysokowydajnych procesorów graficznych i dodatkowej rozbudowy PCIe, jednocześnie znacznie zmniejszając długość kabli. Pomaga to w utrzymaniu integralności sygnału, czyniąc system bardziej niezawodnym i łatwiejszym w serwisowaniu. Rezultatem jest czystszy układ wewnętrzny i lepszy przepływ powietrza w przypadku wdrożeń gęstych i wymagających dużej mocy obliczeniowej.

W dysku H975i zastosowano wszechstronną architekturę zabezpieczeń, która obejmuje atestację sprzętu na poziomie krzemu, aż po szyfrowanie danych w pełnym spektrum na dyskach SED. U podstaw narzędzia Hardware Root of Trust znajduje się niezmienny łańcuch weryfikacji kryptograficznej, począwszy od wewnętrznej pamięci rozruchowej ROM poprzez każdy komponent oprogramowania sprzętowego, dzięki czemu na kontrolerze można uruchomić wyłącznie uwierzytelnione oprogramowanie sprzętowe certyfikowane przez firmę Dell. To sprzętowe zabezpieczenia obejmują implementację protokołu zabezpieczeń i modelu danych (SPDM), gdzie każdy kontroler zawiera unikalny certyfikat tożsamości urządzenia, umożliwiający kontrolerowi iDRAC przeprowadzanie weryfikacji uwierzytelniania w czasie rzeczywistym. Kontroler rozszerza ochronę kryptograficzną poza tradycyjne scenariusze przechowywania danych, obejmując pamięć podręczną. Przechowuje klucze szyfrujące w bezpiecznych obszarach pamięci, które są niedostępne dla nieautoryzowanego oprogramowania sprzętowego. W rezultacie wrażliwe dane pozostają chronione niezależnie od tego, czy znajdują się na dyskach, czy są aktywnie przetwarzane w pamięci podręcznej.

Ochrona zasilania w H975i to kolejna znacząca ewolucja w stosunku do tradycyjnych systemów zasilanych bateryjnie poprzez integrację superkondensatora. Superkondensator zapewnia natychmiastowe dostarczanie energii w przypadku nieoczekiwanej utraty zasilania, zapewniając zaszyfrowane i pełne opróżnienie pamięci podręcznej do pamięci nieulotnej, gdzie dane pozostają chronione przez czas nieokreślony. Ponadto, w przeciwieństwie do systemów zasilanych akumulatorowo, które wymagają 4–8 godzin na cykle uczenia się, superkondensator H975i kończy swój przejrzysty cykl uczenia się w ciągu 5–10 minut bez pogorszenia wydajności podczas kalibracji. Taka konstrukcja eliminuje koszty konserwacji i problemy związane z degradacją charakterystyczne dla rozwiązań akumulatorowych, zapewniając jednocześnie najwyższą niezawodność w zakresie ochrony danych o znaczeniu krytycznym.

Zintegrowane monitorowanie i zarządzanie

Kontrolerem RAID PERC13 firmy Dell, podobnie jak wieloma rozwiązaniami RAID firmy Dell, można zarządzać i monitorować na wiele sposobów, w tym podczas uruchamiania platformy za pomocą konfiguracji systemu w systemie BIOS, za pośrednictwem internetowego interfejsu graficznego kontrolera iDRAC, narzędzia PERC12, a nawet interfejsu użytkownika i interfejsu wiersza polecenia Dell OpenManage.

Zarządzanie kontrolerem iDRAC

Podczas przeglądania interfejsu zarządzania iDRAC na karcie kontrolery znajduje się przegląd sprzętu pamięci masowej serwera. Obok karty BOSS zobaczysz dwa kontrolery PERC H975i wraz z informacjami na temat wersji oprogramowania sprzętowego, pamięci podręcznej i stanu baterii. Dzięki temu podsumowaniu możesz szybko zweryfikować gotowość i konfigurację kontrolerów bez konieczności wchodzenia do BIOS-u czy korzystania z narzędzi CLI.

Karta Dyski wirtualne w kontrolerze iDRAC pokazuje utworzone macierze pamięci masowej, w tym ich poziom RAID, rozmiar i zasady buforowania. W tym systemie wymienione są dwie grupy RAID-10, wszystkie zbudowane na dyskach SSD. Z tego widoku administratorzy mogą potwierdzić, że woluminy są w trybie online, utworzyć nowe dyski wirtualne lub skorzystać z menu Czynności, aby dostosować lub usunąć istniejące konfiguracje.

Narzędzie do konfiguracji kontrolera RAID

Powyższy obraz przedstawia przykład otwierania narzędzia konfiguracyjnego PERC H975i Front Configuration Utility System Setup na platformie PowerEdge R7715. Za pomocą tego interfejsu można zarządzać wszystkimi kluczowymi ustawieniami kontrolera RAID, w tym zarządzaniem konfiguracją, zarządzaniem kontrolerem, zarządzaniem urządzeniami i nie tylko. To narzędzie zapewnia usprawniony sposób konfigurowania dysków wirtualnych i monitorowania komponentów sprzętowych bezpośrednio podczas procesu uruchamiania platformy.

Po wybraniu poziomu RAID przechodzimy do wyboru dysków fizycznych dla macierzy. W tym przykładzie wszystkie dostępne dyski SSD NVMe są wymienione i oznaczone jako obsługujące macierz RAID. Wybieramy wiele dysków Dell DC NVMe 3,2 TiB z nieskonfigurowanej puli pojemności. Filtry takie jak typ nośnika, interfejs i rozmiar sektora logicznego pomagają zawęzić wybór. Po sprawdzeniu żądanych dysków możemy kontynuować, klikając „OK”, aby sfinalizować wybór dysku i kontynuować tworzenie dysku wirtualnego.

Przed zakończeniem tworzenia dysku wirtualnego system wyświetla ostrzeżenie potwierdzające, że wszystkie dane na wybranych dyskach fizycznych zostaną trwale usunięte. Aby kontynuować, zaznaczamy pole „Potwierdź” i wybieramy „Tak”, aby autoryzować operację. To zabezpieczenie pomaga zapobiec przypadkowej utracie danych podczas procesu tworzenia macierzy RAID.

Po utworzeniu dysku wirtualnego pojawi się on w menu „Zarządzanie dyskami wirtualnymi”. W tym przykładzie nasz nowy dysk wirtualny RAID 5 ma pojemność 43,656 TiB i status „Gotowy”. W kilku prostych krokach pamięć jest skonfigurowana i gotowa do użycia.

Chociaż narzędzie konfiguracji BIOS PERC i interfejs iDRAC oferują intuicyjne opcje zarządzania lokalnego i zdalnego, firma Dell udostępnia także zaawansowane narzędzie wiersza poleceń o nazwie PERC CLI (perccli2). To narzędzie obsługuje systemy Windows, Linux i VMware, dzięki czemu idealnie nadaje się do tworzenia skryptów, automatyzacji lub zarządzania kontrolerami PERC w środowiskach bezgłowych. Firma Dell udostępnia także szczegółową dokumentację dotyczącą instalacji i korzystania z poleceń interfejsu wiersza polecenia PERC w swojej witrynie pomocy technicznej.

Testowanie wydajności Dell PERC13

Przed przystąpieniem do testowania wydajności przygotowaliśmy środowisko, korzystając z platformy Dell PowerEdge R7715 skonfigurowanej z dwoma kontrolerami przednimi PERC H975i. Połączono je z trzydziestoma dwoma dyskami Dell NVMe o pojemności 3,2 TB, każdy o przepustowości sekwencyjnego odczytu do 12 000 MB/s i sekwencyjnym zapisie do 5500 MB/s przy rozmiarze bloków 128 KiB. Ta podstawa o wysokiej wydajności pozwala nam przesuwać granice przepustowości kontrolera PERC13 i oceniać zachowanie RAID na dużą skalę.

• Platforma:Dell PowerEdge R7715
• Procesor:96-rdzeniowy procesor AMD EPYC 9655P
• Baran:768 GB (12 x 64 GB) DDR5-5200 ECC
• Kontroler rajdu:2x PERC13 H975i
• Składowanie:32 dyski Dell CD8P NVMe o pojemności 3,2 TB
• Akceleratory PCIe:2 x procesor graficzny NVIDIA H100

Bezpośrednia pamięć masowa NVIDIA Magnum IO GPU: sztuczna inteligencja spotyka się z pamięcią masową

Nowoczesne potoki AI są często powiązane z operacjami we/wy, a nie z obliczeniami. Partie danych, osadzania i punkty kontrolne muszą być przesyłane z pamięci masowej do pamięci procesora graficznego wystarczająco szybko, aby zapewnić zajęcie akceleratorów. Magnum IO GDS firmy NVIDIA (poprzez cuFile) zwiera tradycyjną ścieżkę „SSD → CPU DRAM → GPU” i umożliwia przesyłanie danych DMA bezpośrednio z NVMe do pamięci GPU. Eliminuje to obciążenie bufora odbicia procesora, zmniejsza opóźnienia i sprawia, że ​​przepustowość jest bardziej przewidywalna pod obciążeniem, co przekłada się na większe wykorzystanie procesora graficznego, krótsze czasy epok i szybsze cykle zapisu/ładowania w punktach kontrolnych.

Nasz test GDSIO ma na celu zmierzenie samej ścieżki danych z pamięci masowej do procesora graficznego, szerokiego rozmiaru bloków i liczby wątków, aby pokazać, jak szybko zestaw NVMe wspierany przez PERC13 może przesyłać strumieniowo do pamięci H100. Z każdą kartą H975i na łączu PCIe 5.0 x16 (teoretycznie ~64 GB/s na kontroler, jednokierunkowo), dwa kontrolery ustalają łączny pułap na poziomie ~112 GB/s; gdzie nasz płaskowyż krzywych informuje Cię, czy masz ograniczone łącze, czy media. Dla praktyków odczytaj wykresy jako zastępcze dla rzeczywistych obciążeń: duże odczyty sekwencyjne mapują na przesyłanie strumieniowe zbiorów danych i przywracanie punktów kontrolnych; duży sekwencyjny zapis mapy do punktu kontrolnego; mniejsze transfery ze współbieżnością odzwierciedlają tasowanie modułu ładowania danych i pobieranie z wyprzedzeniem. Krótko mówiąc, silne skalowanie GDSIO oznacza mniej przestojów procesora graficznego i bardziej spójną wydajność zarówno podczas treningu, jak i wnioskowania o dużej przepustowości.

GDSIO Odczyt przepustowości sekwencyjnej

Począwszy od odczytu sekwencyjnego, przepustowość zaczynała się skromnie przy mniejszych rozmiarach bloków i liczbie wątków, zaczynając od około 0,3 GiB/s przy blokach 8 KB w pojedynczym wątku. Wydajność gwałtownie wzrosła między blokami 16 KB i 512 KB, szczególnie po zwiększeniu liczby wątków z 4 do 16. Najbardziej znaczący wzrost nastąpił przy rozmiarach bloków 1 M, 5 M i 10 M, gdzie przepustowość gwałtownie wzrosła, osiągając szczyt na poziomie 103 GiB/s przy rozmiarze bloku 10 M i 256 wątkach. Ten postęp pokazuje, że macierz PERC13 korzysta z większych rozmiarów bloków i wielowątkowej równoległości z optymalnym nasyceniem wokół 64–128 wątków, po przekroczeniu którego osiąga plateau.

GDSIO Odczyt sekwencyjnej różnicy przepustowości

W testach odczytu sekwencyjnego dla bloków o wielkości od 8 KB do 10 M, kontroler PERC13 (H975i) konsekwentnie osiągał lepsze wyniki niż PERC12 (H965i), a przyrost procentowy dramatycznie wzrastał przy większych rozmiarach bloków i większej liczbie wątków.

W przypadku mniejszych rozmiarów bloków (8–16 tys.) poprawa była niewielka (zazwyczaj w zakresie 0–20%), a w niektórych odosobnionych przypadkach H975i nieznacznie pozostawał w tyle ze względu na zmienność testów przy małych głębokościach kolejek. Przy rozmiarach bloków 32–64 tys. przewaga stała się bardziej spójna, a H975i zapewniał o 30–50% wyższą przepustowość w przypadku większości wątków.

Najbardziej znaczące różnice zaobserwowano przy większych rozmiarach bloków (128 KB do 10 M), gdzie kontroler PERC13 odblokował pełny potencjał odczytu sekwencyjnego systemu. W tym przypadku H975i wykazał wzrost o 50–120% w porównaniu z H965i. Na przykład przy rozmiarze bloku 1M i 8–16 wątkach przepustowość była o ponad 55 GiB/s wyższa, co odpowiada wzrostowi o około 90%. Przy rozmiarach bloków 5M i 10M ulepszenia regularnie przekraczały 100%, a niektóre konfiguracje wykazywały prawie dwukrotnie większą wydajność w porównaniu z poprzednią generacją.

Ogólnie rzecz biorąc, kontroler PERC13 (H975i) uzyskał zdecydowaną przewagę pod względem obciążeń związanych z odczytem sekwencyjnym, zwłaszcza przy skalowaniu rozmiaru bloku i liczby wątków. Podczas gdy mniejsze rozmiary bloków wykazały stopniową poprawę, przy 256 KB i więcej nowszy kontroler stale zapewniał wydajność wyższą o 50–100%, wyraźnie podkreślając postęp architektoniczny w najnowszej platformie RAID firmy Dell.

GDSIO Odczyt opóźnienia sekwencyjnego

Wraz ze wzrostem przepustowości odczytu sekwencyjnego, opóźnienia pozostały do ​​opanowania przy mniejszych rozmiarach bloków i mniejszej liczbie wątków. Na przykład opóźnienie utrzymywało się poniżej 100 µs do 64 tys. bloków i 16 wątków, co świadczy o skutecznej obsłudze odczytów w tym zakresie. Gdy rozmiary bloków i liczba wątków wzrosły, szczególnie przy 5M i 10M przy 64 lub więcej wątkach, opóźnienia szybko rosły, osiągając szczyt na poziomie 211,8 ms przy rozmiarze bloku 10M i 256 wątkach. To pokazuje, jak wąskie gardła w kontrolerze lub kolejce pojawiają się w przypadku ekstremalnych obciążeń, mimo że przepustowość pozostaje wysoka.

Najlepszy balans wydajności i efektywności zaobserwowano przy rozmiarze bloku 1M z 8-16 wątkami, gdzie macierz utrzymywała przepustowość 87,5-93,7 GiB/s, utrzymując opóźnienia w zakresie 179-334 µs. Strefa ta stanowi najlepszy moment na maksymalizację przepustowości przy jednoczesnym utrzymaniu opóźnień znacznie poniżej milisekundy.

Przepustowość zapisu sekwencyjnego GDSIO

Wydajność zapisu wykazała duże wczesne skalowanie wraz ze wzrostem rozmiarów bloków, przy wzroście przepustowości z 1,2 GiB/s przy 8 tys. i 1 wątku do 13,9 GiB/s przy 256 tys. Najbardziej znaczący wzrost nastąpił pomiędzy rozmiarami bloków od 128 KB do 1 M, gdzie przepustowość osiągnęła ponad 80 GiB/s przy 8–16 wątkach. Najwyższa wydajność wystąpiła przy rozmiarach bloków 5 M i 10 M, utrzymując od 100 do 101 GiB/s od 8 wątków.

Wydajność tych większych bloków uległa spłaszczeniu w zakresie od 8 do 64 wątków, co wskazuje, że kontrolery osiągnęły stan nasycenia na początku krzywej skalowania. Przy większej liczbie wątków, zwłaszcza 128 i 256 wątków, stabilność przepustowości była zróżnicowana, utrzymując się na stałym poziomie przy dużych blokach 5 M i 10 M przy 101 GiB/s, ale spadając w przypadku bloków średniej wielkości, takich jak 256 KB, spadając z 61,2 GiB/s przy 32 wątkach do 45,3 GiB/s przy 256 wątkach.

Różnica przepustowości zapisu sekwencyjnego GDSIO

W testach zapisu sekwencyjnego kontroler PERC13 (H975i) zapewnił znaczną poprawę w porównaniu z kontrolerem PERC12 (H965i), szczególnie w przypadku skalowania rozmiarów bloków i liczby wątków. Przy małych rozmiarach bloków (8–32 tys.) poprawa była niewielka, na ogół w granicach 0–10%, a sporadyczne szumy testowe wykazywały nieistotne różnice.

Począwszy od 64K, przewaga H975i stała się bardziej wyraźna. Przy rozmiarze bloku 64 KB poprawa osiągnęła 40–70%, a przepustowość wzrosła o ponad 12–17 GiB/s w porównaniu z H965i. Przy 128–256 tys. wzrost był silniejszy, a H975i konsekwentnie zapewniał o 50–70% wyższą przepustowość przy średniej i dużej liczbie wątków.

Najbardziej dramatyczna różnica w wydajności pojawiła się przy większych rozmiarach bloków (od 512 KB do 10 M). Przy 512K H975i osiągnął wzrost od +31 do +56 GiB/s, co odpowiada 60-80% poprawie w porównaniu z H965i. Przy rozmiarze bloku 1M przewaga rosła dalej, ze skokami przepustowości od +40 do +68 GiB/s, co stanowiło wzrost o 70–90%. Wreszcie, przy rozmiarach bloków 5 M i 10 M, PERC 13 niemal podwoił przepustowość w porównaniu z PERC 12, z deltami od +75 do +79 GiB/s, co przekłada się na 100% poprawę w niektórych scenariuszach bogatych w wątki.

Ogólnie rzecz biorąc, kontroler PERC 13 wykazał wyraźny skok generacyjny w wydajności zapisu sekwencyjnego. Chociaż różnice są niewielkie w przypadku najmniejszych rozmiarów bloków, gdy obciążenia przekraczają 64 KB, H975i stale zapewnia o 50–100% wyższą przepustowość, co zdecydowanie potwierdza jego wyższość nad H965i w przypadku obciążeń sekwencyjnych wymagających intensywnego zapisu.

Opóźnienie sekwencyjne zapisu GDSIO

Opóźnienie podczas zapisu sekwencyjnego pozostało imponująco niskie przy mniejszych rozmiarach bloków i mniejszej liczbie wątków, często utrzymując się poniżej 50 µs w blokach 128 KB z maksymalnie 8 wątkami. Wraz ze wzrostem liczby wątków opóźnienie skalowało się bardziej zauważalnie. Na przykład opóźnienie osiągnęło 392 µs przy 512 K przy 32 wątkach i przekroczyło 1 ms przy rozmiarze bloku 1 M przy 64 wątkach.

Efekty nasycenia stały się bardziej widoczne przy największych rozmiarach bloków i najwyższych poziomach współbieżności. Opóźnienie wzrosło do 12,4 ms przy 5 M przy 128 wątkach i osiągnęło wartość szczytową 50,3 ms przy 10 M przy 256 wątkach.

Najbardziej efektywny punkt pracy w przypadku obciążeń z zapisem sekwencyjnym występował w blokach o wielkości 1 M lub 5 M z 8 do 16 wątkami, gdzie przepustowość sięgała 87,9 do 101,2 GiB/s, a opóźnienia utrzymywały się w granicach 178 µs – 1,7 ms, zapewniając wysoką, trwałą wydajność bez powodowania nadmiernych opóźnień w kolejce zapisu.

Wydajność MLPerf Storage 2.0

Aby ocenić wydajność w warunkach rzeczywistych w środowiskach szkoleniowych AI, wykorzystaliśmy zestaw testów MLPerf Storage 2.0. Magazyn MLPerf został specjalnie zaprojektowany do testowania wzorców we/wy w rzeczywistych, symulowanych obciążeniach związanych z głębokim uczeniem się. Zapewnia wgląd w to, jak systemy pamięci masowej radzą sobie z wyzwaniami, takimi jak punkty kontrolne i szkolenie modeli.

Punkt kontrolny punktów kontrolnych

Podczas uczenia modeli uczenia maszynowego punkty kontrolne są niezbędne do okresowego zapisywania stanu modelu. Pomaga to zapobiegać utracie postępów z powodu przerw, takich jak awarie sprzętu, umożliwia wcześniejsze zatrzymanie podczas szkolenia i pozwala naukowcom na rozgałęzianie się od różnych punktów kontrolnych w celu przeprowadzenia eksperymentów i ablacji.

Porównanie czasu zapisu w punkcie kontrolnym wykazało, że kontroler Dell PERC13 konsekwentnie przewyższał PERC12 we wszystkich konfiguracjach modeli. PERC 13 uzyskał czas zapisu w zakresie od 7,61 do 10,17 sekundy, podczas gdy PERC12 potrzebował od 10,41 do 20,67 sekundy dla tych samych operacji. Różnica w wydajności była najbardziej wyraźna w przypadku modelu parametrów 1T, w którym PERC13 zapisywał dane w nieco ponad 10 sekund w porównaniu z ponad 20 sekundami w przypadku PERC12. Oznacza to około 50% redukcję czasu oszczędzania w przypadku największych modeli.

Analizując wyniki przepustowości zapisu, dane pokazują doskonałe wykorzystanie przepustowości kontrolera PERC13, stale zapewniając wyższe szybkości przesyłania danych. PERC13 osiąga przepustowość od 11,46 do 14,81 GB/s, przy maksymalnej wydajności w modelu 1T. Dla kontrastu, PERC12 osiąga maksymalną prędkość 9,49 GB/s i spada do 6,98 GB/s w największej konfiguracji. Nowszy kontroler utrzymuje stabilniejszą wydajność w modelach o różnych rozmiarach, co sugeruje lepszą optymalizację pod kątem obsługi dużych zapisów sekwencyjnych, typowych dla operacji w punkcie kontrolnym.

PREV: Recenzja dysku SSD KIOXIA CM7-R E3.S

NEXT: Dell PowerEdge Direct Drives vs PERC 12 Recenzja