Platformą wybraną do tej pracy był nasz Dell PowerEdge R760 z systemem Ubuntu 22.04.02 LTS. Użyliśmy narzędzia DLIO benchmark w wersji 2.0 z wydania z 13 sierpnia 2024 r. Nasza konfiguracja systemu jest przedstawiona poniżej:

• 2 x Intel Xeon Gold 6430 (32 rdzenie, 2,1 GHz)
• 16 x 64 GB DDR5-4400
• 480 GB Dell BOSS SSD
• Kable szeregowe Gen5 JBOF
  • 7,68 TB Solidigm D7-PS1010
  • 61,44 TB Solidigm D5-P5336

Aby zapewnić, że nasze testy porównawcze odzwierciedlają rzeczywiste scenariusze, oparliśmy nasze testy na architekturze modelu LLAMA 3.1 405B, implementując tworzenie punktów kontrolnych za pomocą torch.save(), aby przechwycić parametry modelu, stany optymalizatora i stany warstw. Nasza konfiguracja symulowała system 8-GPU, implementując hybrydową strategię równoległości z 4-kierunkowym równoległością tensorową i 2-kierunkowym równoległością potokową przetwarzaną na ośmiu procesorach GPU. Ta konfiguracja zaowocowała rozmiarami punktów kontrolnych wynoszącymi 1636 GB, co jest reprezentatywne dla wymagań nowoczesnego treningu dużych modeli językowych.

Nasz proces testowania obciążenia tworzenia punktów kontrolnych DLIO polegał na wypełnieniu każdego dysku do podobnego poziomu wykorzystania. Dla 61,44 TB Solidigm D5-P5336, każda przepustka obejmowała 33 interwały punktów kontrolnych, o łącznej wielkości 54 TB. Mniejszy 7,68 TB D7-PS1010 komfortowo pomieścił trzy interwały punktów kontrolnych, o łącznej powierzchni 4,9 TB. Jeden dodatkowy punkt kontrolny mógł zmieścić się na D7-PS1010, chociaż spowodowałoby to nieco wyższe wykorzystanie niż chcieliśmy.

Obciążenie tworzenia punktów kontrolnych DLIO przyniosło interesujące wyniki, gdy porównaliśmy oparty na QLC dysk Gen4 o pojemności 61,44 TB D5-P5536 z opartym na TLC dyskiem Gen5 o pojemności 7,68 TB D7-PS1010. Podczas pierwszej przepustki, gdy dyski się zapełniały, zaobserwowaliśmy większą różnicę w wydajności między dwoma modelami SSD. Szybszy PS1010 Gen5 ukończył każdy punkt kontrolny średnio w 464 sekundy, w porównaniu do 623 sekund z P5336 Gen4. W drugiej i trzeciej przepustce różnica zmniejszyła się do 579 i 587 sekund dla PS1010 oraz 676 i 680 sekund dla P5336.

Firmy, które chcą uzyskać jak najmniejszą przerwę między interwałami tworzenia punktów kontrolnych, skorzystają z opartego na TLC PS1010 Gen5, który oferuje przewagę w najszybszym czasie ukończenia. Jeśli celem jest ekonomiczne przechowywanie wielu punktów kontrolnych, oparty na QLC P5336 Gen4 może to zapewnić. Zmierzyliśmy różnicę w średnich czasach tworzenia punktów kontrolnych wynoszącą mniej niż 17% między oboma dyskami podczas drugiej i trzeciej przepustki.

Przepustowość GPU Direct Storage

Chociaż DLIO pokazuje wydajność pamięci flash w przepływie pracy AI, obciążenie jest całkowicie oparte na zapisie, dopóki punkt kontrolny nie zostanie przywrócony. Aby uzyskać pełniejszy obraz dysków Solidigm D7-PS1010 i D5-P5336 w obciążeniach AI, uwzględniliśmy pomiary przepustowości odczytu za pomocą GDSIO.

Jak działa GPU Direct Storage

Tradycyjnie, gdy procesor GPU przetwarza dane przechowywane na dysku NVMe, dane muszą najpierw przejść przez procesor CPU i pamięć systemową, zanim dotrą do procesora GPU. Proces ten wprowadza wąskie gardła, ponieważ procesor CPU staje się pośrednikiem, zwiększając opóźnienia i zużywając cenne zasoby systemowe. GPU Direct Storage eliminuje tę nieefektywność, umożliwiając procesorowi GPU bezpośredni dostęp do danych z urządzenia pamięci masowej za pośrednictwem magistrali PCIe. Ta bezpośrednia ścieżka zmniejsza narzut związany z ruchem danych, umożliwiając szybsze i bardziej wydajne transfery danych.

Obciążenia AI, zwłaszcza te związane z uczeniem głębokim, są bardzo intensywne pod względem danych. Trening dużych sieci neuronowych wymaga przetwarzania terabajtów danych, a wszelkie opóźnienia w transferze danych mogą prowadzić do niedostatecznego wykorzystania procesorów GPU i dłuższych czasów treningu. GPU Direct Storage rozwiązuje ten problem, zapewniając, że dane są dostarczane do procesora GPU tak szybko, jak to możliwe, minimalizując czas bezczynności i maksymalizując wydajność obliczeniową.

Podobnie jak w teście DLIO, celem jest lepsze zrozumienie i scharakteryzowanie różnic między szybkimi dyskami SSD Gen5 a dyskami QLC o dużej pojemności. Nie każde obciążenie AI jest takie samo, a każdy dysk oferuje odrębne zalety, w zależności od potrzeb.

Macierz konfiguracji testowej

Systematycznie testowaliśmy każdą kombinację następujących parametrów z kartą NVIDIA L4 na naszej platformie testowej:

• Rozmiary bloków: 1M, 128K, 64K, 16K, 8K
• Liczba wątków: 128, 64, 32, 16, 8, 4, 1
• Liczba zadań: 16
• Rozmiary paczek: 16

Nasze pierwsze spojrzenie dotyczyło opartego na QLC dysku D5-P5336, który osiągnął maksymalnie 4,2 GiB/s przy rozmiarze transferu 1M i głębokości I/O 128. Efekt rozmiarów bloków spowodował znaczący wzrost przepustowości, przechodząc z 8K do 1M. Przewaga zwiększonej głębokości I/O zaczęła się zmniejszać przy 32, gdzie obciążenia zaczęły się stabilizować.

Następnie przyglądamy się opartemu na Gen5 PS-1010, który może skalować się do 6,2 GiB/s przy rozmiarze bloku 1M i głębokości I/O 128. Ogólnie rzecz biorąc, przewyższał on oparty na Gen4 P5336, z konkretnymi obciążeniami wykazującymi znaczący wzrost. Jednym z zauważalnych obszarów poprawy był rozmiar bloku 128K, gdzie przy głębokości I/O 64 i 128, PS1010 oferował dwukrotnie większą przepustowość odczytu niż P5336.

Warto zauważyć, że oba dyski SSD były testowane przy użyciu NVIDIA L4. Chociaż Gen4 D5-P5336 jest na swoim maksymalnym poziomie lub blisko niego, karty NVIDIA GPU wyższej klasy, takie jak H100, wykazały wyższą wydajność z D7-PS1010. Szybkość dysku jest ostatecznym czynnikiem decydującym dla niektórych klientów, podczas gdy inni priorytetowo traktują ogólną gęstość.Solidigm oferuje rozwiązania dla obu, dzięki swoim ofertom dysków SSD QLC i TLC.

Wnioski

W miarę jak skala i złożoność treningu AI stale rosną, podstawowa infrastruktura pamięci masowej musi nie tylko nadążać, ale także wyznaczać tempo. Nasze testy z dwoma wyraźnie różnymi dyskami SSD podkreślają znaczenie dopasowania rozwiązań pamięci masowej do konkretnych priorytetów treningowych – niezależnie od tego, czy oznacza to minimalizację opóźnień w tworzeniu punktów kontrolnych, czy maksymalizację gęstości punktów kontrolnych dla opłacalnej skalowalności.

 

W naszej ocenie przetestowaliśmy dyski Solidigm D5-P5336 (61,44 TB) i D7-PS1010 (7,68 TB) w realistycznych warunkach treningu AI, wykorzystując benchmark DLIO i rozbudowany przepływ pracy tworzenia punktów kontrolnych LLM z hybrydową równoległością. Zebraliśmy metryki odzwierciedlające wydajność zapisu punktów kontrolnych w wielu przebiegach testowych w miarę zapełniania się dysków, podkreślając różnice w wydajności czasów ukończenia między opartym na QLC dyskiem Gen4 D5-P5336 a opartym na TLC dyskiem Gen5 D7-PS1010.

 

 

Podczas gdy D7-PS1010 zapewniał najszybsze możliwe zapisy punktów kontrolnych, D5-P5336 wykazywał przekonujące zalety pod względem opłacalności i pojemności, z jedynie niewielkim kompromisem w wydajności. Dodatkowo zbadaliśmy przepustowość odczytu GPU Direct Storage (GDS) za pomocą GDSIO z procesorem GPU NVIDIA L4. Nasze wyniki pokazały, że Solidigm D5-P5336 zapewniał przepustowość odczytu do 4,2 GiB/s przy rozmiarze transferu 1M, podczas gdy D7-PS1010 zapewniał znaczący wzrost do 6,2 GiB/s. Wydajność byłaby jeszcze bardziej imponująca przy wykorzystaniu mocniejszego procesora GPU, takiego jak NVIDIA L40s lub H100/H200.

 

Patrząc w przyszłość, bezprecedensowa pojemność dysku SSD Solidigm D5-P5336 o pojemności 122 TB ma potencjał do przekształcenia treningu i wdrażania AI. W miarę wzrostu rozmiarów modeli i wymagań dotyczących tworzenia punktów kontrolnych, te dyski o dużej pojemności odblokowują nowe poziomy wydajności i elastyczności, umożliwiając strategie treningowe, które były wcześniej nieosiągalne. Liderstwo Solidigm w rozwiązaniach SSD o dużej pojemności umożliwia organizacjom przechowywanie większej ilości danych i punktów kontrolnych na mniejszej liczbie dysków, jednocześnie pomagając w przyszłościowym zabezpieczeniu ich infrastruktury przed kolejną falą złożoności AI.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com

Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT, współpracujemy z wiodącymi globalnymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług produktów ICT!