MLPerf Storage v3.0 dodaje warstwę danych S3 do istniejącej platformy POSIX, wraz z nowymi obciążeniami KV Cache i wektorowymi bazami danych, ściśle dostosowując kryteria testów porównawczych do wymagań nowoczesnego systemu danych AI.
Opracowany przez MLCommons test porównawczy MLPerf Storage pierwotnie oceniał wydajność pamięci masowej dla obciążeń szkoleniowych związanych z uczeniem maszynowym, w tym Unet3D, Cosmoflow i Resnet50, z wykorzystaniem sprzętu graficznego NVIDIA A100 i H100. Wersja 3.0 zawiera kompleksową restrukturyzację testów, skupiającą się na czterech podstawowych scenariuszach obciążenia.
Zaktualizowane środowisko testowe obejmuje szkolenie AI oparte na Unet3D i RetinaNet, które mierzy maksymalną skalowalność akceleratora przy zachowaniu ponad 90% wykorzystania, symulowane na procesorach graficznych NVIDIA B200 lub AMD MI355. Obejmuje także punkty kontrolne dla modeli typu Lama 3 o parametrach od 8B do 1,25T, traktując priorytetowo małe opóźnienia dla 10 rund iteracyjnego zapisu i odczytu. Dodatkowo pakiet obejmuje testowanie wektorowych baz danych na 1 milionowym zestawie danych Milvus o wymiarach 1536, aby zmaksymalizować przepustowość zapytań przy jednoczesnym śledzeniu opóźnień i współczynników przypominania, a także testowanie pamięci podręcznej KV w celu sprawdzenia maksymalnej wydajności obsługi równoczesnych rozmów.
Brian Belgodere, współprzewodniczący grupy roboczej MLPerf Storage, stwierdził, że nowe portfolio testów wzbogaca zakres testów porównawczych dla głównych wymagań dotyczących pamięci masowej wnioskowanej sztucznej inteligencji. Zaktualizowany pakiet równoważy szkolenia skoncentrowane na szkoleniu i testy punktów kontrolnych z oceną pamięci podręcznej KV zorientowaną na wnioskowanie i oceną baz danych wektorowych. Dzieląc zintegrowane systemy sztucznej inteligencji na ukierunkowane oceny obciążenia pamięci masowej, w tym punkty kontrolne, buforowanie KV i przetwarzanie zapytań wektorowych, test porównawczy umożliwia praktykom branżowym lepszą optymalizację konfiguracji infrastruktury sztucznej inteligencji i eliminowanie wąskich gardeł w wydajności pamięci masowej.
Nowo dodana warstwa obiektowej pamięci masowej S3 obsługuje szkolenia, punkty kontrolne i częściowe testy wektorowych baz danych, przy czym mniej więcej jedna szósta wszystkich zgłoszeń w wersji 3.0 korzysta z dostępu do pamięci opartej na S3.
Curtis Anderson, inny współprzewodniczący Grupy Roboczej, zauważył, że w miarę skalowania kontekstu sztucznej inteligencji do bilionów tokenów obiektowa pamięć masowa staje się realną, a nawet preferowaną alternatywą dla tradycyjnego przechowywania w systemie plików. Natywna obsługa S3 w wersji 3.0 zapewnia przejrzyste dane dotyczące wydajności, które pomagają w podejmowaniu decyzji dotyczących wdrożenia pamięci masowej w przedsiębiorstwie.
W sumie 19 dostawców przedstawiło wyniki w tym cyklu testów porównawczych. Warto zauważyć, że na liście zgłoszeń nie znaleźli się główni gracze zajmujący się starszymi firmami zajmującymi się pamięcią masową dla przedsiębiorstw, w tym DDN, Dell, Huawei, IBM, NetApp, VAST Data i WEKA. Przedstawiciele MLPerf skomentowali, że tradycyjni dostawcy serwerów NAS mają ograniczony udział, a większość uznanych na rynku operatorów nie uczestniczy w ostatniej rundzie.
Biorąc pod uwagę zróżnicowany krajobraz pamięci masowej AI, wersja 3.0 nie publikuje ani jednego ogólnego rankingu. Zamiast tego dostarcza niezależne wyniki dla czterech kategorii obciążenia pracą z wielowymiarowymi wskaźnikami. Kompletny zestaw danych wynikowych obejmuje około 145 wierszy i 55 kolumn, co daje łącznie prawie 8000 komórek danych, z 12 kolumnami dedykowanymi wyłącznie dla wskaźników wydajności pamięci podręcznej KV. Obejmują one przepustowość, przepustowość odczytu/zapisu i opóźnienia P95 zarówno w przypadku architektur obejmujących wyłącznie pamięć masową, jak i pamięć masową + pamięć dla obciążeń w modelu Llama 8B i 70B.
MLCommons zaleca również standaryzowaną ocenę wydajności w oparciu o gęstość przypadającą na szafę i efektywność energetyczną na wat, aby zmierzyć ogólną efektywność operacyjną infrastruktury.
Zaktualizowany pakiet testów porównawczych charakteryzuje się bardzo złożoną logiką oceny, umożliwiając dostawcom selektywne przesyłanie wyników dla docelowych obciążeń. Na przykład jedynie NewFW, Samsung, Suzhou Zishan i TTA przedstawiły wyniki testów wektorowych baz danych.
Firma Everpure odnotowała najwyższą wydajność pamięci FlashBlade//EXA w testach punktów kontrolnych i pamięci podręcznej KV dla modeli z parametrami 405B i 1,25T. Wdrożona na 30 węzłach danych w celu obsługi 1024 symulowanych akceleratorów platforma osiągnęła przepustowość zapisu 877,52 GiB/s (zakończenie 17,74 s) i przepustowość odczytu 588,28 GiB/s (zakończenie 28,99 s) dla punktów kontrolnych modelu 1,25T. Jego wydajność skalowała się liniowo od przepustowości zapisu wynoszącej 327,65 GiB/s w 10 węzłach do szczytowego wyniku w 30 węzłach.
Dane dodatkowe pokazują, że zgłoszenia do zapisu w lokalnych punktach kontrolnych zapewniły średnią efektywność energetyczną na poziomie 14 GB/s na wat, a szczytowo na poziomie 201 GB/s na wat. Tymczasem testy odczytu UNet3D wykazały medianę wydajności 34 GB/s na wat i maksymalnie 277 GB/s na wat.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storageserver.com
Koncentracja biznesowa:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami, aby dostarczać niezawodne produkty i profesjonalne usługi.
„Wykorzystanie technologii do budowy inteligentnego świata”Twój zaufany dostawca usług produktów ICT!
Twoja wiadomość musi mieć od 20 do 3000 znaków!
Polish
