wiadomości o firmie Przechowywanie pamięci podręcznej OceanStor KV firmy Huawei dla hiperskałowych centrów danych AI

Huawei ogłosił OceanStor M900, skalowalny klaster pamięci masowej all-flash, dostarczający do 64 PB pamięci podręcznej KV jako podstawową warstwę dla swoich Atlas 960 SuperPoD; akceleratory AI w skali szafy, porównywalne z SuperPOD firmy Nvidia.

Nvidia zdefiniowała projekt referencyjny integrujący swoje procesory GPU, karty sieciowe BlueField, przełączniki Spectrum-X i oprogramowanie AI z systemami pamięci masowej, obsługujący GPUDirect, RDMA i rozszerzenie pamięci podręcznej KV za pomocą oprogramowania Dynamo i schematu CMX. Ta wielowarstwowa architektura wykorzystuje pamięć o wysokiej przepustowości (HBM) procesora GPU jako najszybszą warstwę górną, a następnie pamięć DRAM powiązanych serwerów X86 jako poziom 2, lokalne dyski SSD serwera jako L3, a inteligentne dyski SSD NVMe podłączone do kart sieciowych BlueField-4 w serwerze pamięci masowej flash działającym jako L3.5. Mogą one osiągnąć HBM procesora GPU w jednym skoku sieciowym z opóźnieniem klasy mikrosekundowej.

Huawei rzuca teraz wyzwanie projektowi SuperPOD firmy Nvidia swoimi własnymi SuperPOD zbudowanymi dla hiperskalowalnych centrów danych AI. Systemy te są przeznaczone dla modeli z 10 bilionami parametrów i okien kontekstowych z milionem tokenów, co oznacza, że pamięć o wysokiej przepustowości pojedynczego akceleratora nie może pomieścić wszystkich wymaganych tokenów klucz-wartość, co wymaga mechanizmu buforowania.

Firma podaje, że jeden Atlas 960E SuperPOD może skalować się do 4096 jednostek NPU (Neural Processing Units), dostarczając 8 EFLOPS mocy obliczeniowej FP8, do 1 petabajta pojemności HBM i 256 TB ujednoliconej puli pamięci. Wdrożenie 5500 jednostek Hi-ONE wyposażonych w UnifiedBus (NPO) zmniejsza zużycie energii o ponad 550 kilowatów w porównaniu do tradycyjnie wymaganych 48 000 modułów optycznych 800G do połączenia wszystkich NPU. Podwaja również czas bezawaryjnej pracy systemu i osiąga 99,8% dostępności systemu.

Huawei OceanStor M900
SuperPOD przyjmuje wielowarstwowe ramy buforowania KV, w których M900 dostarcza pamięć podręczną KV o skali petabajtowej dla warstwy L3.5. Każdy klaster dostarcza do 4 PB współdzielonej pojemności pamięci podręcznej KV L3.5 i 40 TB/s zagregowanej przepustowości przez sieć optyczną dla tej warstwy, zapewniając wielokrotne terabajty pojemności pamięci podręcznej KV na NPU. Huawei twierdzi, że w typowych obciążeniach wnioskowania AI architektura ta podwaja przepustowość tokenów klastra wnioskowania i skraca czas do pierwszego tokenu (TTFT) o połowę.

Firma zauważa, że przepustowość 40 TB/s jest o 1,5 raza wyższa niż w konkurencyjnych rozwiązaniach, bez wyraźnego wskazywania dostawców. Uważa się, że ogólnie odnosi się to do systemów DDN, Everpure, IBM (Storage Scale), MinIO i VAST Data, których przepustowość klastra wynosi od 10 do 25 TB/s.

M900 posiada zintegrowaną konstrukcję łączącą procesor, kontroler sieciowy i kontroler NAND w jednej jednostce, umożliwiając NPU SuperPOD nawiązanie bezpośredniego, jednokrotnego połączenia z dyskami SSD. Zmniejsza to opóźnienie dostępu z milisekund do około 60 mikrosekund.

David Wang, zastępca przewodniczącego rady dyrektorów i rotacyjny przewodniczący Huawei, powiedział: „OceanStor M900 wykorzystuje również hybrydowe nośniki i zoptymalizowany algorytm retencji, wydłużając żywotność odczytu/zapisu dysków SSD 16-krotnie. Zapewnia to wyższy wskaźnik trafień w pamięci podręcznej KV, a także długoterminową stabilność i niezawodność od podstaw.”

W dalszych szczegółach Huawei podaje, że M900 posiada technologię adaptacyjnej pamięci masowej świadomą KV, która przewiduje oczekiwaną żywotność i wartość każdego segmentu danych pamięci podręcznej KV. Na podstawie tych przewidywań planuje i dystrybuuje dane na różnych poziomach nośników: pamięci na chipie, DRAM i dyskach SSD. Huawei twierdzi, że ta zoptymalizowana strategia umieszczania i retencji pozwala dyskom SSD wytrzymać do 24 zapisów dziennie (DWPD), co jest zauważalnie wysoką wartością, i zwiększa wytrzymałość dysków SSD 16-krotnie, wspierając trzy lata stabilnej pracy przy mniejszej liczbie wymian dysków.

Jest jeszcze zbyt wcześnie, aby Huawei mógł udostępnić arkusze danych i odprawy techniczne dotyczące M900, więc szczegóły, takie jak rozmiar jednostki rack węzła, kontrolery, ilość i pojemność dysków, liczba węzłów klastra i inne specyfikacje, nie są jeszcze dostępne.

Przypis NPU
NPU to Huawei Ascend Neural Processing Units, które, jak twierdzi Huawei, są zbudowane natywnie dla AI (w przeciwieństwie do GPU, które wywodziły się z chipów graficznych). Przyjmują architekturę Da Vinci firmy Huawei z rdzeniami Cube (macierzowymi) i rdzeniami Vector, i obsługują formaty o niskiej precyzji, w tym FP8 i FP4, w celu przyspieszenia wnioskowania i trenowania dużych modeli. Po złożeniu w ogromne systemy za pomocą całkowicie optycznego interkonektu UnifiedBus firmy Huawei, mogą one skalować się do tysięcy, a nawet setek tysięcy NPU działających jako jedna logiczna maszyna. Najnowsze oferty, takie jak Atlas 350 (z Ascend 950PR) i nadchodzące Atlas 960 SuperPOD, są pozycjonowane jako alternatywy dla procesorów GPU Nvidia na rynku chińskim.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Dyrektor ds. Strategii Globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Fokus Biznesowy:
Dystrybucja Produktów ICT/Integracja Systemów i Usługi/Rozwiązania Infrastrukturalne
Z ponad 20-letnim doświadczeniem w dystrybucji IT, współpracujemy z wiodącymi globalnymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług produktów ICT!