CoreWeave wdrożyło wielo-rapkowy klaster NVIDIA Vera Rubin NVL72 na CoreWeave Cloud, łącząc setki procesorów graficznych Rubin w jednolite środowisko skalowalne zoptymalizowane dla obciążeń roboczych AI.Każdy wyprodukowany przez Dell rack zawiera 72 procesory Rubin i 36 procesorów Vera, przyjmując NVLink 6 jako skalowalną tkaninę połączeń, połączoną z dwoma ConnectX-9 SuperNIC na GPU.które CoreWeave może skalować do 128CoreWeave jest pierwszym dostawcą chmury, który z powodzeniem zatwierdził i aktywował system Vera Rubin NVL72, oraz pierwszym, który opublikował jego mierzoną wydajność.W zeszłym tygodniu opublikowano pierwsze wyniki oceny porównawczej.Oprócz aktualizacji obliczeniowej, CoreWeave AI Object Storage dodaje akcelerację pisania międzyregionalnego i zupełnie nowy poziom Archiwum.

Architektura Multi-Rack

To wdrożenie wielo-raków ma na celu agentyczne przepływy pracy wykonywania, w których sekwencyjne pętle rozumowania i połączenia zewnętrznych narzędzi wzmacniają opóźnienie dostępu do danych w rozproszonej infrastrukturze.Podwójne ConnectX-9 SuperNIC, zamontowane w każdym procesorze Rubin, dostarczają do 1.6 Tb/s przepustowości sieci back-end na GPU na linkach wielociągowych, wieloplanowych. Tkanina wykorzystuje konstrukcję modułową, umożliwiając nowym stojakom NVL72 dołączenie do tej samej topologii bez blokowania w miarę rozszerzania pojemności.Szybkość działania.

CoreWeave łączy te półki za pomocą pakietu oprogramowania Mission Control.w tym wykrywanie sprzętu za pomocą migającego oprogramowania układowegoModuł zarządzania rackami Racky kontroluje zasilanie i infrastrukturę,podczas gdy programowalny kontroler chłodzenia Valvey zapewnia programowaną widoczność i zarządzanie obwodami chłodzenia płynów i czujnikami środowiskowymi.

Na poziomie węzła obejmuje to godziny powtarzających się diagnostyk GPU, weryfikacji transferu CPU-GPU, testów połączeń i obciążenia termicznego,+ realistyczne obciążenia szkoleniowe. Na poziomie racków, zsynchronizowane prace we wszystkich 72 procesorach graficznych weryfikują przepustowość NVLink GPU-to-GPU; każdy sprzęt poniżej progu wydajności jest wykorzystywany do rozwiązywania problemów.CoreWeave uruchamia rozproszone obciążenia, celowo wyłączając NVLink, aby zmusić ruch w sieci back-endowej, i monitoruje fizyczną strukturę pod kątem niestabilnych linków, rosnących wskaźników błędów, przegrzania komponentów i niezrównoważonego ruchu.Obciążenia badawcze naśladowane przez aplikacje agentowe, z nagłymi wzrostami popytu, zmiennymi współczynnikami i gwałtownymi wzorcami komunikacji.

Aktualizacje AI Object Storage: Pisanie międzyregionalne i poziom archiwum

Ulepszenie pamięci masowej opiera się na Local Object Transport Accelerator (LOTA), proxy pamięci podręcznej wdrażanym na każdym węzle GPU i CPU w ramach usługi CoreWeave Kubernetes,przechowywanie danych obiektowych w węzłowo-lokalnym NVMeCoreWeave informuje o przeczytaniu w pamięci podręcznej do 7 GB/s na GPU, z opóźnieniem odczytu p99 ponad 8x niższym niż bezpośredni dostęp do wiadra.000 procesorów graficznych i pamięci podręcznej 20PB, osiągając wskaźnik trafienia 99,7%, przy czym LOTA jest oferowana bez dodatkowych opłat.

Przyspieszenie pisania międzyregionalne umożliwia aplikacjom pisanie do wiadra w odległym regionie z lokalnym opóźnieniem, bez modyfikacji API lub SDK.Aplikacje wysyłają standardowe pisma S3 do punktu końcowego LOTA; dane obiektu są trwale przechowywane lokalnie, podczas gdy metadane są przekazywane do odległego regionu.a dane migrują do odległego regionu w tle. Aplikacje widzą jedną przestrzeń nazw wiadra obejmujące wszystkie regiony z spójnymi zasadami IAM, zasadami cyklu życia i kontrolą dostępu,wyeliminowanie odrębnych regionalnych wiader i rurociągów replikacyjnych zazwyczaj wymaganych do dystrybucji między punktami kontrolnymi.

"Nasze zestawy danych obejmują wiele regionów i nie możemy sobie pozwolić na to, by nasz harmonogram szkoleń był podyktowany opóźnieniami w odzyskiwaniu danych międzyregionalnych" - powiedziała Cécile Robert-Michon.dyrektor ds. infrastruktury wewnętrznej w firmie Cohere.??CoreWeave AI Object Storage daje nam zunifikowany zestaw danych w różnych regionach z odczytami w pamięci podręcznej lokalnie, więc nic nie czeka w sieci.

Poziom Archiwum jest czwartą klasą przechowywania oprócz Hot, Warm i Cold, zaprojektowaną do pisania raz, rzadko czytanych danych, takich jak historyczne punkty kontrolne szkoleniowe i surowe zestawy danych.Oznacza niższą cenę mocy podstawowej i uchyla odbiórCoreWeave zaleca zachowanie najnowszych punktów kontrolnych na szybszych poziomach w celu szybkiego ponownego uruchomienia,z automatycznym przeniesieniem do archiwum po 60 dniach bez odczytu. Wpisy międzyregionalne i poziom archiwum są obecnie ogólnie dostępne.

Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!