Polish
VAST Data rozszerzyło partnerstwo z AMD w celu rozwoju infrastruktury AI dla platform chmurowych i korporacyjnych, obsługujących szkolenie modeli, wnioskowanie, generowanie rozszerzone o wyszukiwanie (RAG) i obciążenia AI oparte na agentach. Zintegrowany stos łączy system operacyjny VAST AI z procesorami AMD EPYC 6. generacji, procesorami graficznymi AMD Instinct, sprzętem sieciowym AMD i oprogramowaniem ROCm.
Ta współpraca wpisuje się w główny trend branżowy: infrastruktura AI ewoluuje poza klastry przeznaczone wyłącznie do szkolenia, aby wspierać trwały kontekst, wnioskowanie o wysokiej współbieżności i wieloetapowe przepływy pracy agentów. Nowoczesne wdrożenia AI priorytetyzują efektywny ruch danych, zoptymalizowane zarządzanie pamięcią podręczną KV, wyższe wykorzystanie procesorów graficznych oraz dostęp o niskim opóźnieniu do dużych modeli i kontekstowych zbiorów danych.
Architektura DASE (Disaggregated Shared Everything) firmy VAST służy jako zunifikowana, współdzielona warstwa danych dla tych nowoczesnych środowisk AI. Konsoliduje ona pamięć masową plików i obiektów, bazy danych, strumieniowanie zdarzeń i podstawowe usługi danych pod jedną globalną przestrzenią nazw, jednocześnie zapewniając wielodostępność i izolację obciążeń dla chmur AI obsługujących różnorodne, współbieżne zadania klientów i aplikacji.
Procesory AMD EPYC 9006 napędzają nową generację sprzętu VAST
VAST przyjmuje procesory AMD EPYC 9006 serii 6. generacji (Venice) dla swoich nadchodzących systemów CBox 6. generacji i EBox 3. generacji, które stanowią podstawę sprzętową systemu operacyjnego VAST AI. Platforma EPYC 9006 wprowadza łączność PCIe Gen6 do linii sprzętowej VAST, podwajając przepustowość I/O na generację.
Aktualizacja zwiększa przepustowość pamięci masowej plików i obiektów oraz obniża opóźnienia dla obciążeń baz danych, hurtowni danych i strumieniowania zdarzeń obsługiwanych przez VAST DataBase i DataEngine. W przypadku infrastruktury AI, zwiększona przepustowość I/O łagodzi wąskie gardła w obliczeniach, sieciach i pamięci masowej NVMe, korzystając z ładowania modeli, potoków wyszukiwania, dostępu do punktów kontrolnych i zewnętrznych przepływów pracy pamięci podręcznej KV, które przekraczają natywne limity pamięci GPU.
Architektura referencyjna Tri-Player z AMD i DriveNets
VAST, AMD i DriveNets wspólnie budują zunifikowaną architekturę referencyjną infrastruktury AI, łączącą infrastrukturę AI Helios firmy AMD, system operacyjny VAST AI i sieć AI Fabric firmy DriveNets. Framework dostarcza ustandaryzowane wytyczne dotyczące wdrażania dla obciążeń związanych ze szkoleniem AI, wnioskowaniem, uczeniem ze wzmocnieniem i pamięcią podręczną KV, zapewniając najlepsze praktyki w zakresie rozmiarów i dostępności dla przedsiębiorstw budujących fabryki AI ze współdzieloną infrastrukturą danych i wysokowydajnymi sieciami.
VAST rozszerzył również swoje powiązania ekosystemowe z dostawcami rozwiązań do wnioskowania, TensorMesh i EmbeddedLLM, koncentrując się na produkcyjnych architekturach wnioskowania dla przypadków użycia AI opartych na agentach, z konkretnymi szczegółami integracji i uruchomienia, które jeszcze nie zostały ujawnione.
Zoptymalizowane odciążanie pamięci podręcznej KV dla wnioskowania o wysokiej współbieżności
Centralnym elementem zaktualizowanej współpracy jest ulepszone odciążanie pamięci podręcznej KV, wykorzystujące procesory graficzne AMD Instinct, AMD Infinity Context, oprogramowanie ROCm i system operacyjny VAST AI. Pamięć podręczna KV przechowuje dane stanu uwagi generowane podczas wnioskowania, aby przyspieszyć interakcje wieloetapowe i obciążenia AI o długim kontekście, jednak duże rozmiary pamięci podręcznej szybko zużywają ograniczoną pamięć GPU.
Odciążanie lub warstwowanie pamięci podręcznej KV do wysokowydajnej, współdzielonej pamięci masowej zwalnia pamięć GPU do zadań aktywnych, jednocześnie zachowując dane kontekstowe dla kolejnych żądań wnioskowania. Wczesne testy na procesorach graficznych AMD Instinct MI355X wykazały 9-krotnie szybszy czas do pierwszego tokenu i 9,7-krotnie wyższą przepustowość tokenów dla obciążeń AI opartych na agentach o wysokiej współbieżności za pośrednictwem odciążania pamięci podręcznej KV zasilanego przez VAST, z wydajnością różniącą się w zależności od podstawy sprzętowej, obciążenia i konfiguracji pamięci masowej.
Dodatkowo, zautomatyzowane zasady cyklu życia VAST mają zastosowanie do danych pamięci podręcznej KV, umożliwiając zaplanowane wygaśnięcie i usunięcie zawartości buforowanej – kluczowa funkcja do obsługi wrażliwych, osobistych lub regulowanych danych wnioskowania.
Szybkie połączenie GPU-Storage za pośrednictwem Pensando Pollara 400
Architektura wdraża karty sieciowe AI AMD Pensando Pollara 400 do połączenia procesorów graficznych AMD Instinct z klastrami pamięci masowej VAST. Obsługując NFS przez TCP i RDMA, karta sieciowa umożliwia efektywne transfery danych z GPU do pamięci masowej, zapewniając dostęp o niskim opóźnieniu do pamięci masowej VAST opartej na NVMe dla pamięci podręcznej KV i ogólnych obciążeń wnioskowania.
Ten projekt oddziela skalowanie zarządzania kontekstem od fizycznych limitów pamięci GPU. Zamiast traktować pamięć masową jako pasywną trwałość, VAST pozycjonuje swoją platformę jako zunifikowaną warstwę danych i wykonania dla rozproszonego zarządzania modelami, baz danych, strumieniowania, zasobów plików i kontekstu AI. Dla dostawców chmur AI architektura podnosi wykorzystanie GPU i efektywność operacyjną, wspierając przejście branży od szkolenia wsadowego i wynajmu GPU do trwałego wnioskowania i usług AI opartych na agentach.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Dyrektor ds. Strategii Globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Z ponad 20-letnim doświadczeniem w dystrybucji IT, współpracujemy z wiodącymi globalnymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług w zakresie produktów ICT!
Sandy Yang/Dyrektor ds. Strategii Globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Z ponad 20-letnim doświadczeniem w dystrybucji IT, współpracujemy z wiodącymi globalnymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług w zakresie produktów ICT!