wiadomości o firmie Instynktywny i EPYC; VAST Data ustala szeroko rozpowszechnioną współpracę AMD CPU/GPU

John Mao

Kluczowe filary rozszerzonej współpracy

• - VAST przyjmuje procesory AMD EPYC 6. generacji (o kryptonimie Venice) do zasilania swoich platform CBox 6. generacji i EBox 3. generacji, które stanowią podstawę VAST AI OS. Procesory EPYC 6. generacji posiadają PCIe Gen 6, zapewniając dwukrotnie większą przepustowość I/O i niższe opóźnienia niż PCIe Gen 5 dla usług danych AI opartych na VAST DataBase i DataEngine, w tym baz danych, hurtowni danych i strumieniowania zdarzeń.
• - Trójstronna architektura referencyjna infrastruktury AI opracowana wspólnie przez VAST, AMD i DriveNets, obejmująca sprzęt AI w skali szafy AMD Helios, VAST AI OS i sieć DriveNets AI Fabric. Plan ten szczegółowo opisuje wsparcie infrastrukturalne dla trenowania, wnioskowania, uczenia ze wzmocnieniem i obciążeń KV cache, a także wskazówki dotyczące rozmiarów dla zespołów budujących fabryki AI.
• - Szersze partnerstwa ekosystemowe z TensorMesh, EmbeddedLLM i innymi dostawcami w celu przyspieszenia produkcyjnych stosów wnioskowania zoptymalizowanych pod kątem AI opartej na agentach.
• - Nowe optymalizacje KV cache i wnioskowania łączące procesory graficzne AMD Instinct, Infinity Context, oprogramowanie ROCm i VAST AI OS.
• - Zautomatyzowane zarządzanie cyklem życia KV Cache: Czyszczenie pamięci podręcznej zawierającej wrażliwe dane osobowe stanowi poważne przeszkody w zakresie zgodności z przepisami dla przedsiębiorstw. Zintegrowany stos wykorzystuje natywne zasady cyklu życia danych VAST do automatycznego wygaszania i usuwania danych KV cache, zapewniając solidne bezpieczeństwo, prywatność i zgodność z przepisami bez ręcznej pracy administracyjnej.
• - Karta sieciowa AI AMD Pensando Pollara 400 tworzy szybkie ścieżki danych łączące procesory graficzne Instinct z VAST AI OS. Obsługując NFS przez TCP i RDMA, bezproblemowo przesyła dane między pamięcią procesora graficznego a klastrami pamięci masowej NVMe SSD VAST, zasilając KV cache i dostęp do pamięci masowej, kluczowe dla wnioskowania na dużą skalę i AI opartej na agentach.
• - Zweryfikowane wdrożenia u wiodących dostawców chmur AI oferujących usługi AI oparte na AMD na całym świecie, w tym 5C, Core42, Crusoe, EmbeddedLLM, Phanos.AI, TensorWave i Vultr.