Działające na platformie Oracle Cloud Infrastructure (OCI), oprogramowanie WEKA NeuralMesh i Augmented Memory Grid zapewnia 10 razy większą przepustowość tokenów, 10 razy więcej jednoczesnych użytkowników i 7 razy więcej tokenów na procesor graficzny w porównaniu ze standardowymi środowiskami OCI opierającymi się wyłącznie na lokalnej pamięci DRAM.
Augmented Memory Grid firmy WEKA rozszerza pamięć serwera GPU na potrzeby wnioskowania AI, wykorzystując pamięć zewnętrzną za pośrednictwem NeuralMesh, zamieniając zasoby zewnętrzne w wysokowydajną pamięć podręczną KV. Zapewnia mikrosekundowe opóźnienia i przepustowość rzędu wielu GB/s, oferując do petabajtów dodatkowej przestrzeni adresowej pamięci, przy pełnej kompatybilności z architekturą buforowania SX KV firmy NVIDIA. NeuralMesh to wysokowydajny system plików AI firmy WEKA. Wszystkie testy porównawcze zostały sprawdzone na 9-węzłowym klastrze OCI typu bare-metal H100 z oknami kontekstowymi zawierającymi 100 000 tokenów.
Pablo Salem, starszy dyrektor ds. rozwoju oprogramowania w OCI, skomentował: "Obciążenia AI w przedsiębiorstwach stale rozszerzają okna kontekstowe i podnoszą wykorzystanie procesora graficznego do nowych limitów. Te testy porównawcze dowodzą, że rozwiązanie WEKA eliminuje wąskie gardła pamięci GPU w OCI, umożliwiając większe, bardziej wymagające obciążenia wnioskowania bez dodatkowych inwestycji w sprzęt GPU."
WEKA zauważa, że rosnące zapotrzebowanie na wnioskowanie zwiększa nieefektywność infrastruktury sztucznej inteligencji. Częste eksmisje pamięci podręcznej KV powodują ukryte obciążenie, które marnuje cykle procesora graficznego, zwiększa opóźnienia, szkodzi wygodzie użytkownika i podnosi koszty operacyjne w przeliczeniu na token. W przypadku długokontekstowych i agentycznych obciążeń AI obejmujących ponad 100 000 tokenów wejściowych taki narzut poważnie szkodzi jednostkowej ekonomice wdrożeń produkcyjnych AI.
Test porównawczy został zbudowany na 9 węzłach, 72 procesorach graficznych H100, oknach kontekstowych zawierających 100 000 tokenów i tysiącach jednoczesnych użytkowników, przy wyraźnych różnicach w wydajności przedstawionych poniżej:
-
Jednoczesna pojemność użytkownika: WEKA obsługiwała ponad 5000 jednoczesnych użytkowników, w porównaniu z zaledwie 600 w konfiguracjach zawierających wyłącznie pamięć DRAM. Zapobiega awariom związanym z zapełnieniem pamięci podręcznej, rozszerzając aktywną pamięć podręczną z 8,64 TiB DRAM do 287 TiB pamięci flash NVMe, maksymalizując zwrot z inwestycji w istniejący sprzęt GPU bez konieczności zakupu dodatkowego procesora graficznego.
-
Przepustowość tokena: Stos WEKA osiągał prędkość około 2 milionów tokenów na sekundę, 10 razy szybciej niż bazowa wartość poniżej 200 000 tokenów na sekundę w systemach wykorzystujących wyłącznie pamięć DRAM.
-
Całkowita wielkość przetwarzania tokenów: W godzinnym teście z udziałem 2400 jednoczesnych użytkowników firma WEKA przetworzyła 5 miliardów tokenów, podczas gdy konfiguracja oparta wyłącznie na pamięci DRAM obsłużyła tylko 700 milionów tokenów.
W przypadku agentycznych przepływów pracy AI niewystarczająca ilość pamięci DRAM powoduje ciągłe ponowne obliczanie procesora graficznego po nasyceniu pamięci podręcznej, podnosząc koszty przypadające na token i obniżając zwrot z inwestycji. Dzięki przetwarzaniu 7 tokenów na procesor graficzny WEKA znacznie obniża ogólne koszty tokenów w przypadku produkcyjnych usług AI.
W przypadku usług sztucznej inteligencji działających w czasie rzeczywistym, w tym wyszukiwania, podsumowania, pomocy przy kodowaniu i agentów wieloobrotowych, przepustowość tokena określa limity usług w zakresie przepustowości użytkownika, szybkości reakcji i potencjału przychodów z infrastruktury. 10-krotne zwiększenie przepustowości w pełni odblokowuje natywną moc obliczeniową GPU w klastrze OCI.
Krótko mówiąc, oprogramowanie do rozbudowy pamięci firmy WEKA pomaga platformom chmurowym obsługiwać większą liczbę użytkowników, przetwarzać więcej tokenów i skutecznie obniżać koszty operacyjne.
Liran Zvibel, dyrektor generalny WEKA, powiedział: "Wydajność wnioskowania jest wąskim gardłem przez dostępną efektywną pamięć GPU. Wyniki te dowodzą, że same aktualizacje sprzętu nie są w stanie rozwiązać problemów ekonomicznych z tokenami AI. Prawdziwym ograniczeniem jest długotrwała ściana pamięci ograniczająca wydajność procesora graficznego. Rozwiązanie WEKA oparte na OCI drastycznie zwiększa wydajność przetwarzania tokenów przy zoptymalizowanym całkowitym koszcie posiadania."
OCI opublikowało pełną metodologię testów porównawczych, konfiguracje systemów i pełne wyniki testów na swoim oficjalnym blogu AI & Data Science.
NeuralMesh z Augmented Memory Grid jest teraz ogólnie dostępny dla klientów WEKA i notowany na Oracle Marketplace, a OCI jest jego wyłącznym partnerem w zakresie uruchamiania rozwiązań w chmurze. Przedsiębiorstwa korzystające z wnioskowania o długim kontekście w OCI mogą od razu wdrożyć tę gotową do produkcji, w pełni sprawdzoną architekturę.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storageserver.com
Koncentracja biznesowa:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami, aby dostarczać niezawodne produkty i profesjonalne usługi.
„Wykorzystanie technologii do budowy inteligentnego świata”Twój zaufany dostawca usług produktów ICT!
Twoja wiadomość musi mieć od 20 do 3000 znaków!
Polish
