wiadomości o firmie Inferra jest Lightbits inferencing memory wall buster

Skróciłem pełny tekst o 8% liczby słów, zachowałem wszystkie kluczowe fakty, punkty odniesienia, cytaty i logikę techniczną, a usunąłem wszystkie linki:

Oprogramowanie Inferra firmy Lightbits przyspiesza operacje pamięci podręcznej KV, przełamuje barierę pamięciową wnioskowania AI i drastycznie poprawia wykorzystanie GPU. Firma zajmująca się wysokowydajnymi pamięciami blokowymi zbudowała Inferra w celu wirtualizacji pamięci GPU o wysokiej przepustowości (HBM). Pamięć podręczna KV przechowuje wstępnie obliczone klucze i wartości uwagi podczas wnioskowania LLM, unikając powtarzającego się ponownego obliczania danych sekwencyjnych i zwiększając wydajność generatywnej sztucznej inteligencji.

Standardowe buforowanie KV ogranicza dane buforowane do pamięci HBM GPU. Po nasyceniu pamięci HBM istniejące pary KV są usuwane na rzecz nowych danych, co wymaga czasochłonnego ponownego obliczania przy ponownym użyciu. Nowoczesne buforowanie KV w warstwach rozszerza pamięć masową na pamięć DRAM serwera, lokalne dyski NVMe SSD i zdalne dyski NVMe sieciowe. Chociaż wyższe warstwy wiążą się z dłuższymi opóźnieniami dostępu, to opóźnienie jest często krótsze niż ponowne obliczanie obszernych wektorów tokenów.

Inferra rozwiązuje krytyczne wąskie gardła pamięci wynikające z rozszerzania śladów pamięci podręcznej KV o długim kontekście. Umożliwia użytkownikom chmurowym i korporacyjnym szybsze i bardziej skalowalne wnioskowanie AI bez kosztownych modernizacji sprzętu GPU i HBM w celu zwiększenia pojemności pamięci podręcznej.

Współzałożyciel i przewodniczący Lightbits Labs, Avigdor Willenz, zauważył, że rynek wnioskowania AI o wartości 117 miliardów dolarów w 2026 roku zmusza tradycyjnych dostawców skoncentrowanych na szkoleniu do przeprojektowania. Podkreślił, że starsze systemy pamięci masowej i szkoleniowe nie mogą być dostosowane do wąskich gardeł pamięci podręcznej KV, ponieważ zostały zaprojektowane dla przestarzałych paradygmatów obciążeń. Zaprojektowana specjalnie z myślą o wydajności wnioskowania GPU, Inferra potwierdziła swoją wartość w programach beta u klientów, rozszerzając innowację NVMe over TCP firmy o rozwiązanie nowoczesnych problemów związanych z wnioskowaniem.

Zasilana algorytmami prefetchingu zoptymalizowanymi pod kątem pamięci podręcznej KV, Inferra proaktywnie ładuje nadchodzące dane pamięci podręcznej KV przed zapotrzebowaniem GPU. Zapewnia trzy główne zalety: do 16 razy więcej jednoczesnych sesji wnioskowania na istniejącym sprzęcie GPU z rygorystycznym przestrzeganiem SLA (bez modernizacji sprzętu); do 100 razy poprawa opóźnień i obsługa okien kontekstowych o 10 milionach tokenów, skracając TTFT i TPOT poprzez predykcyjny prefetching stanu uwagi zamiast ponownego obliczania; oraz bezpieczna izolacja dzierżawców z inteligentnym, zunifikowanym zarządzaniem pamięcią podręczną KV dla współdzielonych klastrów wnioskowania.

Inferra redefiniuje ekonomię wnioskowania poprzez wirtualizację pamięci GPU w pamięciach i pamięciach masowych o wielu poziomach, przekształcając fragmentaryczne buforowanie KV w trwałą, inteligentną warstwę danych. Wdrożona w podsystemach x86 serwerów, monitoruje aktywność bloków pamięci podręcznej KV i wykorzystuje silnik Sub-Linear Sparse Attention Prefetch (SLSAP). Łącząc haszowanie wrażliwe na lokalność i historyczne wzorce ponownego użycia uwagi, szereguje i priorytetyzuje często ponownie używane bloki KV, w tym ostatnie tokeny, semantycznie podobne treści i wzorce strukturalne w przepływach pracy wielokrotnych rozmów i RAG. System pobiera ukierunkowane bloki z pamięci DRAM serwera lub zewnętrznych dysków SSD i ładuje je do pamięci HBM GPU za pośrednictwem RDMA.

Dyrektor ds. Produktów i Technologii OVH, Yaniv Fdida, potwierdził, że Inferra zapewnia znaczące zyski z wykorzystania GPU, umożliwiając skalowalną, opłacalną infrastrukturę dla agentów AI i obciążeń RAG.

Publiczne wyniki testów porównawczych potwierdzają drastyczne wzrosty wydajności: Qwen 2.5-7B (kontekst 410 tys.) przyspiesza 102 razy (72,6 s → 711 ms); DeepSeek-R1-70B (kontekst 141 tys.) poprawia się 152 razy (70,8 s → 465 ms); Llama-4-Scout (kontekst 10 mln) osiąga skok 380 razy (1,5 godziny → 13 s).

Niezależna od sprzętu i kompatybilna ze wszystkimi głównymi otwartymi frameworkami wnioskowania, Inferra obsługuje wtyczki Dynamo, vLLM i LMCache. Co unikalne, zapewnia skalowanie TTFT poniżej liniowego w stosunku do długości kontekstu, podczas gdy konkurenci, w tym DDN, VAST Data i WEKA, oferują tylko skalowanie liniowe lub strumieniowanie reaktywne. Lightbits zademonstrował stabilne wnioskowanie o kontekście 10 mln tokenów na standardowych GPU L40S, co jest punktem odniesienia nieosiągalnym przez konkurencyjnych dostawców.

Wiceprezes ds. Produktów AI i Biznesu Lightbits Labs, Ramesh Chettuvetty, stwierdził, że Inferra zapewnia natychmiastowe oszczędności TCO, eliminując przestoje wnioskowania o długim kontekście i umożliwiając firmom uruchamianie większych modeli i dłuższych obciążeń dialogowych przy niższych kosztach infrastruktury. Użytkownicy mogą ocenić korzyści optymalizacji kosztów wnioskowania Inferra za pośrednictwem publicznej platformy oceny wydajności dostawcy. W ramach wspólnego pokazu z ScaleFlux w marcu, Inferra osiągnęła 100-krotne do 280-krotne przyspieszenie pamięci podręcznej KV na obciążeniach dysków SSD z obliczeniową pamięcią masową.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Dyrektor ds. Strategii Globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Z ponad 20-letnim doświadczeniem w dystrybucji IT, współpracujemy z wiodącymi globalnymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług produktowych ICT!