wiadomości o firmie Lightbits i ScaleFlux demo 100x do 280x przyspieszenia KV Cache

„Poprzez wstępne pobieranie tylko istotnych danych i dostarczanie ich do procesorów GPU za pośrednictwem szybkiego RDMA, zanim będą potrzebne, eliminujemy przestoje, które tradycyjnie ograniczają wydajność przy długim kontekście. Rezultatem jest niższy czas do pierwszego tokena (TTFT), bardziej stabilna przepustowość pod obciążeniem w rzeczywistych warunkach i znacznie wyższa efektywna wykorzystanie procesora GPU”.

Keith McKay, starszy dyrektor ds. architektury rozwiązań i partnerstw technicznych w ScaleFlux, skomentował: „To, co prezentujemy na GTC, to wczesny wgląd w to, jak inteligentniejsze rozmieszczenie danych i trwałe zarządzanie stanem uwagi może pomóc systemom wnioskowania pozostać responsywnymi w miarę wzrostu okien kontekstowych. Jest to współpraca, którą chcemy kształtować wraz z rzeczywistymi operatorami”.

Zarówno Lightbits, jak i ScaleFlux dążą do zachęcenia operatorów chmur i infrastruktury do przyjęcia ich oprogramowania i dysków SSD, eliminując kosztowny czas bezczynności procesorów GPU.

Najpierw przeanalizujemy wkład ScaleFlux, a następnie przejdziemy do bardziej zaawansowanej warstwy oprogramowania Lightbits.

ScaleFlux dostarcza dyski SSD NVMe i dyski obliczeniowe (CSD) wyposażone w sprzętową technologię redukcji zapisu (WRT). Napędzane przez sprzętowo przyspieszoną kompresję i zarządzanie metadanymi oparte na SoC, dyski te zapewniają do czterech razy większą pojemność logiczną niż pamięć masowa fizyczna, pozostając jednocześnie w pełni przezroczyste dla systemów hosta. Firma jest członkiem konsorcjum Open Flash Platform (OFP), które pracuje nad przedefiniowaniem infrastruktury danych AI za pomocą gęstych, niskolatencyjnych, energooszczędnych systemów — oferując 10-krotnie większą gęstość niż konwencjonalne systemy przechowywania danych AI oparte na plikach i zaledwie jedną dziesiątą zużycia energii.

Opierając się na tych dyskach pamięci masowej, Lightbits dodaje inteligentne wstępne pobieranie danych pamięci podręcznej KVzanimprocesory GPU ich potrzebują, zapobiegając przestojom spowodowanym niewystarczającą pojemnością KV lub kosztownym ponownym obliczaniem wektorów tokenów. Jego oprogramowanie LightInferra wykorzystuje zoptymalizowane algorytmy pamięci podręcznej KV do pobierania wymaganych danych do pamięci GPU z prędkością RDMA przed faktycznym zapotrzebowaniem.

Oprogramowanie działa na hoście x86 wbudowanym w serwery GPU i śledzi wzorce dostępu do bloków danych pamięci podręcznej KV. Wykorzystując tę telemetrię, obsługuje silnik Sub-Linear Sparse Attention Prefetch (SLSAP) do identyfikowania bloków KV, które najprawdopodobniej będą potrzebne w następnej kolejności.

Silnik ten łączy haszowanie wrażliwe na lokalizację (LSH) z modelowaniem statystycznego ponownego wykorzystania — analizując historyczną lokalność dostępu w obliczeniach uwagi — w celu oceny i priorytetyzacji bloków KV, a następnie wybiera te o najwyższym prawdopodobieństwie żądania przez procesory GPU.

Ten proces wyboru wykorzystuje inherentną rzadkość dostępu do danych GPU: większość tokenów ma znaczenie tylko dla niewielkiego podzbioru poprzednich tokenów. Izolując te bloki o wysokim prawdopodobieństwie, rozwiązanie drastycznie zmniejsza ilość wektorów tokenów, które muszą być przesyłane strumieniowo z powrotem do procesorów GPU.

Drugi algorytm koncentruje się na wzorcach ponownego wykorzystania: ostatnie tokeny, semantycznie podobne tokeny i wzorce strukturalne powszechne w scenariuszach RAG lub czatach wieloobrotowych są często ponownie wykorzystywane i odpowiednio priorytetyzowane.

LightInferra pobiera te bloki tokenów najpierw z pamięci DRAM serwera x86, lub z zewnętrznych dysków SSD ScaleFlux, jeśli jest to konieczne, a następnie wstępnie ładuje je do pamięci HBM procesora GPU za pośrednictwem połączeń RDMA.

Lightbits przetestował to podejście w porównaniu z ponownym obliczaniem zawartości pamięci podręcznej od zera przy użyciu obciążeń dużych modeli językowych, mierząc poprawę czasu do pierwszego tokena (TTFT). Zgłoszone przyspieszenie od 100x do 280x pochodzi bezpośrednio z tych wyników testów.

Oczywiście, chcielibyśmy zobaczyć wyniki testów porównujących akcelerację pamięci podręcznej KV Lightbits-ScaleFlux

 z akceleratorami pamięci podręcznej KV od DDN, Hammerspace, VAST Data, WEKA i innych, ale

nie są one dostępne.

Istnieją wykresy pokazujące, jak LightInferra-ScaleFlux stopniowo poprawiał TTFT regeneracji pamięci podręcznej

 wraz ze wzrostem rozmiaru modelu. Np.;