wiadomości o firmie Panmnesia i Meta przyjmują jednostronicowe, oparte na CXL podejście do centrów danych AI

Meta i dostawca technologii CXL, Panmnesia, twierdzą, że centra danych AI należy postrzegać jako jeden skoordynowany zasób przetwarzania, a nie jako zestaw niezależnych serwerów zlokalizowanych obok siebie.

Centrum danych AI powinno być ściśle powiązanym zasobem, z pojedynczą domeną spójności, podobnie jak chip CPU. Różni się to od istniejących, luźno powiązanych, sterowanych żądaniami centrów danych przedsiębiorstw, które mają wiele domen spójności. Centra danych AI mogą wykonywać jedno zadanie na setkach, a nawet tysiącach GPU, co jest w przybliżeniu podobne do obciążenia obliczeniowego o wysokiej wydajności, obejmującego skoordynowane rdzenie procesorowe, pamięć i łącza sieciowe.

Panmnesia i Meta wspólnie zaproponowały architekturę centrum danych AI nowej generacji, w której centrum danych działa jak pojedynczy chip. Praca ta została opublikowana w NREE, czasopiśmie Nature Portfolio.

Myoungsoo Jung
Myoungsoo Jung, dyrektor generalny Panmnesia, powiedział: „W miarę jak systemy AI stale się skalują, możliwość szybkiego i wydajnego łączenia dużej liczby akceleratorów i urządzeń pamięci masowej staje się równie ważna, jak wydajność poszczególnych akceleratorów. Te badania nakreślają kierunek dla infrastruktury AI nowej generacji, w której CXL umożliwia całemu centrum danych działanie jako pojedynczy system obliczeniowy.”

Komponenty na pojedynczym chipie przetwarzającym, rdzenie itp. są projektowane i umieszczane w taki sposób, aby miały jednolite ścieżki połączeń w pojedynczej domenie spójności i wykonywały swoją pracę w sposób skoordynowany i kontrolowany w czasie. W przeciwieństwie do tego, istniejące centra danych mają procesory serwerowe i pamięć masową w półkach rackowych z łączami sieciowymi i przełącznikami wewnątrz i między rackami. Nie ma struktury kontrolnej, która koordynowałaby przetwarzanie serwerowe.

Centrum danych przypominające chip
Panmnesia mówi: „W obecnych centrach danych akceleratory wewnątrz racka są połączone szybkimi interkonektami typu scale-up, podczas gdy połączenia wychodzące z racka – i połączenia z urządzeniami innymi niż akceleratory – zależą od wolniejszych sieci typu scale-out. Pomiary takich środowisk pokazują rozkłady opóźnień z długim ogonem, gdzie 99. percentyl opóźnienia w obie strony jest około pięć razy większy niż mediana. To właśnie spowalnia całe zadanie, a im więcej urządzeń bierze udział, tym częściej i poważniej to występuje.”

Aby centrum danych AI działało wydajnie i szybko, potrzebna jest kontrola i koordynacja zarówno wewnątrz, jak i między rackami GPU, ich pamięci masowej i pamięci. W przypadku infrastruktury AI na dużą skalę, jak stwierdzono, zmniejszenie zmienności opóźnień między urządzeniami, tak aby centrum danych jako całość zachowywało się przewidywalnie, jest równie ważne, jak poprawa wydajności poszczególnych urządzeń lub szybkości połączeń.

Panmnesia LAU
Meta i Panmnesia proponują wykorzystanie CXL jako podstawy dla tego rozwiązania, z nowymi koncepcjami umożliwiającymi jego działanie na poziomie wielu racków GPU. Rozszerzone CXL zapewnia spójność pamięci podręcznej między rackami akceleratorów w ich schemacie, obsługując większą liczbę urządzeń niż GB200 NVL72 i UALink firmy Nvidia oparte na NVLink w skali racka.

Definiuje to podstawowe zasady łączenia urządzeń, ale nie trasowanie danych i opóźnienia. Proponują trzy dedykowane elementy sprzętowe w celu zmniejszenia i ograniczenia zmienności opóźnień:
Przełącznik o wysokiej liczbie wyjść i bez blokowania: łączy wiele urządzeń jednocześnie, zmniejszając liczbę przeskoków i utrzymując podobne długości ścieżek niezależnie od źródła.
Jednostka akceleracji połączeń (LAU): przenosi powtarzalne przetwarzanie protokołów w każdym punkcie połączenia do dedykowanego potoku sprzętowego, czyniąc zachowanie na poziomie przeskoków bardziej regularnym i ograniczając zmienność opóźnień.
Kontroler sieci szkieletowej: stosuje tę samą politykę kolejkowania do obsługi żądań w całym systemie, dzięki czemu transakcje są przetwarzane spójnie, niezależnie od tego, przez które urządzenie przechodzą.

Przełącznik Panmnesia o wysokiej liczbie wyjść i bez blokowania
Kontroler sieci szkieletowej (połączony kontroler CXL/PCIe) i LAU ukończyły walidację krzemu, a przełącznik sieci szkieletowej został wyprodukowany jako fizyczny chip krzemowy, z dostarczanymi obecnie próbkami przedpremierowymi. Pokazuje to, że proponowana architektura jest realizowalna na poziomie możliwego do wyprodukowania krzemu.

Ich architektura grupuje procesory CPU, akceleratory, pamięć i przełączniki według funkcji w tace, grupuje tace w pody i łączy pody przez sieć szkieletową – regularną hierarchię taca-pody-sieć szkieletowa, zaprojektowaną w celu zachowania stałej liczby przeskoków i bardziej spójnych ścieżek komunikacji i synchronizacji.

Kontroler sieci szkieletowej Panmnesia
W porównaniu do projektu firmy Nvidia, w którym jeden procesor CPU jest połączony z dwoma akceleratorami przez NVLink-C2C, wnętrze racka jest połączone przez NVLink, a serwery i racki są połączone siecią scale-out, taką jak Ethernet lub InfiniBand, ich schemat:
Zapewnia 8-krotny wzrost liczby akceleratorów bezpośrednio koordynowanych przez pojedynczy procesor CPU; z 2 do 16,
Umożliwia pracę do 960 akceleratorów w pojedynczej domenie spójności,
Zmniejsza opóźnienie dostępu do danych z poziomu mikrosekund do kilkuset nanosekund; około rzędu wielkości niższe,
Jednostką wymiany w przypadku awarii staje się wadliwe pojedyncze urządzenie zamiast serwera. Rozdzielenie zasobów według typu pozwala systemowi na wymianę tylko wadliwych urządzeń zamiast całego serwera, unikając marnowania zasobów i długotrwałych przestojów operacyjnych.

Panmnesia wdrożyła już kluczowe komponenty architektury w krzemie, zakończyła walidację i przygotowuje je do komercyjnej sprzedaży. Przyszłe prace badawcze koncentrują się na interkonektach optycznych w celu zwiększenia prędkości i skalowalności.

Przypis
Referencja do artykułu NREE jest dostępna.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Dyrektor ds. Strategii Globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Z ponad 20-letnim doświadczeniem w dystrybucji IT współpracujemy z wiodącymi światowymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług w zakresie produktów ICT!