Polish
AMD oficjalnie wydało Instinct MI350P, nowy akcelerator PCIe dostosowany do użytkowników korporacyjnych poszukujących inferencji AI na miejscu bez remontu istniejącej infrastruktury centrum danych.Pozostałe maszyny, pełnej wysokości i pełnej długości, ta karta graficzna jest w pełni kompatybilna z konwencjonalnymi serwerami chłodzonymi powietrzem.Jest to również pierwszy wydanie AMD łącza Instinct obecnej generacji zaprojektowanego do standardowych automatów serwerowych od prawie czterech lat..
AMD Instinct MI350P
Linia produktów Instinct oparta na PCIe AMD pozostała w stanie stagnacji po uruchomieniu MI210 na początku 2022 r. Wszystkie kolejne generacje, w tym MI300X, MI325X i MI350X w formacie OAM,przyjęte moduły z gniazdkami OAM zamontowane na dedykowanych uniwersalnych podłogachModuły te wymagają niestandardowych obudow z solidnym zasilaczem i przepływem powietrza, aby obsłużyć do ośmiu akceleratorów klasy 1000 W w jednym podłożu.Taka architektura sprzętowa jest odpowiednia dla dostawców chmury hiperskałowej, którzy kupują raczki GPU hurtowo, jednak nie jest on dostosowany do standardowych przedsiębiorstw, które nie chcą lub nie są w stanie wdrożyć dostosowanych do potrzeb stojaków sztucznej inteligencji do zadań wnioskowania na miejscu.NVIDIA nie ma konkurenta PCIe wysokiej klasy w tym segmencie, pozostawiając AMD tymczasową wyłączność rynkową.
Porównanie sprzętu: MI350P i MI350X OAM
MI350P nie jest wyciętym wariantem MI350X; AMD zaprojektowało niezależny ukształtowany chip dla tego nowego modelu.MI350X integruje dwa układy I/O połączone z ośmioma układami akceleratorowymi (XCD)W przeciwieństwie do tego, MI350P zawiera jedną matrycę I/O i cztery XCD, co równa się 128 jednostkom obliczeniowym.częstotliwość zegarka szczytowego 2 GHz jako jej odpowiednik wyższego poziomuKonfiguracja pamięci jest zgodna z tą samą specyfikacją: cztery stosy HBM3E (w porównaniu z ośmioma), 4,096-bitowa przejazda pamięci (z 8,192-bitowej),oprócz 144 GB pamięci i 4 TB/s przepustowości, w porównaniu z 288 GB i 8 TB/s przepustowości MI350X.
AMD Instinct MI350P architektura
Większa przepustowość obliczeniowa jest również zmniejszona o połowę.Wskaźniki wydajności dla BF16, FP16 i inne standardy precyzyjne obserwują ten sam proporcjonalny spadek.299 TFLOPS w ramach MXFP4, 1,529 TFLOPS w ramach FP8 i 713 TFLOPS w ramach BF16.gdzie ograniczenia mocy i ograniczenia przepustowości pamięci nieuchronnie obniżają teoretyczną maksymalną wydajność.
Zespół redakcyjny wcześniej ocenił platformę MI350X za pośrednictwem programu Jumpstart firmy Supermicro i uznał jej solidne możliwości obciążenia wnioskami.Zespół chętnie przeprowadzi testy MI350P., analizując, jak ten akcelerator PCIe-form-factor działa w ramach standardowego podwozia serwera towarowego.
MI350P nie ma redukcji mocy o 50% pomimo zmniejszonej o połowę skali krzemowej.Ta maksymalna moc osiąga górną granicę specyfikacji PCIe CEMW przypadku serwerów z niewystarczającym chłodzeniem dostępny jest zmniejszony tryb pracy 450 W, któremu towarzyszą umiarkowane obniżki wydajności.Pozycjonowane w tym samym uchwytzie mocy, MI350P bezpośrednio konkuruje z NVIDIA's H200 NVL i RTX Pro 6000 Server w zakresie zakupów korporacyjnych.
W przeciwieństwie do NVIDIA H200 z szybkimi połączeniami NVL4, MI350P wyłącza ekspozycję Infinity Fabric.
Wdrożenie ośmiu procesorów graficznych chłodzonych powietrzem
Jako standardowa karta FHFL PCIe z dwoma gniazdkami, MI350P jest kompatybilna z istniejącymi serwerami korporacyjnymi.w tym wcześniej przeglądane Dell PowerEdge XE7740 i HPE ProLiant DL380a Gen12Optymalizowane dla akceleratorów o mocy 600 W, platformy te nie wymagają niestandardowych stojaków, chłodzenia płynami lub podłoża OAM.
Ośmiokartowa konfiguracja MI350P zapewnia 1,152 GB HBM3E i 32 TB/s łącznej przepustowości, wystarczającej do obsługi modeli o precyzji bilionów parametrów w MXFP4 w ramach jednego podwozia chłodzonego powietrzem.Ofiarowuje dedykowane tkaniny skalowaniaPodczas gdy MI350X wykorzystuje Infinity Fabric do szybkiej komunikacji między modułami, MI350P opiera się wyłącznie na PCIe Gen5.Architektura ta nadaje się do równoległości węzłów-lokalnych tensorów i równoległości danych węzłów krzyżowych do wnioskowania, podczas gdy MI350X oparty na OAM pozostaje lepszy w zakresie zadań szkoleniowych AI wymagających dużej przepustowości.
Formaty precyzyjne
Międzynarodowy system komunikacji komputerowej (OCP) wykorzystuje systemy MXFP4, MXFP6 i MXFP8 do rozwoju modeli sztucznej inteligencji.umożliwiające szkolenia o niskiej precyzji z nieznacznym pogorszeniem jakości. MXFP4 zapewnia ponad dwukrotnie większą prędkość niż FP8 i czterokrotnie większą przepustowość niż BF16.Ponieważ masy MXFP4 i INT4 zajmują tylko 25% miejsca w pamięci BF16, modele o liczbie bilionów parametrów mogą być wdrażane w obrębie jednego serwera ośmiu procesorów graficznych, eliminując uciążliwe klastry wielowęzłowe dla przedsiębiorstw na miejscu.
Podsumowanie
Większość przedsiębiorstw AI na miejscu jest ograniczona mocą, chłodzeniem, gęstością i budżetem, a nie surowymi możliwościami obliczeniowymi.Z NVIDIA brakuje flagowego serwera PCIe GPU w tym segmencie, AMD utrzymuje na razie wyraźną przewagę konkurencyjną.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!