Rack Groq 3 LPX, który Nvidia zaprezentowała na GTC, zostanie wdrożony wraz z rackami NVL72, zapewniając dedykowaną zdolność do wnioskowania o sztucznej inteligencji i obciążeń roboczych AI.stojak Groq 3 LPX może pomieścić do 256 akceleratorów LPU, wyposażony w 128 GB pamięci SRAM i oszałamiającą 40 petabajtów na sekundę szerokości pasma pamięci SRAM.i Nvidia zauważa, że może w końcu skalować do mieszkania więcej niż 11000 LPU.
Połączenie półki Groq 3 LPX z systemem Rubin NVL72 umożliwia klientom generowanie miliona tokenów za zaledwie 45 dolarów na modelu GPT z 1 bilionem parametrów z oknem kontekstu 400k tokenów,Według NvidiaTa liczba stanowi 35 razy więcej żetonów niż może samodzielnie wygenerować system Rubin NVL72.
Groq 3 LPU nie są jedynymi nowymi chipami Nvidia wykorzystuje do zwiększenia zdolności inferencji AI.Firma ogłosiła również dedykowany rack dla procesorów Vera procesorów opartych na ARM w połączeniu z dwoma procesorami Rubin GPU w celu zbudowania superchipsów w rdzeniu systemów NVL72 i NVL8 Nvidia..
Ponieważ procesory stały się kluczowym wąskim gardłem dla wnioskowania AI i agentycznych obciążeń AI, przedsiębiorstwa coraz częściej wymagają większych zasobów CPU.Nvidia uruchomiła samodzielny rack z tylko procesorem., nazwany Vera CPU Rack, który posiada 256 procesorów Vera podłączonych do 400 TB pamięci LPDDR5x działającej w 300TBps.
Vera CPU Rack jest również wyposażony w kręgosłup Ethernet Spectrum-X i 64 jednostki przetwarzania danych (DPU) BlueField-4.Te DPU koordynują się z GPU w systemach NVL72 za pośrednictwem interkonekcji NVLink-C2C firmy Nvidia, zapewniając 1,8 TBps spójnej przepustowości ¢ siedem razy większej niż przepustowość PCIe Gen 6, dla każdej firmy.
Nvidia twierdzi, że stojak Vera może obsługiwać 22 500 równoległych środowisk procesora, zaspokajając ogromne zapotrzebowanie na procesor wymagane do płynnego uruchamiania wnioskowania AI i obciążeń roboczych agentów.Rack wykorzystuje chłodzenie płynne i jest zbudowany na architekturze referencyjnej MGX firmy Nvidia, który, jak podkreśla firma, jest wspierany przez 80 partnerów ekosystemowych i będzie dystrybuowany za pośrednictwem globalnej sieci partnerów Nvidia.
Nvidia ogłosiła również nowy rack pełen procesorów BlueField-4, jednego z siedmiu nowych chipów, które Nvidia promowała jako tworzący nowy superkomputer sztucznej inteligencji.BlueField-4 STX to pierwsza implementacja na skalę rack'ową nowej platformy CMX (context memory storage) Nvidia., który rozszerza pamięć graficzną z HBM do podstawowej pamięci NVMe.który zaprezentował swoją ofertę CMX na konferencji kilka tygodni temu, zaczynają go przyjmować za pośrednictwem architektury referencyjnej Nvidia STX.
"STX jest warstwą współdzieloną o dużej przepustowości, zoptymalizowaną do przechowywania i pobierania ogromnych danych z pamięci podręcznej o kluczowej wartości generowanych przez agentyczne przepływy pracy", powiedział Buck. "To architektura referencyjna.Podczas gdy Nvidia nie będzie dostarczać go bezpośrednio, we’re providing [the reference architecture] to all of our storage partners and the entire storage ecosystem so that they can build the next generation of storage for AI factories that has 4x the performance per watt, podwajając liczbę stron na sekundę dla danych przedsiębiorstwa i dostarczając 5 razy więcej żetonów na sekundę pamięci kontekstowej niezbędnej dla fabryk sztucznej inteligencji działających w procesach agentycznych.
Cloudian, DDN, Dell Technologies, Everpure (dawniej Pure Storage), Hitachi Vantara, HPE, IBM, MinIO, NetApp, Nutanix,i WEKA budują nowe magazyny na BlueField-4 STX architektury odniesienia, Nvidia powiedział, podczas gdy firmy takie jak CoreWeave, Crusoe, IREN, Lambda, Mistral AI, Nebius, Oracle Cloud Infrastructure (OCI) i Vultr przyjmują go.
Nvidia zaprezentuje siedem nowych chipów na targach GTC, z których każdy ma rolę w zasilaniu sztucznej inteligencji w platformie Vera Rubin.BlueField-4 DPU, Groq 3 LPU i SpectrumX CPO, nowy optyczny przełącznik Ethernet, który zapewnia łączność 200 Gbps przez fotonikę krzemową.i jest teraz w produkcji., powiedział dyrektor generalny Jensen Huang w swoim przemówieniu.
Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!
Twoja wiadomość musi mieć od 20 do 3000 znaków!
Polish
