Pełne specyfikacje:

Dell PowerEdge XE9680 Budowa i projektowanie

PowerEdge XE9680 to imponujący sprzęt, mierzący 10,36 cali (263,20 mm) wysokości, 18,97 cali (482,00 mm) szerokości i 39,71 cali (1008,77 mm) głębokości z przymocowaną ramką.Po pełnym załadowaniuWybór GPU będzie miał ostateczne słowo na temat wagi, z NVIDIA H100 / H200 model przychodzący na 238 funtów, podczas gdy jednostka AMD MI300X wskazuje na wagę na 251 funtów.

Gdy weźmiemy pod uwagę wagę serwera i liczbę osób potrzebnych do tworzenia sprzętu,Jest jeszcze trochę miejsca na wykroczenie poza graniceDell jest na tyle uprzejmy, by dać Ci stolik, który pomoże Ci zrozumieć, jak ta platforma pasuje.Kevin sam włożył XE9680 do stojaka..

Pomimo swojej złożoności i zalecenia firmy Dell dla specjalistycznych techników serwisowych, XE9680 posiada niezwykle przyjazne dla użytkownika elementy serwisowe.Panele serwera zawierają szczegółowe instrukcje obsługi i jasne grafiki, dzięki czemu procedury konserwacyjne są zaskakująco dostępne dla doświadczonego personelu IT.umożliwiając nam serwisowanie różnych komponentów z ufnością.

Po otwarciu osłony PowerEdge XE9680, jak tylko przejdziesz przez liczne kable zasilania z małej podstacji zasilania na górze, wygląda jak PowerEdge R760.Nasza jednostka była napędzana przez dwa procesory Intel Xeon Platinum 8468Każdy procesor oferuje 80 pasów PCIe, które przepływają przez kilka przełączników PCIe w tym urządzeniu w celu obsługi GPU, NIC i innego sprzętu załadowanego do XE9680.

Jedną z najbardziej imponujących cech inżynieryjnych jest konstrukcja PCIe Switch Board (PSB).półdługowe karty PCIe (dwie z których mogą przekraczać zużycie mocy 75W) i integrują się bezpośrednio z płytą bazową GPUTa bezpośrednia integracja umożliwia wykorzystanie technologii bezpośredniej GPU, umożliwiając SSD i kartom sieciowym bezpośrednią komunikację z GPU, omijając procesor i zmniejszając opóźnienie dla obciążeń roboczych sztucznej inteligencji intensywnie wymagających wprowadzania i usuwania.

Każde gniazdo rozszerzenia obsługuje pełny interfejs PCIe Gen5 x16, w tym dwa dolne gniazda po lewej i prawej stronie układu.dwa dolne gniazda łączą się bezpośrednio z płytą bazową PCIe (PBB)Ponadto należy zauważyć, że układ PCIe różni się nieznacznie w zależności od rodzaju graficznego wybranej dla PowerEdge XE9680.Modele wyposażone w AMD nie obsługują SmartNIC/DPU, a w modelach Intel Gaudi3 dwa gniazda są zablokowane z powodu problemów z przepływem powietrza.

Chłodzenie jest kolejnym obszarem, w którym Dell łączy się z inżynierią. System wykorzystuje do 16 wysokiej wydajności wentylatorów złotych, sześciu w środkowej tacy i dziesięciu z tyłu.PowerEdge XE9680 obsługuje szeroki zakres scenariuszy instalacjiSerwer jest w pełni nachylony i przenosi się o imponujące 1200CFM do korytarza gorącego.

To solidne rozwiązanie chłodzące radzi sobie nawet z najbardziej wymagającymi obciążeniami termicznymi, w tym procesorami AMD MI300X, Intel Gaudi3 lub NVIDIA H100, przy jednoczesnym utrzymaniu optymalnej temperatury pracy.PowerEdge XE9680 śpiewa nieco pod obciążeniem pod względem dźwiękuDell oferuje pełną kartę specyfikacji akustycznej XE9680 w różnych sytuacjach, ale dość łatwo powiedzieć, że będzie to głośna platforma pod obciążeniem.

Zarządzanie

Zdolności zarządzania XE9680 są zbudowane wokół firmowo sprawdzonego iDRAC9 firmy Dell, który zapewnia kompleksowe zarządzanie cyklem życia serwera i monitorowanie.Ta iteracja iDRAC przynosi kilka optymalizowanych funkcji AI, w tym szczegółowa telemetria GPU, analityka zużycia energii i szerokie monitorowanie termiczne zaprojektowane dla obciążeń pracy AI o wysokiej gęstości.

Platformy zarządzania stack jest szczególnie godne uwagi dla wdrożeń infrastruktury AI.organizacje mogą programowo monitorować i zarządzać wykorzystaniem GPU, przepustowość pamięci i warunki termiczne metryki krytyczne dla utrzymania optymalnego szkolenia AI i wydajności wnioskowania.Integracja systemu z OpenManage Enterprise umożliwia zarządzanie wieloma XE9680 w całej flocie za pośrednictwem jednolitej konsoli, co jest niezbędne dla dużych klastrów sztucznej inteligencji.

Bezpieczeństwo i zgodność są podstawowymi elementami architektury zarządzania.zapewnienie integralności sprzętu od uruchomienia do działaniaFunkcje te są szczególnie cenne podczas obsługi wrażliwych obciążeń roboczych sztucznej inteligencji lub obsługi własnych ciężarów modeli.

Zdolność analizy błędów predykcyjnych, zasilana integracją CloudIQ, wykorzystuje uczenie maszynowe do przewidywania potencjalnych problemów z sprzętem przed ich wpływem na obciążenia robocze.Takie proaktywne podejście ma szczególne znaczenie dla długotrwałych miejsc pracy w zakresie szkoleń w zakresie sztucznej inteligencjiW połączeniu z usługą ProSupport Plus firmy Dell, ta predykcyjna funkcja uruchamia automatyczne tworzenie przypadków i wysyłanie części.często powodujące konserwację zapobiegawczą przed wystąpieniem degradacji systemu.

Dla organizacji wymagających integracji z istniejącymi narzędziami zarządzania, XE9680 obsługuje różne ramy zarządzania poprzez integracje OpenManage, w tym ServiceNow i BMC TrueSight,umożliwiające bezproblemowe włączenie do ustalonych przepływów pracy zarządzania usługami informatycznymi.

Interfejs iDRAC9 zapewnia szczegółowe monitorowanie w czasie rzeczywistym komponentów krytycznych za pośrednictwem intuicyjnego pulpitu.zużycie energii, oraz wskaźniki wykorzystania we wszystkich ośmiu akceleratorach, niezbędne do optymalizacji dystrybucji obciążenia pracą sztucznej inteligencji.

Interfejs monitorowania pamięci masowej oferuje natychmiastową widoczność stanu napędu, temperatury i parametrów wydajności w całej sieci NVMe,który jest szczególnie cenny przy zarządzaniu wysokiej przepustowości indeksowania pamięci podręcznej i zestawy danych szkoleniowych.

Pamięć, magazynowanie i skala

Osiem procesorów graficznych AMD MI300X wewnątrz Dell PowerEdge XE9680 stanowi znaczący skok w pojemności pamięci GPU, oferując 192 GB pamięci HBM3 na kartę w porównaniu z 141 GB NVIDIA H200.Ten 36% wzrost pojemności pamięci nie jest tylko liczbą na karcie specyfikacji, ale jest kluczowy dla wdrożenia dużych modeli językowych.

Ta ogromna ilość pamięci, w połączeniu z przepustowością pamięci MI300X 5,3 TB/s,umożliwia organizacjom uruchomienie wielu instancji mniejszych modeli lub podział większych modeli na GPU przy zachowaniu wysokiej przepustowości i niskiego opóźnienia.

Aby to spojrzeć w perspektywę, Meta's Llama 3.1 405B model, który wymaga północnego 1TB VRAM w BF16,może być komfortowo rozmieszczany na jednym XE9680 z MI300X GPU bez kwantowania i pełnej długości kontekstu 128k. Wyeliminuje to potencjalną utratę jakości związaną z technikami kwantowania i umożliwia większą liczbę tokenów/sekundę w porównaniu z dystrybucją modelu na dwóch serwerach.

Aby zmaksymalizować ilość pamięci, użyliśmy napędów Solidigm 61,44 TB, aby służyć jako wyrafinowane rozszerzenie pamięci, łącząc lukę między szybką pamięcią GPU a tradycyjną pamięcią.Dysk SSD doskonale przechowuje pary pamięci podręcznej klucz-wartość podczas wnioskowaniaIch ogromna pojemność i wydajność NVMe sprawiają, że są idealne do szybkiego dostępu do masy modelu,umożliwiające efektywne przełączanie modelu i ciepłe uruchamianie.

W aplikacjach takich jak wdrożenie Metrum AI, które szczegółowo przedstawiamy poniżej, dyski SSD wykonują podwójne zadanie jako zaplecze pamięci masowej dla bazy danych wektorowych,zapewnienie wydajności potrzebnej do wyszukiwania podobieństw w czasie rzeczywistym przy zachowaniu zdolności do rozbudowy obszernej pamięci osadzonej.

Wartość tych napędów o dużej pojemności wykracza poza wnioskowanie do przepływów pracy szkoleniowej.zmniejszenie kosztów ogólnych sieci poprzez utrzymywanie danych bliżej zasobów obliczeniowychPodczas szkolenia napędy te doskonale przechowują punkty kontrolne modelu na miejscu, co jest kluczowe dla utrzymania postępu szkolenia i umożliwienia szybkiego odzyskania.Ta lokalna strategia przechowywania pomaga również zoptymalizować wykorzystanie sieci poprzez zmniejszenie natychmiastowego ruchu sieciowego po każdej przetworzonej warstwie i partii.

Podczas gdy pojemność 61,44 TB w ośmiu płytach w XE9680 brzmi obiecująco, jest dużo więcej pojemności.Gęstość pamięci w XE może być podwojona do prawie petabytu dla dalszych optymalizacji szkoleniowych i dłużej trwających pamięci podręcznych inferencji.

Metrum AI Asystent opieki zdrowotnej Rewolucja opieki nad pacjentami

Sektor opieki zdrowotnej stale boryka się z wyzwaniem w zakresie zarządzania czasochłonną dokumentacją i zarządzaniem dokumentacją pacjentów, co często obniża bezpośrednią opiekę nad pacjentami.Asystentka opieki zdrowotnej Metrum AI, wdrożony na serwerach Dell PowerEdge XE9680 z przyspieszaczami AMD, jest przykładem tego, w jaki sposób zaawansowana infrastruktura sztucznej inteligencji może przekształcić przepływy pracy w służbie zdrowia, zwiększając wydajność i poprawiając wyniki pacjentów.

System wykorzystuje Llama 3.1 70B Instruct jako podstawowy model języka, znany z zrozumienia kontekstu medycznego.Ten model językowy jest sparowany z gte-v1.5 wbudowany model i Milvus Vector DB, zapewniający solidną podstawę do przetwarzania języka naturalnego i zrozumienia kontekstu, niezbędne do obsługi danych medycznych.

Metrum AI® Healthcare Assistant zawiera również multimodalne podejście obejmujące HistoGPT do analizy obrazu histopatologii i OpenAI® Whisper do transkrypcji notatek lekarzy w czasie rzeczywistym.Razem., te modele usprawniają przepływy pracy klinicznej, umożliwiając lekarzom naturalne mówienie, podczas gdy system transkrybuje, kategoryzuje i integruje informacje do kart pacjentów w czasie rzeczywistym.

Metrum AI uznaje, że chociaż dane o poszczególnych pacjentach mogą być stosunkowo małe, łączne zapotrzebowanie na pamięć w szpitalach z dużym natężeniem ruchu może wzrosnąć do setek terabajtów.Dell PowerEdge XE9680 może rozwiązać ten problem dzięki lokalnej pamięci NVMe.Nasza konfiguracja oferuje osiem 2,5′′ U.2 NVMe magazynów działających z prędkością PCIe Gen4.Soldigim niedawno uruchomił swój nowy D5-P5336 122.88TB modeli QLC, co podwaja pojemność ich już ogromnych dysków SSD przy zachowaniu tej samej wydajności.

Metrum dostarczył szacunki, jak dane pacjentów zmieniają się w czasie w różnych scenariuszach.Można zobaczyć, ilu dodatkowych pacjentów jednostka może obsłużyć przy użyciu SSD najwyższej pojemnościBiorąc pod uwagę szacunkowy ślad danych na pacjenta i stosując się do użytecznej pojemności każdego dysku SSD (57 TB dla dysku SSD o pojemności 61 TB i 114 TB dla dysku SSD o pojemności 122 TB),Możemy zobaczyć, że mając gęste dyski SSD znacznie zwiększa to, co można przechowywać na serwerze w znaczący sposób rocznie.

Podczas gdy początkowe szacunki na rok wydają się dość wysokie, ważne jest, aby pamiętać, że dane pacjentów nie są statyczne.Tutaj magazynowanie odgrywa istotną rolę w przestrzeni medycznej obrazowaniaDodatkowa pojemność magazynowania ma bezpośredni wpływ na liczbę pacjentów, których rozwiązanie może skutecznie obsłużyć.

Dell PowerEdge XE9680, wyposażony w przyspieszacze AMD MI300X i zintegrowany z asystentem opieki zdrowotnej Metrum AI, zapewnia skalowalne i wydajne rozwiązanie dla pracowników służby zdrowia.Zautomatyzując czasochłonne zadania i umożliwiając szybki dostęp do krytycznych informacjiDzięki bezproblemowej integracji komponentów sztucznej inteligencji w języku, obrazie i głosie,Asystent opieki zdrowotnej stanowi znaczący postęp w rozwiązaniach opieki zdrowotnej opartych na sztucznej inteligencji, zmniejszając obciążenia administracyjne i poprawiając ogólne wyniki dla pacjentów.

Wniosek