Oczywiście, przy cenie L4 w okolicach 2500 USD, A2 kosztującej mniej więcej połowę tej ceny, a starszej (choć wciąż całkiem wydajnej) T4 dostępnej za mniej niż 1000 USD z drugiej ręki, oczywiste pytanie brzmi, jaka jest różnica między tymi trzema kartami GPU do wnioskowania.

Jedną z rzeczy, którą należy zrozumieć, patrząc na te trzy karty, jest to, że nie są one dokładnie zamiennikami generacyjnymi jeden do jednego, co wyjaśnia, dlaczego T4 pozostaje, wiele lat później, popularnym wyborem do niektórych zastosowań. A2 pojawiła się jako zamiennik T4 jako opcja o niskim poborze mocy i większej kompatybilności (x8 vs x16 mechanicznie). Technicznie rzecz biorąc, L4 jest następnie zamiennikiem T4, z A2 znajdującą się pośrodku, która może, ale nie musi, zostać odświeżona w przyszłości.

Wydajność MLPerf Inference 3.1

MLPerf to konsorcjum liderów AI z akademii, badań i przemysłu, powołane w celu dostarczenia uczciwych i istotnych benchmarków sprzętu i oprogramowania AI. Benchmarki te są zaprojektowane do pomiaru wydajności sprzętu, oprogramowania i usług uczenia maszynowego w różnych zadaniach i scenariuszach.

Nasze testy koncentrują się na dwóch konkretnych benchmarkach MLPerf: Resnet50 i BERT.

• Resnet50: Jest to konwolucyjna sieć neuronowa używana głównie do klasyfikacji obrazów. Jest dobrym wskaźnikiem tego, jak dobrze system radzi sobie z zadaniami głębokiego uczenia związanymi z przetwarzaniem obrazów.
• BERT (Bidirectional Encoder Representations from Transformers): Ten benchmark koncentruje się na zadaniach przetwarzania języka naturalnego, oferując wgląd w to, jak system radzi sobie ze zrozumieniem i przetwarzaniem ludzkiego języka.

Oba te testy są kluczowe dla oceny możliwości sprzętu AI w rzeczywistych scenariuszach obejmujących przetwarzanie obrazów i języka.

Ocena NVIDIA L4 za pomocą tych benchmarków jest kluczowa dla zrozumienia możliwości karty graficznej L4 w konkretnych zadaniach AI. Oferuje również wgląd w to, jak różne konfiguracje (pojedyncze, podwójne i poczwórne) wpływają na wydajność. Informacje te są kluczowe dla profesjonalistów i organizacji chcących zoptymalizować swoją infrastrukturę AI.

Modele działają w dwóch kluczowych trybach: Server i Offline.

• Tryb Offline: Ten tryb mierzy wydajność systemu, gdy wszystkie dane są dostępne do jednoczesnego przetwarzania. Jest to podobne do przetwarzania wsadowego, gdzie system przetwarza duży zbiór danych w jednej partii. Tryb offline jest kluczowy dla scenariuszy, w których opóźnienie nie jest głównym problemem, ale przepustowość i wydajność są.
• Tryb Server: W przeciwieństwie do tego, tryb server ocenia wydajność systemu w scenariuszu naśladującym rzeczywiste środowisko serwerowe, gdzie żądania przychodzą pojedynczo. Ten tryb jest wrażliwy na opóźnienia, mierząc, jak szybko system może odpowiedzieć na każde żądanie. Jest niezbędny dla aplikacji czasu rzeczywistego, takich jak serwery internetowe lub aplikacje interaktywne, gdzie wymagana jest natychmiastowa odpowiedź.

1 x NVIDIA L4 – Dell PowerEdge XR7620

W ramach naszego niedawnego przeglądu Dell PowerEdge XR7620, wyposażonego w pojedynczą kartę NVIDIA L4, zabraliśmy go na brzeg sieci, aby wykonać kilka zadań, w tym MLPerf.

Nasza konfiguracja systemu testowego obejmowała następujące komponenty:

• 2 x Xeon Gold 6426Y – 16 rdzeni 2,5 GHz
• 1 x NVIDIA L4
• 8 x 16 GB DDR5
• 480 GB BOSS RAID1
• Ubuntu Server 22.04
• Sterownik NVIDIA 535

Wydajność w scenariuszach server i offline dla Resnet50 i BERT K99 jest prawie identyczna, co wskazuje, że L4 utrzymuje spójną wydajność w różnych modelach serwerów.

1, 2 i 4 karty NVIDIA L4 – Dell PowerEdge T560

Nasza konfiguracja jednostki testowej obejmowała następujące komponenty:

• 2 x Intel Xeon Gold 6448Y (po 32 rdzenie/64 wątki, TDP 225 W, 2,1-4,1 GHz)
• 8 x dysków SSD Solidigm P5520 o pojemności 1,6 TB z kartą PERC 12 RAID
• 1-4 karty graficzne NVIDIA L4
• 8 x modułów RDIMM 64 GB
• Ubuntu Server 22.04
• Sterownik NVIDIA 535

W naszych testach z dwoma kartami L4 w Dell T560 zaobserwowaliśmy prawie liniowe skalowanie wydajności zarówno dla benchmarków Resnet50, jak i BERT K99. Skalowanie to jest świadectwem wydajności kart graficznych L4 i ich zdolności do pracy w tandemie bez znaczących strat spowodowanych narzutem lub nieefektywnością.

Spójne liniowe skalowanie, które zaobserwowaliśmy w przypadku dwóch kart graficznych NVIDIA L4, imponująco rozciąga się na konfiguracje z czterema jednostkami L4. Skalowanie to jest szczególnie godne uwagi, ponieważ utrzymanie liniowych przyrostów wydajności staje się coraz trudniejsze z każdą dodaną kartą graficzną ze względu na złożoność przetwarzania równoległego i zarządzania zasobami.

Wyniki te mają charakter wyłącznie ilustracyjny i nie są konkurencyjnymi ani oficjalnymi wynikami MLPerf. Pełną listę oficjalnych wyników można znaleźć na stronie MLPerf Results Page.

Oprócz walidacji liniowej skalowalności kart graficznych NVIDIA L4, nasze testy laboratoryjne rzucają światło na praktyczne implikacje wdrażania tych jednostek w różnych scenariuszach operacyjnych. Na przykład, spójność wydajności między trybami server i offline we wszystkich konfiguracjach z kartami graficznymi L4 ujawnia ich niezawodność i wszechstronność.

Ten aspekt jest szczególnie istotny dla firm i instytucji badawczych, gdzie konteksty operacyjne znacznie się różnią. Ponadto, nasze obserwacje dotyczące minimalnego wpływu wąskich gardeł interfejsu i efektywności synchronizacji GPU w konfiguracjach wielo-GPU dostarczają cennych informacji dla tych, którzy chcą skalować swoją infrastrukturę AI. Te spostrzeżenia wykraczają poza zwykłe liczby benchmarków, oferując głębsze zrozumienie tego, jak taki sprzęt może być optymalnie wykorzystany w rzeczywistych scenariuszach, kierując lepsze decyzje architektoniczne i strategie inwestycyjne w infrastrukturę AI i HPC.

NVIDIA L4 – Wydajność aplikacji

Porównaliśmy wydajność nowej karty NVIDIA L4 z kartami NVIDIA A2 i NVIDIA T4, które pojawiły się wcześniej. Aby zademonstrować tę poprawę wydajności w porównaniu do poprzednich modeli, wdrożyliśmy wszystkie trzy modele w serwerze w naszym laboratorium, z systemem Windows Server 2022 i najnowszymi sterownikami NVIDIA, wykorzystując nasz cały pakiet testów GPU.

Karty te były testowane na serwerze Dell Poweredge R760 z następującą konfiguracją:

• 2 x Intel Xeon Gold 6430 (32 rdzenie, 2,1 GHz)
• Windows Server 2022
• Sterownik NVIDIA 538.15
• ECC wyłączone na wszystkich kartach dla próbkowania 1x

Na początku testów wydajności tej grupy trzech kart graficznych klasy enterprise, ważne jest, aby zauważyć unikalne różnice w wydajności między wcześniejszymi modelami A2 i T4. Kiedy A2 została wydana, oferowała ona pewne znaczące ulepszenia, takie jak niższe zużycie energii i działanie na mniejszym gnieździe PCIe Gen4 x8, zamiast większego gniazda PCIe Gen3 x16, którego wymagała starsza T4. Od razu pozwoliło to na jej instalację w większej liczbie systemów, szczególnie ze względu na mniejszy wymagany rozmiar.

Blender OptiX 4.0

Blender OptiX to aplikacja do modelowania 3D typu open-source. Test ten może być przeprowadzany zarówno dla CPU, jak i GPU, ale my wykonaliśmy go tylko dla GPU, podobnie jak większość innych testów. Benchmark ten został przeprowadzony przy użyciu narzędzia Blender Benchmark CLI. Wynik to próbki na minutę, gdzie wyższy wynik jest lepszy.

Blackmagic RAW Speed Test

Testujemy procesory i karty graficzne za pomocą Blackmagic RAW Speed Test, który testuje prędkość odtwarzania wideo. Jest to bardziej test hybrydowy, który obejmuje wydajność CPU i GPU do dekodowania RAW w czasie rzeczywistym. Są one wyświetlane jako oddzielne wyniki, ale skupiamy się tylko na kartach graficznych, więc wyniki CPU są pominięte.

Cinebench 2024 GPU

Maxon Cinebench 2024 to benchmark renderowania CPU i GPU, który wykorzystuje wszystkie rdzenie i wątki CPU. Ponownie, ponieważ skupiamy się na wynikach GPU, nie przeprowadzaliśmy części CPU testu. Wyższe wyniki są lepsze.

GPU PI

GPUPI 3.3.3 to wersja lekkiego narzędzia do benchmarkingu zaprojektowanego do obliczania π (pi) do miliardów miejsc po przecinku przy użyciu akceleracji sprzętowej przez GPU i CPU. Wykorzystuje moc obliczeniową OpenCL i CUDA, która obejmuje zarówno procesory centralne, jak i graficzne. Uruchomiliśmy CUDA tylko na wszystkich 3 kartach graficznych, a liczby tutaj to czas obliczeń bez dodanego czasu redukcji. Niższy wynik jest lepszy.

Chociaż poprzednie wyniki dotyczyły tylko pojedynczej iteracji każdej karty, mieliśmy również okazję przyjrzeć się wdrożeniu 5 kart NVIDIA L4 w serwerze Dell PowerEdge T560.

Octanebench

OctaneBench to narzędzie do benchmarkingu dla OctaneRender, innego renderera 3D z obsługą RTX, podobnego do V-Ray.

Geekbench 6 GPU

Geekbench 6 to wieloplatformowy benchmark mierzący ogólną wydajność systemu. Dostępne są opcje testowania zarówno dla CPU, jak i GPU. Wyższe wyniki są lepsze. Ponownie, analizowaliśmy tylko wyniki GPU.

Porównania z dowolnym systemem można znaleźć w przeglądarce Geekbench Browser.

Luxmark

LuxMark to wieloplatformowe narzędzie do benchmarkingu OpenCL od twórców silnika renderującego 3D typu open-source LuxRender. Narzędzie to analizuje wydajność GPU w modelowaniu 3D, oświetleniu i pracy z wideo. W tym przeglądzie użyliśmy najnowszej wersji, v4alpha0. W LuxMark wyższy wynik jest lepszy.

GROMACS CUDA

Dostarczyliśmy również skompilowany GROMACS, oprogramowanie do dynamiki molekularnej, specjalnie dla CUDA. Ta niestandardowa kompilacja miała na celu wykorzystanie możliwości przetwarzania równoległego 5 kart graficznych NVIDIA L4, niezbędnych do przyspieszenia symulacji obliczeniowych.

Proces obejmował wykorzystanie nvcc, kompilatora CUDA firmy NVIDIA, wraz z wieloma iteracjami odpowiednich flag optymalizacyjnych, aby zapewnić, że binaria były odpowiednio dostosowane do architektury serwera. Włączenie obsługi CUDA do kompilacji GROMACS pozwala oprogramowaniu na bezpośrednią interakcję ze sprzętem GPU, co może drastycznie skrócić czas obliczeń dla złożonych symulacji.

Test: Niestandardowa interakcja białek w Gromacs

Wykorzystując plik wejściowy dostarczony przez społeczność z naszego Discorda, który zawierał parametry i struktury dostosowane do konkretnego badania interakcji białek, rozpoczęliśmy symulację dynamiki molekularnej. Wyniki były niezwykłe – system osiągnął szybkość symulacji 170,268 nanosekund na dzień.

Więcej niż AI

W nieustającej fali innowacji w dzisiejszym krajobrazie AI, pomiar i zrozumienie możliwości różnych platform sprzętowych jest kluczowe. Nie wszystkie aplikacje AI wymagają ogromnych farm treningowych GPU – istnieje kluczowy segment wnioskowania AI, który często wymaga mniejszej mocy GPU, szczególnie na brzegu sieci. W tym przeglądzie badamy kilka kart NVIDIA L4 w trzech różnych serwerach Dell i szeregu obciążeń, w tym MLperf, aby ocenić wydajność L4.

 

NVIDIA L4

Karta graficzna NVIDIA L4

U podstaw L4 oferuje imponującą wydajność 30,3 teraFLOPS w FP32, co czyni ją idealną do zadań obliczeniowych o wysokiej precyzji. Jej możliwości rozciągają się na obliczenia mieszanej precyzji za pomocą rdzeni Tensor TF32, FP16 i BFLOAT16 – kluczowych funkcji zwiększających wydajność głębokiego uczenia. Według arkusza specyfikacji L4, wydajność w tych trybach mieszanej precyzji wynosi od 60 do 121 teraFLOPS.

 

L4 doskonale sprawdza się w zadaniach o niskiej precyzji, oferując 242,5 teraFLOPS dzięki rdzeniom Tensor FP8 i INT8, które znacznie zwiększają wydajność wnioskowania sieci neuronowych. Wyposażona w 24 GB pamięci GDDR6 i przepustowość 300 GB/s, może z łatwością obsługiwać duże zbiory danych i złożone modele. Jednak tym, co najbardziej wyróżnia L4, jest jej efektywność energetyczna: przy TDP 72 W, doskonale nadaje się do szerokiej gamy środowisk obliczeniowych. Ta kombinacja wysokiej wydajności, efektywności pamięci i niskiego zużycia energii sprawia, że NVIDIA L4 jest atrakcyjną opcją do rozwiązywania problemów związanych z przetwarzaniem brzegowym.

 

Przy szumie wokół AI osiągającym gorączkę, łatwo jest skupić się wyłącznie na wydajności L4 w modelach AI – ale ma ona kilka innych sztuczek w zanadrzu, otwierając świat możliwości dla aplikacji wideo. L4 może obsługiwać do 1040 jednoczesnych strumieni wideo AV1 w rozdzielczości 720p30, co jest możliwością, która może zmienić sposób strumieniowania treści na żywo do użytkowników na brzegu sieci, podnieść kreatywne opowiadanie historii i umożliwić ekscytujące przypadki użycia dla immersyjnych doświadczeń AR/VR.

 

NVIDIA L4 błyszczy również, jeśli chodzi o optymalizację wydajności graficznej, czego dowodem jest jej biegłość w renderowaniu w czasie rzeczywistym i śledzeniu promieni. W środowisku biurowym na brzegu sieci, L4 jest w stanie zapewnić solidne, wysokowydajne przyspieszenie obliczeń graficznych dla VDI, obsługując użytkowników końcowych, którzy polegają na wysokiej jakości renderowaniu grafiki w czasie rzeczywistym do swojej pracy.

 

Końcowe przemyślenia

Karta graficzna NVIDIA L4 stanowi solidną podstawę dla AI na brzegu sieci i obliczeń o wysokiej wydajności, oferując niezrównaną wydajność i wszechstronność w szerokim zakresie zastosowań. Jej zdolność do obsługi intensywnych obciążeń AI, zadań akceleracji lub potoków wideo – wraz z zoptymalizowaną wydajnością graficzną – czyni ją idealnym wyborem do wnioskowania na brzegu sieci lub akceleracji wirtualnych pulpitów. Unikalna kombinacja wysokiej mocy obliczeniowej, zaawansowanych możliwości pamięci i efektywności energetycznej karty L4 pozycjonuje ją jako kluczowego gracza w przyspieszaniu obciążeń na brzegu sieci, szczególnie w branżach intensywnie wykorzystujących AI i grafikę.

 

 

Stos L4 firmy NVIDIA

Nie można zaprzeczyć, że AI znajduje się w centrum obecnej burzy IT, a popyt na karty graficzne H100/H200 klasy premium pozostaje na bardzo wysokim poziomie. Istnieje jednak również silny nacisk na wdrażanie bardziej solidnej infrastruktury IT na brzegu sieci – tam, gdzie dane są generowane i analizowane. W tych scenariuszach potrzebna jest bardziej odpowiednio dobrana karta graficzna, a NVIDIA L4 doskonale się tu sprawdza. Powinna być domyślnym wyborem do wnioskowania na brzegu sieci, niezależnie od tego, czy jest wdrażana jako pojedyncza jednostka, czy skalowana razem, jak testowaliśmy w T560.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com

Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi globalnymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
„Wykorzystując technologię do budowania inteligentnego świata” Twój zaufany dostawca usług w zakresie produktów ICT!