Nawiązaliśmy współpracę z CoolIT Systems, aby wprowadzić chłodzenie cieczą do naszego laboratorium. W ramach tych działań zbudowaliśmy miniurządzenie do chłodzenia cieczą i zmodernizowaliśmy serwer Dell PowerEdge R760, przekształcając go z chłodzonego powietrzem na chłodzony cieczą. Dopiero zaczynamy naszą przygodę z chłodzeniem cieczą, ale dokonaliśmy już ważnych odkryć na temat korzyści, jakie oferuje bezpośrednie chłodzenie cieczą (DLC).

 

Dell PowerEdge R760 po konwersji DLC

Do obsługi współczesnych obciążeń wymagane będzie chłodzenie cieczą w tej czy innej formie. Matematyka nie sprawdza się już w przypadku serwerów chłodzonych powietrzem o ogromnej mocy obliczeniowej (TDP) procesora i karty graficznej. DLC dostarczane za pośrednictwem zimnych płyt jest najczęstszym rozwiązaniem, każdy dostawca serwerów ma co najmniej jedną opcję. Jeśli chodzi o firmę Dell, nawiązała ona współpracę z firmą CoolIT Systems, aby zapewnić chłodzenie cieczą w całej ofercie serwerów PowerEdge.

Nasze laboratorium, podobnie jak większość centrów danych, nie zostało od początku zaprojektowane z myślą o wykorzystaniu chłodzenia cieczą. Jednak podobnie jak w przypadku wielu centrów danych, serwery o największej mocy wymagają jakiejś formy chłodzenia cieczą i jeśli chcemy skorzystać z tych systemów, musimy się dostosować. To historia, którą obecnie często słyszymy w przedsiębiorstwach, ponieważ centra danych inwestują w sztuczną inteligencję, a znalezienie większości tych systemów wkrótce będzie wymagało do działania pewnego rodzaju pętli cieczy.

W naszym przypadku postanowiliśmy zacząć od modernizacji jednego z serwerów Dell PowerEdge R760 w laboratorium. Żeby było jasne, jeśli klienci chcą serwerów chłodzonych cieczą, tak je zamawiają u firmy Dell. Dell zajmuje się integracją z CoolIT, a klienci otrzymują serwer z zainstalowanymi płytami chłodzącymi i wężami podłączonymi do chłodzenia cieczą. Systemy DLC PowerEdge mają kilka niuansów, które odróżniają je od serwerów chłodzonych powietrzem. Dzięki tej pracy weszliśmy na stosunkowo niezbadane terytorium. Na przykład karta iDRAC jest inna, wersja DLC ma przewód do wykrywania nieszczelności. Proces konwersji przebiegł pomyślnie, ale instalacja własnych płyt chłodzących nie jest obsługiwaną czynnością.

Zestaw DLC CoolIT

Firma CoolIT wyposażyła nas w minisystem, który jest zwykle używany do celów małej weryfikacji koncepcji, gdy klienci pracują nad procesem dodawania chłodzenia cieczą do swoich centrów danych. To powiedziawszy, system ten można skalować do 10 kW, więc jest to świetny sposób dla osób, które dopiero zaczynają korzystać z chłodzenia cieczą, na zdobycie doświadczenia z mniej więcej połową szafy. Istnieją trzy kluczowe elementy tej konfiguracji: płyty chłodzące, kolektor stojaka i moduł dystrybucji płynu chłodzącego (CDU).

Płyty zimne są zaprojektowane do konkretnych zastosowań TDP i idealnie pasują do chłodzonego procesora lub karty graficznej. Wyglądają na zwodniczo proste i chociaż na samych płytach nie ma pomp ani ruchomych części, inżynieria nie jest trywialna dzięki rosnącym TDP. Dla porównania, firma CoolIT wprowadziła niedawno na rynek nową linię płyt chłodzących o mocy do 1500 W. W porównaniu z tym procesory w naszym R760 są nieco przeciętne, procesory Intel Xeon 8580 mają „tylko” TDP wynoszące 350 W każdy.

 

Instalacja zimnych płyt jest bardzo prosta, bloki mają nawet wstępnie nałożoną pastę termoprzewodzącą, jest to bardzo prosty zestaw wsuwany. Jak wspomniano wcześniej, dostępna jest inna karta iDRAC do systemów DLC, której punkt podłączenia kabla do wykrywania nieszczelności biegnie od płyt zimnych. Węże są wyprowadzone z tyłu R760 przez inny wspornik dołączony do zestawu DLC iDRAC.

Płyty zimne są podłączone do kolektora poprzez oznaczone złącza ciepłe/zimne. Sam kolektor wykonany jest ze stali nierdzewnej, a złączki są szybkozłączami bez kapania. Podłączenie serwera do kolektora, który jest fabrycznie napełniony, zajmuje kilka sekund. Nawiasem mówiąc, nasz kolektor trafił z tyłu stojaka, ale w razie potrzeby można go skonfigurować z przodu. W tym przypadku mamy mini kolektor. Bardziej tradycyjny stojak DLC miałby kolektor obejmujący całą szafę. Kolektor łączy się bezpośrednio z CDU.

CDU wykonuje ciężkie prace w tej pętli, używamy CoolIT AHx10. Jest to jednostka CDU typu ciecz-powietrze o wysokości 5U, która może obsłużyć obciążenie 7 kW w temperaturze otoczenia 25°C. CoolIT oferuje zestaw rozszerzający, który skaluje to urządzenie do 10 kW. Wewnątrz obudowy znajduje się wymiennik ciepła ciecz-powietrze i nadmiarowe pompy. CDU, podobnie jak kolektor, jest fabrycznie napełniony. Umieściliśmy nasz stosunkowo nisko w szafie, ale CDU można umieścić w dowolnym miejscu, w zależności od konfiguracji szafy.

Maksymalny pobór mocy AHx10 wynosi 750 W, co pomaga w ogólnej dyskusji ekonomicznej na temat oszczędzania energii. System posiada intuicyjny ekran dotykowy, który umożliwia obsługę zdalnego dostępu. Oprócz początkowego ustawienia ciśnienia pompy, z CDU tak naprawdę niewiele trzeba zrobić, wystarczy ustawić i zapomnieć, nasz działa już kilka tygodni bez dodatkowej interwencji.

Warto zauważyć, że w przypadku tego sprzętu CoolIT nie rozwiązujemy problemu samego ciepła. W efekcie przenosimy ciepło z procesorów R760 do wymiennika ciepła w CDU. Nadal musimy chłodzić laboratorium tak samo jak poprzednio, ponieważ nie mamy wody w obiekcie, aby móc przenosić ciepło na zewnątrz laboratorium. To powiedziawszy, taki mały system jest idealny dla kilku serwerów chłodzonych cieczą i może idealnie pasować do przedsiębiorstwa z niewielkim wdrożeniem sztucznej inteligencji, coś takiego jak Dell PowerEdge XE9640 będzie dobrze pasować.

Chociaż w naszym laboratorium nadal musimy zmagać się z ciepłem wytwarzanym przez DLC R760, przejście na chłodzenie cieczą ma kilka zalet.

Korzyści z DLC

Największą i najbardziej oczywistą korzyścią w przypadku przejścia na chłodzenie cieczą z chłodzenia powietrzem jest zmniejszenie zużycia wentylatorów. R760 nadal potrzebuje przepływu powietrza dla komponentów systemu, takich jak pamięć DRAM i pamięć masowa, ale nie muszą one obracać się tak szybko. Chociaż sprawia to, że serwer jest cichszy, najlepszą częścią pętli DLC jest zmniejszenie zużycia energii elektrycznej. Kolejna rzecz, którą znaleźliśmy, była nieco zaskakująca: DLC R760 działał nieco lepiej niż wtedy, gdy był chłodzony powietrzem.

Aby dokładniej przyjrzeć się zużyciu energii elektrycznej przez R760, skonfigurowaliśmy moduł analizy zasilania sieciowego Quarch QTL2843. Serwer uruchomiliśmy zarówno z fabrycznymi radiatorami chłodzonymi powietrzem, jak i ponownie z płytami chłodzącymi CoolIT. Aby wywrzeć presję na procesory, przeprowadziliśmy obliczenia Pi do 50 miliardów cyfr, co bardzo obciąża procesor i pamięć DRAM. Naszym zamiarem było maksymalne obciążenie procesorów, aby zapewnić, że wentylatory będą musiały zostać wezwane do maksymalnej wymaganej pracy.

Wpływ wdrożenia DLC był natychmiast oczywisty. Podczas pracy komputera R760 w konfiguracji chłodzonej powietrzem, zgodnie z oczekiwaniami, wentylatory obracają się do 100% podczas obciążenia. W konfiguracji DLC R760 zdecydował się na zwiększenie obrotów wentylatorów o 32%, co stanowi dramatyczny spadek. Odpowiada to oszczędności 200 watów na jednym serwerze. Wyróżnia się nie tylko prędkością wentylatora, same procesory zgłaszały temperaturę o połowę niższą w przypadku DLC, 41/42°C w porównaniu do 88/89°C przy chłodzeniu powietrzem.

 

Jednak przejście na chłodzenie cieczą nie ogranicza się jedynie do oszczędności energii. Zaobserwowaliśmy niewielki wzrost wydajności, czego się nie spodziewaliśmy. Dzięki płytom chłodzącym zapewniającym lepsze chłodzenie, procesor może pracować w pełni. W konfiguracji chłodzonej powietrzem R760 wykonał obliczenia 50 miliardów Pi w 369 sekund. W konfiguracji DLC R760 chodził nieco szybciej, dostarczając obliczenia w 347 sekund. Oznacza to wzrost wydajności o około 6%, co pozwala nam wydobyć nieco więcej z procesorów Intel.

Ostatnie przemyślenia

Dopiero zaczynamy z chłodzeniem cieczą w laboratorium i jesteśmy podekscytowani współpracą z CoolIT przy tym początkowym projekcie. Płyty zimne działają doskonale w serwerze PowerEdge R760, a kolektor i CDU łączą się i „po prostu działają” bez żadnych obaw i ciągłego majsterkowania. Dla tych, którzy obawiają się doprowadzania cieczy do centrum danych, ciągła prostota ma kluczowe znaczenie. Nie zaobserwowaliśmy też żadnych wycieków ani innych bardziej katastrofalnych zdarzeń, czego można się spodziewać, jest to sprzęt klasy korporacyjnej o wyjątkowo niskiej awaryjności.

Dla przedsiębiorstw chcących wprowadzić do centrum danych systemy AI o dużej mocy, chłodzenie cieczą jest nie do pomyślenia. 8-kierunkowe serwery GPU porzucą chłodzenie powietrzem, wybierając takie pętle DLC lub przynajmniej zamkniętą pętlę i radiator. Tak czy inaczej, pewna ilość płynu przedostanie się do centrum danych. Biorąc pod uwagę znaczne oszczędności energii elektrycznej i niewielki wzrost wydajności, istnieje wiele powodów, dla których przedsiębiorstwa powinny korzystać z serwerów DLC.

CoolIT jest wyraźnym liderem w tej dziedzinie, a jego współpraca z firmą Dell umożliwia wprowadzenie na rynek szerokiej gamy rozwiązań chłodzenia cieczą w sposób łatwy w zużyciu i nie powodujący żadnych zmartwień. Nie możemy się doczekać dalszego odkrywania naszej małej pętli i nie możemy się doczekać, aż w laboratorium zobaczymy więcej serwerów chłodzonych cieczą.

Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storageserver.com

Koncentracja biznesowa:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami, aby dostarczać niezawodne produkty i profesjonalne usługi.
„Wykorzystanie technologii do budowy inteligentnego świata”Twój zaufany dostawca usług produktów ICT!