Serwer Cold Plate w pełni chłodzony cieczą

 

Aby jeszcze bardziej rozwinąć technologię chłodzenia cieczą i udoskonalić ekosystem, firma Inspur Information we współpracy z firmą Intel skupiła się na optymalizacji projektów chłodzenia cieczą dla serwerów ogólnego przeznaczenia o dużej gęstości.

 

Oprócz powszechnego stosowania w branży chłodzenia cieczą procesorów CPU i GPU, prowadzone są dogłębne badania i analizy dotyczące chłodzenia cieczą pamięci o dużej mocy, dysków SSD, kart sieciowych OCP, zasilaczy, kart PCIe i modułów optycznych.

 

Efektem tych działań jest osiągnięcie najwyższego w branży pokrycia w zakresie chłodzenia cieczą, spełnienie różnorodnych wymagań wdrożeniowych dla różnych poziomów pokrycia w zakresie chłodzenia cieczą oraz zapewnienie ogólnych możliwości infrastrukturalnych i zróżnicowanego wsparcia technicznego dla klientów z branż takich jak internet i telekomunikacja.

 

Ten rozwój całkowicie chłodzonego cieczą systemu cold plate opiera się na 2U czterowęzłowym serwerze obliczeniowym o wysokiej gęstości i24 firmy Inspur Information. Każdy chłodzony cieczą węzeł obsługuje dwa procesory Intel 5th Generation Xeon Scalable, sparowane z 16 modułami pamięci DDR5, jedną kartą rozszerzeń PCIe i jedną kartą sieciową OCP 3.0. Cały system może obsługiwać do ośmiu dysków SSD, spełniając potrzeby klientów w zakresie pamięci masowej, jednocześnie osiągając moc obliczeniową o wysokiej gęstości.Głównymi elementami serwera generującymi ciepło są procesor, pamięć, karty I/O, lokalne dyski twarde i zasilacz obudowy.

 

Rozwiązanie chłodzenia cieczą umożliwia bezpośrednie usunięcie około 95% ciepła układu przez ciecz poprzez kontakt zimnej płyty ze źródłem ciepła. Pozostałe 5% ciepła jest odprowadzane przez wodę chłodzącą w wymienniku ciepła powietrze-ciecz znajdującym się za PSU, co pozwala na uzyskanie prawie 100% wychwytywania ciepła cieczy na poziomie układu.

 

 

I Skład systemu i układ rurociągów

 

1. Przegląd systemu serwerowego w pełni chłodzonego cieczą

Czterowęzłowy system serwerowy 2U w pełni chłodzony cieczą składa się z węzłów, obudowy, płaszczyzny środkowej i modułów SSD. Połączenie między węzłami i komponentami obudowy jest realizowane za pomocą połączeń typu blind-mate dla wody, zasilania i sygnałów za pomocą szybkozłączy, złączy zasilania i sygnału.

 

▲ Rysunek 1. Serwer chłodzony pełnofalowo, czterowęzłowy, 2U

 

2. Przegląd pojedynczego węzła serwera w pełni chłodzonego cieczą

W pełni chłodzony cieczą węzeł serwerowy składa się z obudowy węzła, płyty głównej, układów CPU, modułów pamięci, płyty chłodzącej pamięci, płyty chłodzącej procesora, płyty chłodzącej wejścia/wyjścia, zasilacza i tylnego wymiennika ciepła zasilacza.

 

▲ Rysunek 2. Węzeł serwera w pełni chłodzony cieczą

 

 

II Wybór wzoru przepływu i obliczenie natężenia przepływu

 

Aby uprościć złożoność projektowania ścieżek przepływu, ten w pełni chłodzony cieczą serwer wykorzystuje szeregową konstrukcję ścieżek przepływu dla chłodziwa. Chłodziwo przepływa od komponentów o niskiej mocy do komponentów o dużej mocy w celu rozproszenia ciepła. Szczegółowy kierunek przepływu pokazano na poniższym schemacie i w tabeli.

 

▲ Ścieżka przepływu szeregowego serwera 2U z czterema węzłami i pełnym chłodzeniem cieczowym

 

▲ Tabela 3. Sekwencja przepływu czynnika chłodzącego

 

Przepływ w pełni ciekłego chłodziwaprowadzonyserwer mmusi spełniać wymagania układu chłodzenia:

• Aby zapewnić długoterminową niezawodność materiału rurociągu po stronie wtórnej, temperatura wody powrotnej po stronie wtórnej nie powinna przekraczać 65 stopni.
• Aby mieć pewność, że wszystkie podzespoły serwera w pełni chłodzonego cieczą spełniają wymagania dotyczące chłodzenia w ramach określonych warunków granicznych, do analizy projektu natężenia przepływu wybrano miedzianą płytę chłodzącą i PG25.

 

Aby spełnić wymaganie, że temperatura wody powrotnej po stronie wtórnej nie przekracza 65 stopni, minimalny przepływ PG25 na węzeł, Qmin, oblicza się przy użyciu następującego wzoru:

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Kluczowy projekt komponentów płyty chłodzącej serwera w pełni chłodzonego cieczą

 

1. Projekt zimnej płyty procesora

Moduł CPU cold plate to projekt referencyjny zoptymalizowany na podstawie wymagań projektowych procesora Xeon Scalable Processor firmy Intel 5th Generation cold plate. Bierze pod uwagę takie czynniki, jak chłodzenie, wydajność strukturalna, współczynnik wydajności, koszt i zgodność z różnymi materiałami. CPU cold plate składa się głównie z aluminiowego wspornika CPU cold plate, CPU cold plate i złączy cold plate.

 

▲ Rysunek 4. Moduł płyty chłodzącej procesora

 

2. Projekt chłodzenia cieczą pamięci

Konstrukcja chłodzenia cieczą pamięci wykorzystuje innowacyjne rozwiązanie chłodzenia cieczą radiatora sleeper, nazwane na cześć modułów pamięci ułożonych jak podkłady na torach kolejowych. To rozwiązanie łączy tradycyjne chłodzenie powietrzem i chłodzenie zimną płytą. Radiator, który ma wbudowane rurki cieplne (lub czyste aluminiowe/miedziane płyty, komorę parową itp.), przenosi ciepło z modułów pamięci do obu końców. Następnie ciepło jest przenoszone do zimnej płyty przez wybrane podkładki termiczne, a na koniec chłodziwo wewnątrz zimnej płyty odprowadza ciepło, zapewniając chłodzenie pamięci.

 

Pamięć i radiator można zmontować w najmniejszą jednostkę konserwacyjną na zewnątrz systemu (zwaną dalej modułem pamięci). Płytka chłodząca pamięć ma strukturę mocującą moduł pamięci, aby zapewnić dobry kontakt między radiatorem a płytką chłodzącą pamięć. Tę strukturę mocującą można zabezpieczyć śrubami lub konserwować bez użycia narzędzi, jeśli to konieczne. Górna część płytki chłodzącej pamięć chłodzi pamięć, podczas gdy dolna część może chłodzić inne elementy generujące ciepło na płycie głównej, takie jak VR. Aby uprościć konstrukcję płytki chłodzącej pamięć, można zaprojektować wspornik adaptera między pamięcią a płytą główną, aby spełnić ograniczenia wysokości różnych płyt głównych.

 

▲ Rysunek 5. Rozwiązanie chłodzenia cieczą radiatora Sleeper

 

W porównaniu z istniejącymi na rynku rozwiązaniami chłodzenia cieczą wykorzystującymi rurki pamięci, rozwiązanie chłodzenia cieczą wykorzystujące radiator Sleeper ma następujące główne zalety:

 

Łatwa konserwacja:Konserwacja pamięci jest tak prosta, jak konserwacja modułu pamięci chłodzonego powietrzem, bez konieczności usuwania radiatora i elementów mocujących. Znacznie poprawia to wydajność montażu i niezawodność pamięci chłodzonej cieczą, zmniejszając potencjalne uszkodzenia układów pamięci i podkładek termicznych podczas demontażu i ponownego montażu w systemie.

 

Dobra kompatybilność:Wydajność rozpraszania ciepła tego rozwiązania nie jest ograniczona przez różne grubości chipów pamięci i odstępy między nimi. Jest ono zgodne z minimalnym odstępem między pamięciami wynoszącym 7,5 mm i więcej. Oddzielona konstrukcja radiatora i płytki chłodzącej umożliwia ponowne wykorzystanie i standaryzację chłodzenia cieczą pamięci.

 

Wyższa opłacalność:Radiator pamięci można wybrać na podstawie zużycia energii przez pamięć, z różnymi procesami i technologiami chłodzenia, a jego ilość można skonfigurować w zależności od potrzeb pamięci. W scenariuszu z odstępem pamięci 7,5 mm może on spełniać potrzeby chłodzenia modułów pamięci przekraczających 30 W.

 

Łatwość produkcji i montażu:Brak rurek chłodzących cieczą pomiędzy gniazdami pamięci, co eliminuje potrzebę skomplikowanego spawania rurek i kontroli procesu. Można stosować tradycyjne procesy produkcji radiatorów chłodzonych powietrzem i ogólnych płyt chłodzących procesora. Podczas montażu radiatora wydajność rozpraszania ciepła nie jest wrażliwa na tolerancje między radiatorem a płytą główną w kierunku prostopadłym do płaszczyzny układu pamięci, co pozwala uniknąć słabego kontaktu termicznego i ułatwia montaż.

 

Dobra niezawodność:Rozwiązanie chłodzenia cieczą Sleeper zapobiega potencjalnym uszkodzeniom układów pamięci i podkładek termicznych podczas montażu i wytrzymuje wielokrotne wkładanie i wyjmowanie. Ponadto zapobiega ryzyku awarii styku sygnału spowodowanej przechyleniem między pamięcią a gniazdami po zainstalowaniu rozwiązań chłodzenia cieczą pamięci i rurek, znacznie poprawiając niezawodność systemu.

 

3. Projekt chłodzenia cieczą dysku twardego

Innowacyjne rozwiązanie chłodzenia cieczą dysków SSD wykorzystuje radiator z wbudowanymi rurkami cieplnymi, który przenosi ciepło z obszaru dysku twardego do płyty chłodzącej znajdującej się na zewnątrz obszaru dysku twardego poprzez bezpośredni kontakt z podkładkami termicznymi, co zapewnia wymianę ciepła.

 

To rozwiązanie chłodzenia cieczą SSD składa się głównie z modułu SSD wyposażonego w radiator, płytę chłodzącą SSD, mechanizm blokujący moduł dysku twardego i wspornik dysku twardego. Mechanizm blokujący moduł dysku twardego jest zamocowany na wsporniku dysku twardego, aby zapewnić odpowiednią siłę wstępnego obciążenia, zapewniając długoterminową niezawodność kontaktu między modułem SSD a płytą chłodzącą SSD. Aby ułatwić instalację pętli płyty chłodzącej dysku twardego w ograniczonej przestrzeni, wspornik dysku twardego jest zaprojektowany z metodą instalacji typu szufladowego w kierunku głębokości serwera.

 

▲ Rysunek 6. Innowacyjne rozwiązanie chłodzenia cieczą dysku SSD

 

Zaawansowane funkcje tego rozwiązania, w porównaniu z istniejącymi na rynku rozwiązaniami chłodzenia dysków twardych cieczą, obejmują:

 

• Obsługuje ponad 30 operacji wymiany bez wyłączania systemu.
• Brak ryzyka uszkodzenia materiałów termoprzewodzących podczas instalacji dysku twardego; konstrukcja mechanizmu blokującego gwarantuje długoterminową niezawodność styku.
• Niskie wymagania technologiczne dla rozwiązania chłodzenia cieczą; wymagane są jedynie tradycyjne techniki chłodzenia powietrzem i obróbki płytą chłodzącą procesora.
• Brak konieczności stosowania przewodów wodnych pomiędzy dyskami twardymi; wiele dysków twardych może dzielić tę samą płytę chłodzącą, co zmniejsza liczbę połączeń i obniża ryzyko wycieków.
• Elastycznie dostosowuje się do systemów o różnej grubości i liczbie dysków SSD.

 

4. Projekt chłodzenia cieczą karty PCIe/OCP

 

Rozwiązanie chłodzenia cieczą PCIe

Rozwiązanie chłodzenia cieczą karty PCIe opiera się na istniejącej chłodzonej powietrzem karcie PCIe. Zapewnia chłodzenie modułu optycznego i głównych układów na karcie PCIe poprzez opracowanie modułu chłodzenia karty PCIe, który może kontaktować się z płytą chłodzącą systemu. Ciepło z modułu optycznego jest przenoszone za pomocą rurek cieplnych do głównego modułu chłodzącego na układzie karty PCIe, a moduł chłodzący wymienia następnie ciepło z płytą chłodzącą IO za pośrednictwem odpowiedniego materiału interfejsu termicznego.

 

Karta PCIe chłodzona cieczą składa się głównie z zacisku radiatora QSFP, modułu chłodzenia układu PCIe i samej karty PCIe. Zacisk radiatora QSFP został zaprojektowany z odpowiednią elastycznością, aby zapewnić właściwe unoszenie się, gdy radiator QSFP i klatka na module chłodzenia PCIe są połączone, zapewniając dobre wrażenia użytkownika, unikając uszkodzenia modułu optycznego i zapewniając stabilny kontakt dla skutecznego chłodzenia.

 

▲ Rysunek 7. Moduł chłodzenia cieczą karty PCle

 

OCP3.0 Roztwór chłodzenia cieczą

Rozwiązanie chłodzenia cieczą karty OCP3.0 jest podobne do karty PCIe, gdzie dla karty OCP3.0 zastosowano niestandardowy radiator chłodzony cieczą. Ciepło generowane przez układy na karcie jest przenoszone do radiatora chłodzonego cieczą, a następnie jest ostatecznie rozpraszane poprzez kontakt radiatora z płytką chłodzącą IO systemu.

 

Moduł chłodzenia cieczą OCP3.0 składa się głównie z modułu radiatora, karty OCP3.0 i jej uchwytu. Ze względu na ograniczenia przestrzenne, śruba sprężynowa jest używana jako mechanizm blokujący, aby zapewnić długoterminową niezawodność kontaktu między modułem radiatora a płytą chłodzącą IO po złożeniu chłodzonej cieczą karty OCP3.0.

 

▲ Rysunek 8. Moduł chłodzenia cieczą OCp3.0

 

Biorąc pod uwagę łatwość przyszłej konserwacji i konieczność wielokrotnej wymiany karty OCP3.0 podczas pracy, zoptymalizowano konstrukcję mechanizmu blokującego i dobór materiałów interfejsu termicznego w celu zwiększenia ogólnej niezawodności oraz łatwości obsługi i konserwacji.

 

Rozwiązanie IO Cold Plate

Płytka chłodząca IO to wielofunkcyjna płytka chłodząca, która nie tylko odprowadza ciepło z elementów grzewczych znajdujących się w obszarze IO płyty głównej, ale także chłodzi chłodzoną cieczą kartę PCIe i chłodzoną cieczą kartę OCP3.0.

 

▲ Rysunek 9. Płyta chłodząca lO

 

▲ Rysunek 10. Pozycja karty PCle chłodzonej cieczą, karty OCP3.0 chłodzonej cieczą i płytki chłodzącej IO

 

Płyta chłodząca IO składa się głównie z korpusu płyty chłodzącej IO i kanałów rur miedzianych. Korpus płyty chłodzącej IO wykonany jest ze stopu aluminium, natomiast rurki miedziane odpowiadają za kanały płynu chłodzącego i zwiększają rozpraszanie ciepła. Konkretny projekt musi zostać zoptymalizowany w oparciu o układ płyty głównej i wymagania dotyczące chłodzenia komponentów. Moduły radiatora na karcie PCIe chłodzonej cieczą i karcie OCP3.0 chłodzonej cieczą stykają się z płytą chłodzącą IO wzdłuż kierunku strzałki. Wybór materiału dla kanałów płynu chłodzącego musi uwzględniać zgodność z płynem chłodzącym rurociąg systemu i materiałami zwilżającymi.

 

To rozwiązanie chłodzenia cieczą IO cold plate spełnia wielowymiarowe wymagania montażowe wielu komponentów. Mieszane zastosowanie materiałów miedzianych i aluminiowych rozwiązuje problemy ze zgodnością materiałów, zapewnia skuteczność chłodzenia, pomaga zmniejszyć wagę cold plate o 60% i obniża koszty.

 

5. Projekt zimnej płyty zasilacza

Rozwiązanie polegające na chłodzeniu zasilacza cieczą polega na chłodzeniu powietrza wylotowego wentylatora PSU poprzez podłączenie zewnętrznego wymiennika ciepła powietrze-ciecz do istniejącego zasilacza chłodzonego powietrzem, co zmniejsza wstępne nagrzewanie się systemu w zewnętrznym środowisku centrum danych.

 

Tylny wymiennik ciepła PSU ma strukturę wielowarstwową, z kanałami i żebrami ułożonymi jeden na drugim. Rozmiar tylnego wymiennika ciepła PSU musi równoważyć wymagania chłodzenia, wagę i koszt, jednocześnie zapewniając, że nie będzie on kolidował z funkcją wkładania/wyjmowania przewodu zasilającego i będzie spełniał ograniczenia przestrzenne szafy systemowej. Tylny wymiennik ciepła PSU jest niezależnie montowany na wsporniku węzła.

 

▲ Rysunek 11. Tylny wymiennik ciepła PSU

 

To innowacyjne rozwiązanie chłodzenia cieczą zasilacza eliminuje potrzebę opracowywania nowych zasilaczy chłodzonych cieczą, skracając cykl rozwoju i zmniejszając koszty rozwoju. Jego doskonała wszechstronność pozwala na elastyczne dostosowywanie się do rozwiązań zasilania od wielu dostawców, oszczędzając ponad 60% w porównaniu do niestandardowych zasilaczy chłodzonych cieczą.

 

W przypadku zastosowań obejmujących całe szafy, chłodzenie cieczą zasilacza może również wykorzystywać scentralizowane rozwiązanie wymiennika ciepła powietrze-ciecz. Obejmuje to uszczelnienie przednich i tylnych drzwi szafy i umieszczenie scentralizowanego wymiennika ciepła powietrze-ciecz na dole szafy, zastępując rozproszoną strukturę wymiennika ciepła powietrze-ciecz za PSU scentralizowaną.

 

Centralny wymiennik ciepła powietrze-ciecz składa się z aluminiowych falistych żeber pokrytych warstwą hydrofilową w celu zwiększenia wymiany ciepła, w połączeniu z miedzianymi rurami o wysokim współczynniku przenikania ciepła. Może zapewnić co najmniej 8 kW mocy chłodzenia przy różnicy temperatur wynoszącej 10 stopni. Ścieżka przepływu wymiennika ciepła jest zoptymalizowana poprzez symulację, aby obsługiwać większy przepływ przy niskim oporze. Posiada konstrukcję antykondensacyjną i kompleksową detekcję wycieków w celu wyeliminowania zagrożeń bezpieczeństwa. Specjalna konstrukcja zawiasu spełnia wysokie wymagania dotyczące obciążenia, a konstrukcja połączenia z gniazdem karty ułatwia instalację i konserwację.

 

Ponieważ ponad 95% ciepła z pojedynczego serwera chłodzonego cieczą jest zarządzane przez płytę chłodzącą, mniej niż 5% ciepła musi być obsługiwane przez wymiennik ciepła ciecz-powietrze. Każdy węzeł wymaga tylko 40-50W wymiany ciepła ciecz-powietrze, a pojedynczy scentralizowany wymiennik ciepła ciecz-powietrze obsługuje 8 kW pojemności wymiany ciepła, zapewniając chłodzenie dla nie mniej niż 150 węzłów, przy koszcie znacznie niższym niż 150 rozproszonych wymienników ciepła ciecz-powietrze.

 

To rozwiązanie pozwala na niezmodyfikowanie zasilaczy serwera, a generowane ciepło jest zbierane i wymieniane równomiernie przez scentralizowany wymiennik ciepła powietrze-ciecz z tyłu szafy. Ciepło tworzy samodzielną cyrkulację wewnątrz szafy, nie wpływając na środowisko centrum danych, co naprawdę osiąga „Stelaż jako komputer”.