Rewolucja serwerów w pełni chłodzonych cieczą Wydajne rozwiązania chłodzenia dla procesora, pamięci i PCIe

 

W kontekście 14. Pięcioletniego Planu Chin, który kładzie nacisk na rozwój gospodarki cyfrowej, centra danych stanowią podstawową infrastrukturę wspierającą transformację cyfrową, ale również mierzą się ze znacznymi naciskami na emisję dwutlenku węgla. Wraz ze wzrostem zużycia energii przez układy scalone i serwery gęstość mocy na szafę rośnie, a tradycyjne chłodzenie powietrzem stopniowo staje się ograniczone pod względem rozpraszania ciepła i optymalizacji energii.

 

▲ Centra danych

 

Chłodzenie cieczą, jako rozwijająca się technologia chłodzenia, wykorzystuje płynny środek chłodzący do odprowadzania ciepła generowanego przez komponenty. W porównaniu z chłodzeniem powietrznym, chłodzenie cieczą oferuje kilka zalet, w tym obsługę układów o dużej mocy, wydłużoną żywotność układów, zmniejszoną efektywność wykorzystania energii (PUE) centrów danych, lepszą wydajność transferu ciepła, zminimalizowane punkty cieplne, obsługę wyższych gęstości szaf, zmniejszony hałas i lepszą adaptację do środowiska. Dlatego chłodzenie cieczą stanie się ważną częścią przyszłej budowy centrów danych, kluczową dla osiągnięcia celów w zakresie zielonych obliczeń i neutralności węglowej.

 

Węzły serwerów chłodzonych całkowicie cieczą składają się z obudowy węzła, płyty głównej, układów CPU, modułów pamięci, płyt chłodzących pamięć, płyt chłodzących CPU, płyt chłodzących IO, zasilaczy oraz wymienników ciepła zasilacza.

 

 

Projekt zimnej płyty procesora

 

Moduł CPU cold plate został zaprojektowany na podstawie wymagań dotyczących skalowalnej płyty chłodzącej procesora Intel 5. generacji Xeon. Bierze pod uwagę takie czynniki, jak rozpraszanie ciepła, wydajność strukturalna, wydajność, koszt i zgodność z różnymi materiałami w projekcie cold plate, co skutkuje zoptymalizowanym projektem referencyjnym. Płyta chłodząca procesora składa się głównie z aluminiowego wspornika, płyty chłodzącej i złączy płyty chłodzącej.

 

▲ Płyta chłodząca procesor

 

 

II Konstrukcja chłodzenia cieczą pamięci

 

Projekt chłodzenia pamięci cieczą wykorzystuje innowacyjny radiator chłodzenia cieczą „rail tie”, nazwany tak ze względu na podobieństwo do podkładów kolejowych, gdy gniazda pamięci są w pełni zajęte. Ten projekt łączy tradycyjne chłodzenie powietrzem z chłodzeniem zimną płytą. Radiator, zawierający rurki cieplne (lub wykonany z czystego aluminium/miedzi, VaporChamber itp.), przenosi ciepło z pamięci do obu końców, które następnie stykają się z zimną płytą za pośrednictwem wybranych podkładek termicznych, umożliwiając odprowadzenie ciepła przez płynny środek chłodzący w zimnej płycie.

 

Pamięć i radiator można zmontować w minimalną jednostkę konserwacyjną (zwaną modułem pamięci) poza systemem za pomocą elementów mocujących. Płytka chłodząca pamięć jest zaprojektowana ze strukturą zapewniającą dobry kontakt między radiatorem a płytką chłodzącą pamięć. Tę strukturę można zabezpieczyć śrubami lub konserwować bez użycia narzędzi, jeśli to konieczne. Górna część płytki chłodzącej pamięć chłodzi pamięć, podczas gdy dolna część może chłodzić inne elementy generujące ciepło na płycie głównej, takie jak VR, maksymalizując wykorzystanie płytki chłodzącej pamięć. Aby uprościć konstrukcję płytki chłodzącej, można wprowadzić wspornik adaptera między pamięcią a płytą główną, aby spełnić wymagania dotyczące wysokości różnych płyt głównych.

 

▲ Płyta chłodząca Memory

 

W porównaniu z istniejącymi na rynku rozwiązaniami chłodzenia cieczą opartymi na rurkach, konstrukcja chłodzenia cieczą „za pomocą podkładu szynowego” ma następujące zalety:

 

Łatwość konserwacji:Podczas konserwacji pamięci moduł pamięci jest serwisowany tak samo jak moduł pamięci chłodzony powietrzem, bez konieczności usuwania radiatora i elementów mocujących. Znacznie poprawia to wydajność i niezawodność montażu, jednocześnie zmniejszając potencjalne uszkodzenia układów pamięci i podkładek termicznych podczas instalacji i usuwania.

 

Dobra kompatybilność: TWydajność chłodzenia nie jest zaburzona przez różne grubości chipów pamięci ani odstępy między nimi. Rozwiązanie obsługuje minimalny odstęp między pamięciami wynoszący 7,5 mm i jest kompatybilne w górę. Oddzielona konstrukcja radiatora i płyty chłodzącej umożliwia ponowne wykorzystanie i standaryzację pamięci chłodzonej cieczą.

 

Wyższa opłacalność:Radiator można wybrać na podstawie poboru mocy pamięci, a liczbę radiatorów można skonfigurować zgodnie z wymaganiami pamięci. Przy odstępie pamięci 7,5 mm to rozwiązanie może spełnić potrzeby chłodzenia modułów pamięci o poborze mocy przekraczającym 30 W.

 

Łatwy w produkcji i montażu:Brak rurek chłodzenia cieczą pomiędzy gniazdami pamięci, co eliminuje potrzebę skomplikowanego spawania rurek i kontroli procesu. Radiator może być wyprodukowany przy użyciu tradycyjnych technik chłodzenia powietrzem i standardowych technik produkcji płyt chłodzących CPU. Wydajność cieplna nie jest wrażliwa na tolerancje między radiatorem a płytą główną w kierunku prostopadłym do płaszczyzny układu pamięci, co ułatwia montaż.

 

Wysoka niezawodność:Konstrukcja chłodzenia cieczą „rail tie” zapobiega potencjalnym uszkodzeniom układów pamięci i podkładek termicznych podczas montażu i spełnia wymagania dotyczące wielokrotnego wkładania/wyjmowania. Ponadto eliminuje ryzyko problemów z kontaktem sygnału między pamięcią a gniazdami z powodu nieprawidłowego ustawienia, co znacznie zwiększa niezawodność systemu.

 

 

III Konstrukcja chłodzenia cieczą SSD

 

Innowacyjne rozwiązanie chłodzenia cieczą SSD przenosi ciepło z obszaru SSD przez radiator z wbudowanymi rurkami cieplnymi. Następnie ciepło jest przenoszone do zimnej płyty na zewnątrz obszaru SSD poprzez bezpośredni kontakt z podkładkami termicznymi.

 

To rozwiązanie chłodzenia cieczą SSD składa się głównie z modułu SSD z radiatorem, płyty chłodzącej SSD, mechanizmu blokującego moduł SSD i wspornika SSD. Mechanizm blokujący na wsporniku SSD zapewnia odpowiednie wstępne obciążenie, aby utrzymać niezawodny, długotrwały kontakt między modułem SSD a płytą chłodzącą. Aby ułatwić instalację w ciasnych przestrzeniach, wspornik SSD przyjmuje konstrukcję typu szuflady w kierunku głębokości serwera.

 

▲ Konstrukcja chłodzenia cieczą SSD

 

W porównaniu z istniejącymi próbami chłodzenia cieczą dysków SSD, udoskonalenia w tym rozwiązaniu obejmują:

• Obsługuje ponad 30 operacji podłączania/odłączania urządzeń bez wyłączania zasilania.
• Brak ryzyka uszkodzenia materiałów termoprzewodzących podczas instalacji dysku SSD; mechanizm blokujący gwarantuje długoterminową niezawodność styku.
• Niska złożoność produkcji, wymagająca jedynie tradycyjnego chłodzenia powietrzem i procesów produkcyjnych płyt chłodzących procesora.
• Brak ścieżek przepływu wody między dyskami SSD pozwala na współdzielenie jednej płyty chłodzącej przez wiele dysków SSD, co zmniejsza liczbę złączy i obniża ryzyko wycieku.
• Elastyczne dopasowanie do różnych grubości dysków SSD i konfiguracji systemu.

 

 

Projekt chłodzenia cieczą karty IV NPCIe/OCP

 

1. Rozwiązanie chłodzenia cieczą PCIe

Rozwiązanie chłodzenia cieczą karty PCIe opiera się na istniejącej karcie PCIe chłodzonej powietrzem. Zapewnia chłodzenie modułu optycznego i głównych układów na karcie PCIe poprzez opracowanie modułu chłodzącego, który styka się z płytą chłodzącą systemu. Ciepło z modułu optycznego jest przenoszone za pomocą rurek cieplnych do głównego modułu radiatora na karcie PCIe, który następnie rozprasza ciepło poprzez kontakt z płytą chłodzącą IO przy użyciu odpowiednich materiałów interfejsu termicznego.

 

Karta PCIe chłodzona cieczą składa się głównie z zacisku radiatora QSFP, modułu radiatora układu PCIe i karty PCIe. Zacisk QSFP musi mieć wystarczającą elastyczność, aby zapewnić właściwy kontakt pływający podczas instalacji, zapobiegając uszkodzeniu modułu optycznego, a jednocześnie zapewniając dobry kontakt dla optymalnej wydajności chłodzenia.

 

▲ Chłodzenie cieczą PCIe

 

2. OCP 3.0 Roztwór chłodzenia cieczą

Rozwiązanie chłodzenia cieczą karty OCP 3.0 jest podobne do karty PCIe. Dostosowuje radiator chłodzenia cieczą do karty OCP 3.0, przenosząc ciepło z głównych układów karty do radiatora chłodzenia cieczą. Następnie ciepło jest usuwane poprzez kontakt między radiatorem a płytą chłodzącą IO systemu.

 

Moduł chłodzenia cieczą OCP 3.0 składa się głównie z modułu radiatora, karty OCP 3.0 i jej uchwytu. Ze względu na ograniczenia przestrzenne mechanizm blokujący wykorzystuje śruby sprężynowe, aby zapewnić długoterminową niezawodność kontaktu między modułem radiatora a płytą chłodzącą IO.

 

▲ OCP 3.0 Chłodzenie cieczą

 

Biorąc pod uwagę potrzebę łatwej konserwacji i możliwości wielokrotnego wkładania/wyjmowania karty OCP 3.0 podczas pracy, mechanizm blokujący i materiały interfejsu termicznego zostały zoptymalizowane w celu zwiększenia ogólnej niezawodności i wygody konserwacji.

 

 3. Rozwiązanie IO Cold Plate 

Płytka chłodząca IO to wielofunkcyjna płytka chłodząca, która chłodzi nie tylko komponenty generujące ciepło w obszarze IO płyty głównej, ale także chłodzone cieczą karty PCIe i OCP 3.0.

 

▲ Płyta zimna IO

 

Płyta chłodząca IO składa się głównie z korpusu ze stopu aluminium i rur miedzianych zapewniających przepływ chłodziwa i lepsze odprowadzanie ciepła. Projekt musi być zoptymalizowany zgodnie z układem płyty głównej i wymaganiami dotyczącymi odprowadzania ciepła. Moduły kart PCIe i OCP 3.0 chłodzone cieczą stykają się z płytą chłodzącą IO wzdłuż wyznaczonych ścieżek. Materiały chłodzące muszą być zgodne z chłodziwem i środkami zwilżającymi rurociągu systemu.

 

▲ Płyta zimna IO

 

To rozwiązanie chłodzenia cieczą dla płyty chłodzącej IO spełnia wielowymiarowe potrzeby montażowe kilku komponentów, wykorzystując połączenie materiałów miedzianych i aluminiowych w celu rozwiązania problemów ze zgodnością. Zapewnia skuteczne odprowadzanie ciepła, zmniejsza wagę płyty chłodzącej o 60% i obniża koszty.

 

 

Projekt zimnej płyty zasilacza V

 

Rozwiązanie chłodzenia zasilacza cieczą integruje zewnętrzny wymiennik ciepła powietrze-ciecz z istniejącym zasilaczem chłodzonym powietrzem (PSU), chłodząc powietrze wyrzucane przez wentylator zasilacza i zmniejszając efekt nagrzewania się zewnętrznego środowiska centrum danych.

 

Tylny wymiennik ciepła PSU ma wielowarstwową strukturę z zachodzącymi na siebie kanałami przepływu i żebrami. Wymiary wymiennika ciepła są zoptymalizowane pod kątem przestrzeni i potrzeb funkcjonalnych, bez wpływu na połączenia kablowe PSU. Wymiennik ciepła jest niezależnie zamontowany na obudowie węzła.

 

▲ Zasilacz Chłodzenie cieczą

 

To innowacyjne rozwiązanie chłodzenia cieczą zasilacza eliminuje potrzebę opracowywania nowych zasilaczy chłodzonych cieczą, skracając czas opracowywania i redukując koszty. Jego wysoka adaptowalność pozwala na elastyczne zastosowanie w różnych projektach zasilaczy, oszczędzając ponad 60% w porównaniu do niestandardowych zasilaczy chłodzonych cieczą.

 

W przypadku zastosowań w pełnym stelażu zamiast rozproszonych tylnych wymienników ciepła dla każdego PSU można użyć scentralizowanego wymiennika ciepła powietrze-ciecz. Ta scentralizowana struktura zastępuje indywidualne wymienniki ciepła PSU, zapewniając chłodzenie poprzez system, który integruje się ze ścieżkami przepływu powietrza w stelażu, zapewniając brak wpływu na środowisko serwerowni.

 

Pojedynczy scentralizowany wymiennik ciepła może obsłużyć 8 kW mocy chłodniczej, obsługując co najmniej 150Zasilacze. Główne komponenty scentralizowanego wymiennika ciepła powietrze-ciecz obejmują rdzeń wymiennika ciepła, porty wlotowe i wylotowe wody, miedziane rurki chłodzące, aluminiową obudowę i żebra prowadzące przepływ. Ta konfiguracja umożliwia wydajne i skalowalne chłodzenie zasilacza w centrach danych o wysokiej gęstości.

 

 

Wniosek

 

▲ Serwer w pełni chłodzony cieczą

 

Technologia chłodzenia cieczą, jak pokazują te zoptymalizowane projekty, jest kluczowa dla zarządzania rosnącą emisją ciepła w nowoczesnych centrach danych, przy jednoczesnym dążeniu do osiągnięcia celów w zakresie wydajności i zrównoważonego rozwoju. Dzięki innowacjom w rozwiązaniach płyt chłodzących dla procesorów, pamięci, dysków SSD, kart PCIe/OCP i zasilaczy, te serwery chłodzone cieczą torują drogę ku przyszłości bardziej ekologicznych, wydajniejszych centrów danych.