KI treibt die thermische Leistungsdichte Rechenzentren: Die Kühlkonzepte jenseits der Luftkühlung

Anbieter zum Thema

MOLEX Deutschland GmbH

ET System electronic GmbH

CTX Thermal Solutions GmbH

RECOM Power GmbH

Die klassische Luftkühlung stößt bei KI- und HPC-Systemen zunehmend an Grenzen. Direct-to-Chip-, Flüssigkeits- und zweiphasige Kühlung sowie intelligente Regelverfahren sollen die nächste Leistungsklasse beherrschen.

Die thermische Architektur von Rechenzentren verändert sich. Nicht nur Anwendungen von künstlicher Intelligenz erzeugen immer höhere Wärmelasten, auch die Kommunikation wird zum thermischen Problem. Bei 112-GBit/s-PAM4 liegen optische I/O-Module laut Verbindungstechnikspezialist molex typischerweise bei 15 bis 25 W; für 224-GBit/s-PAM4 werden bis zu 40 W pro Modul genannt. In einem 32-Port-Switch erzeugen damit allein die optischen Module eine Verlustleistung von mehr als 1 kW.

Luftkühlung stößt an seine Grenzen

Forcierte Luftkühlung bleibt für viele Server und insbesondere für weniger dicht gepackte Bereiche sinnvoll. Molex sieht eine Rack-Leistung von etwa 10 kW als Größenordnung, die mit gerichteter Luftkühlung noch gut beherrschbar ist. Moderne Rechenzentren kombinieren deshalb zunehmend Luft- und Flüssigkeitskühlung.

Mit steigender Leistungsdichte wächst jedoch der Aufwand für das Handling von Luftstrom, Kühlkörper und Lüfter. Besonders kritisch sind optische Transceiver: Ihre Bauform ist weitgehend durch bestehende Steckplätze und die Rückwärtskompatibilität vorgegeben. Mehr Verlustleistung bedeutet deshalb mehr Wärme auf praktisch unveränderter Fläche.

Das Potenzial von Drop-Down Heat Sinks

Eine Zwischenlösung sind Drop-Down Heat Sinks. Dabei liegt der Kühlkörper während des Einsteckens nicht auf dem Transceiver auf. Erst auf den letzten 10 % des Einschubwegs wird er auf eine definierte Kontaktfläche abgesenkt. Dadurch lassen sich TIMs (Thermal Interface Material) verwenden, ohne dass diese beim Steckvorgang beschädigt werden.

Molex gibt gegenüber einem optimierten Zipper-Fin-Kühlkörper eine Verbesserung der Wärmeabfuhr bis zu 9 °C bei 35 W an. Das kann entweder für niedrigere Lüfterdrehzahlen oder für leistungsstärkere Module genutzt werden.

Direct-to-Chip-Kühlung wird zum Standard für KI und HPC

Bei noch höheren Leistungsdichten verlagert sich die Wärmeabfuhr direkt an die Wärmequelle. Beim Direct-to-Chip Cooling liegt eine Cold Plate direkt auf CPU oder GPU. Flüssigkeit transportiert die Wärme über einen Kreislauf zur Coolant Distribution Unit und anschließend zur Wärmesenke.

Molex nennt eine Rack-Leistung von 25 bis 50 kW als Größenordnung, in der Direct-to-Chip-Kühlung relevant wird. Das sei jedoch keine feste Grenze. Entscheidend sind Wärmestromdichte, Chip-Leistung, Kühlmitteltemperatur und Systemarchitektur. Andere Quellen sehen Direct-to-Chip-Kühlung und andere Flüssigkeitskühlkonzepte für KI-Racks im Bereich von etwa 50 bis 100 kW und darüber. In der Praxis sind heute bereits deutlich höhere Rack-Leistungen relevant.

Der entscheidende Vorteil der Flüssigkeitskühlung ist die deutlich höhere Wärmetransportfähigkeit gegenüber Luft. Gleichzeitig können die höheren Kühlflüssigkeitstemperaturen für die Heizung von beispielsweise Gebäuden genutzt werden.

Europäische HPC-Projekte sind bei dieser Entwicklung ebenfalls mit vorne dabei: serverChill untersucht die direkte Flüssigkeitskühlung von CPU, GPU und Speicher; der geplante EuroHPC-Supercomputer HammerHAI basiert auf einer flüssigkeitsgekühlten NVIDIA-GB200-NVL4-Plattform.

Kühlung der I/O-Module: Potenziale und Grenzen

Die Entwicklung endet allerdings nicht bei CPU und GPU. Bei Highspeed-Systemen mit 224-GBit/s wird zunehmend auch die Kühlung der optischen I/O-Module relevant. Eine einzelne Cold Plate pro Transceiver wäre jedoch kaum praktikabel: Bei 32 Ports wären bis zu 32 Vor- und Rückläufe erforderlich.

Eine Lösung ist deshalb eine gemeinsame Cold Plate für mehrere Module, was allerdings mechanische Herausforderungen birgt. Die Module haben nicht exakt die gleicher Höhe; auch Cage, Steckverbinder und Kühlflächen weisen Toleranzen auf. Eine starre Cold Plate würde deshalb einzelne Module gut und andere nur unzureichend thermisch kontaktieren.

Molex setzt hier auf eine Cold Plate mit Floating Pedestals. Federnd gelagerten Kühlkontakte gleichen die mechanischen Toleranzen aus, erzeugen den erforderlichen Anpressdruck und binden mehrere QSFP-DD-Module gleichzeitig thermisch an. Bei einer 1×6-QSFP-DD-Anordnung können so sechs Module über eine gemeinsame Cold Plate gekühlt werden.

Zweiphasige Flüssigkühlung für extreme Wärmestromdichten

Bei weiter steigender Leistungsdichte kommt die zweiphasige Flüssigkeitskühlung ins Spiel. Das Kühlmedium verdampft an der Wärmequelle und transportiert die Wärme über seine Verdampfungsenthalpie. Dadurch lassen sich hohe Wärmestromdichten bei vergleichsweise kleinen Temperaturdifferenzen realisieren.

Das europäische EuroHPC-Projekt TEXTAROSSA untersucht Two-Phase Liquid Cooling für zukünftige Exascale-Systeme. Das EU-Projekt DYMAN kombiniert zweiphasige Kühlung mit einer dynamischen Regelung von Kühlleistung und Prozessorlast.

Thermisches Design muss den gesamten Wärmeweg betrachten

Mit steigender Leistungsdichte reicht es insbesondere bei optischen Komponenten nicht mehr, nur die Gehäusetemperatur eines Moduls zu betrachten. Die Vorgabe einer Gehäusetemperatur von beispielsweise 70 °C bildet nicht zwangsläufig die kritischste interne Komponente ab. Laser, TIA und DSP können unterschiedliche thermische Reserven besitzen.

Präziser ist eine thermische Betrachtung der tatsächlich kritischen Komponenten. Dafür müssen Temperaturmessungen, Simulation und Systemtests miteinander korreliert werden.

Das beginnt auf Modulebene, wo Hotspots identifiziert werden, und reicht bis zur Simulation des gesamten Chassis. Komponenten wie GPUs, SSDs, Add-in-Karten und I/O-Module beeinflussen gegenseitig den Luftstrom und damit die Temperaturverteilung.

Europäische Forschungsprojekte wie DYMAN und ECO-Qube verfolgen deshalb ein integriertes thermisches Management, bei dem IT-Last, Kühlkreislauf und Energieverbrauch gemeinsam optimiert werden.

Immersion Cooling bleibt eine Option für höchste Leistungsdichten

Bei der Immersionskühlung wird die komplette Elektronik in eine elektrisch nichtleitende Flüssigkeit eingetaucht. Die Flüssigkeit nimmt die Wärme direkt von den Komponenten auf und gibt sie über einen Wärmetauscher ab.

Diese Lösung ist für sehr hohe Wärmelasten bei Größenordnungen von mehr als 50 kW pro Rack sinnvoll. Die Wahl zwischen Direct-to-Chip, Rear-Door Heat Exchanger und Immersion hängt von Rack-Leistung, Hardware, Infrastruktur und Wirtschaftlichkeit ab. Direct-to-Chip-Kühlung erscheint in der Literatur derzeit als die am weitesten etablierte Flüssigkeitskühlung für KI- und HPC-Anwendungen.

Immersionskühlung hat zudem einen entscheidenden Nachteil bei der Hochgeschwindigkeitskommunikation: Das Dielektrikum der Kühlflüssigkeit verändert die elektromagnetischen Randbedingungen. Bei Steckverbindern und Hochgeschwindigkeitskomponenten, die für Luft ausgelegt wurden, bedeutet das veränderte Impedanz und Signalintegrität. Für Verbindungen mit Datenraten von 112- und 224-GBit/s sind entsprechend qualifizierte Komponenten erforderlich.

Hybridlösungen: Kombinationen statt des ultimativen Kühlsystems

Die Entwicklung läuft damit nicht auf den vollständigen Ersatz der Luftkühlung hinaus. Vielmehr entsteht eine hybride thermische Architektur: Luftkühlung übernimmt weniger wärmekritische Komponenten, Direct-to-Chip kühlt CPUs und GPUs, Cold Plates erreichen zunehmend Speicher, Spannungsversorgung und I/O, während Immersion Cooling für spezielle Hochleistungsanwendungen eine Option bleibt.

Entscheidend wird dabei die thermische Integration. Kühlung, Mechanik, Stromversorgung und Signalübertragung lassen sich bei den kommenden Leistungsklassen nicht mehr unabhängig voneinander optimieren. Power und Cooling muss deshalb integriert ausgelegt werden. Die nächste Generation von Rechenzentren wird deshalb nicht einfach stärker gekühlt, sondern thermisch neu konstruiert. (kr)

(ID:50930626)