Als je de behuizing van een moderne AI-server opent, valt je blik niet meteen op een stapel koelribben, maar op een plat metalen blok dat met bouten aan de GPU-chip is bevestigd, met twee kleine slangen die via gekleurde snelkoppelingen uit het blok lopen. Dat blok is een koelplaat, en de vloeistof die erdoorheen stroomt, vormt het begin van een vloeistofkoelsysteem dat rechtstreeks op de chip is aangesloten.
Direct-to-chip vloeistofkoeling, vaak afgekort tot DLC of D2C, is een methode waarbij een eenfasig of tweefasig koelmiddel door afgedichte koelplaten wordt gepompt die tegen krachtige siliciumchips zijn gedrukt, waardoor warmte uit de server wordt afgevoerd voordat deze de ruimtelucht bereikt. De rest van dit artikel volgt dat koelmiddel vanaf het oppervlak van de chip tot aan de koelmachine van de faciliteit, en werkt vervolgens terug door de ontwerp- en retrofitbeslissingen die bepalen of de koelkringloop daadwerkelijk goed functioneert.
Belangrijkste opmerkingen
- Het belangrijkste kenmerk is het directe contact: een koelplaat rust direct op de CPU, GPU of accelerator, en niet op een door ventilatoren gekoelde koelribbenstapel.
- Een koelvloeistofverdeelunit (CDU) scheidt de vloeistof aan de serverzijde van het leidingwater via een warmtewisselaar, en niet alleen via een verdeelstuk.
- Ongeveer 20–30% aan serverwarmte moet doorgaans nog steeds worden afgevoerd, dus DLC vormt een aanvulling op de ruimtekoeling in plaats van deze te vervangen.
- Tweefasige varianten maken gebruik van koken om een hogere fluxdichtheid te bereiken; eenfasige varianten zijn eenvoudiger in gebruik te nemen en te onderhouden.
- De haalbaarheid van een retrofit hangt af van drie weinig opwindende aspecten: vloerbelasting, de chemische samenstelling van het water in de secundaire kringloop en lekdetectie op rackniveau.
Direct-to-chip-koeling in één zin
Bij ‘direct-to-chip’-vloeistofkoeling wordt warmte afgevoerd van de heetste chipbehuizingen in een server door een met vloeistof gevulde koelplaat op het chipdeksel te klemmen en die vloeistof via snelkoppelingen en een rackverdeelstuk naar een CDU te leiden, die de warmte vervolgens afvoert naar het koelwater van de faciliteit. Al het andere — ventilatoren, warmtewisselaars in de achterdeur, CRAH-units — is bedoeld om de warmte af te voeren die de koelplaten niet opvangen.
Volg de warmte van de GPU tot aan de installatielus
Laten we bij het silicium beginnen. Een 700 W-versneller zet bijna al zijn elektrische input om in warmte, die wordt afgevoerd via een dunne laag soldeer en koper onder het deksel van de behuizing. De koelplaat rust bovenop dat deksel, met daartussen een dunne laag thermisch interfacemateriaal, en binnenin de plaat zorgt een patroon van microkanalen — doorgaans 200–500 µm breed — ervoor dat het koelmiddel in turbulent contact komt met de koperen basis.
Warmte wordt in die volgorde geleid van de chip naar het deksel, naar de plaat en naar de vloeistof, en elk van die grensvlakken kan de thermische weerstand sterk beïnvloeden als het slecht is geconstrueerd.
Vanaf de koelplaat lopen twee slangen weg van de chip — aanvoer en retour — en komen uit in een verdeelstuk op tray-niveau. Het tray-verdeelstuk is aangesloten op een verticaal rack-verdeelstuk, ook wel een CDM genoemd, via druppelvrije snelkoppelingen waarmee servers kunnen worden verwijderd zonder de kringloop af te tappen. CoolIT en soortgelijke leveranciers publiceren specificaties van koelplaten waarin de drukval en thermische weerstand per node worden weergegeven; de rackontwerper gebruikt deze gegevens om de doorstroming te berekenen (CoolIT Systems-koelplaten).
Het rackverdeelstuk voedt vervolgens de secundaire kringloop van een CDU. Binnenin de CDU draagt een warmtewisselaar met gesoldeerde platen of een mantel-en-buis-warmtewisselaar de warmte over van de kringloop van het technologische koelsysteem (TCS) naar de kringloop van het faciliteitswatersysteem (FWS). De faciliteitslus voert die warmte naar een droge koeler, koeltoren of koelinstallatie — dezelfde apparatuur die al voor CRAH's wordt gebruikt, maar dan gedimensioneerd voor hogere retourtemperaturen.
In het overzicht van Vertiv over architecturen voor vloeistofkoeling wordt deze scheiding in twee kringlopen beschreven als gangbare praktijk (Vertiv-oplossingen voor vloeistofkoeling).
Wat de Cold Plate binnenin de server verandert
Door een koellichaam te vervangen door een koelplaat verandert de volledige thermische opzet van de tray. Ventilatoren boven de gekoelde componenten worden kleiner of verdwijnen, waardoor er ruimte vrijkomt in het statische drukbudget. Geheugen, VRM’s, netwerkkaarten en voedingen hebben echter nog steeds luchtstroom nodig — de ‘direct-to-chip’-opstelling raakt deze componenten standaard niet.
Geometrie van de koelplaat en keuze van het warmtegeleidingsmiddel (TIM)
De dichtheid van de microkanalen bepaalt hoeveel oppervlakte het koelmiddel in contact komt. Platen met geschaafde vinnen en 3D-geprinte platen zorgen voor een hogere dichtheid dan oudere ontwerpen met pin-vinnen, wat van belang is naarmate de vermogensdichtheid op chipniveau toeneemt. Het thermisch interfacemateriaal onder de plaat is een veelvoorkomende oorzaak van storingen: het wegpompen en uitdrogen van op vet gebaseerde TIM’s bij thermische cycli is een bekende fout bij vroege DLC-retrofits, en veel exploitanten zijn overgestapt op faseveranderingspads of indiumfolies voor versnellers boven ongeveer 500 W.
Warmte uit restlucht
Een koelplaat vangt de behuizing op, niet de printplaat. De warmte die vrijkomt uit de VRM’s, DIMM’s, optische componenten en opslagmedia wordt binnen de behuizing nog steeds omgezet in luchtwarmte. De meeste huidige ‘direct-to-chip’-opstellingen zijn nog steeds afhankelijk van behuizingsventilatoren en ruimtekoeling — of een warmtewisselaar aan de achterzijde — om dat resterende deel af te voeren.
Bij berekeningen voor renovaties gaat het meestal mis doordat de luchtstroom wordt afgestemd op de resterende warmte, in plaats van op de oorspronkelijke warmte.
Waarom een CDU meer is dan alleen een pompkast
De CDU vervult vier functies tegelijk: hij scheidt de schone secundaire kringloop van het installatiewater, regelt de aanvoertemperatuur, regelt het debiet en de druk naar de rekken, en biedt de benodigde instrumentatie om lekken en slijtage op te sporen. Het beschouwen van het systeem als "slechts een pompunit" is de aanschaffingsfout die ertoe leidt dat exploitanten zes maanden na de ingebruikname met te kleine warmtewisselaars komen te zitten.
CDU-functie | Wat het eigenlijk doet | Wat gaat er mis als je het overslaat? |
|---|---|---|
Warmtewisselaar | Warmteoverdracht van de TCS- naar de FWS-lus | Waterverontreiniging in de installatie door glycol of biociden |
Pompen met variabel toerental | De werkstroom afstemmen op de IT-belasting | Oververhitte plekken bij racks met hoog vermogen, energieverspilling door de pomp bij lage belasting |
Regeling van de toevoertemperatuur | De mengverhoudingen keren terug naar het ingestelde punt | Condensatie op koude platen wanneer het dauwpunt in de ruimte hoog is |
Filtratie en nevenstroombehandeling | Houdt de vorming van deeltjes en biologische groei onder controle | Vervuiling van microkanalen, geleidelijk verlies van doorstroming per knooppunt |
Lekdetectie- en afsluitkleppen | Detecteert veranderingen in druk of geleidbaarheid | Koelvloeistof die in contact komt met een onder spanning staande verzamelrail |
De dimensionering is afhankelijk van het vermogen van het rack, de aanvoertemperatuur van de warmtewisselaar en de beschikbare temperatuur van het installatiewater. Hogere temperaturen van het installatiewater — soms een aanvoertemperatuur van 30–40 °C — maken DLC economisch interessant, omdat hierdoor gedurende een groot deel van het jaar gebruik kan worden gemaakt van droge koelers. Het koelingsonderzoek van het Uptime Institute voor 2024 documenteert de verschuiving naar warmere secundaire kringlopen naarmate de toepassing van directe vloeistofkoeling toeneemt (Enquête van het Uptime Institute over koelsystemen 2024).
Wat Direct-to-Chip niet koelt
Dit is de vraag die bepaalt of een implementatie slaagt. Direct-to-chip is geschikt voor de CPU, GPU en soms de HBM-stack of switch-ASIC — alles waarmee een cold plate mechanisch kan worden gekoppeld. Het is niet geschikt voor:
- DIMM-banken die buiten het bereik van een secundaire koelplaat of lucht liggen
- Optische transceivers aan de voorkant van de behuizing
- Voedingen en hun interne magnetische componenten
- Opslagschijven, netwerkkaarten en BMC-componenten
- De PDU’s, stroomrails en stroomvoorzieningsapparatuur op rackniveau
Het praktische gevolg is dat een "vloeistofgekoeld" rack zelden voor 100% vloeistofgekoeld is. Een realistische opvangratio voor huidige DLC-servers ligt in het bereik van 70–80%, waarbij de rest wordt afgehandeld door de luchtstroom in het chassis. Immersiekoeling is het alternatief wanneer opvangratio's de 100% benaderen, maar het is een andere architectuur met andere afwegingen op het gebied van vloeistof, materialen en onderhoudsvriendelijkheid.
Eenfasige versus tweefasige ‘direct-to-chip’-ontwerpen
Bij beide varianten wordt gebruikgemaakt van koelplaten, verdeelstukken en een CDU. Het verschil zit hem in het feit of de werkvloeistof vloeibaar blijft of van fase verandert binnenin de koelplaat.
Kenmerk | Eenfasige DLC | Tweefasige DLC |
|---|---|---|
Werkvloeistof | Water met corrosieremmer, of een mengsel van PG en water | Technisch diëlektricum met een laag kookpunt |
Warmteoverdrachtsmechanisme | Verstandige verwarming van de vloeistof | Latente verdampingswarmte bij de chip |
Drukverloop | Gepompt, matige druk | Vaak bijna atmosferisch, met condensor aangedreven |
Fluxcapaciteit per koelplaat | Beperkt door het debiet en ΔT | Hoger, aangezien bij het koken meer warmte per gram wordt overgedragen |
Kosten en verwerking van vloeistoffen | Eenvoudigere, goed begrepen chemie | Meer aandacht van de regelgevende instanties voor vloeistoffen uit de PFAS-klasse |
De complexiteit van buitendienstwerkzaamheden | Bij de meeste exploitanten bekend | Vereist een specifiek condensatorontwerp en faseafhankelijke regelingen |
Eénfasige systemen domineren momenteel de leveringen, omdat de chemische samenstelling, de materialen en de onderhoudsprocedures veel weg hebben van werkzaamheden aan gebouwinstallaties (HVAC). Tweefasige systemen zijn de weg vooruit wanneer de vermogensdichtheid van chips hoger wordt dan wat een vloeistofcircuit met pomp kan verwerken, maar de techniek en de toeleveringsketen zijn nog minder uitontwikkeld en het landschap op het gebied van vloeistoffen is nog volop in beweging.
Vragen over de retrofit voordat het eerste rack wordt geleverd
Bij de installatie van een Greenfield-DLC kunnen de vloer, de leidingen en de waterchemie zelf worden gekozen. Bij retrofits is dat niet mogelijk, en daar liggen de meeste problemen. Neem deze vragen door voordat je een bestelling voor een rack plaatst.
Kunnen de vloer en de betonplaat het gewicht dragen?
Een volgebouwd DLC-rek met ingebouwde CDU-ondersteuning kan meer dan 1.500–2.000 kg wegen. Verhoogde vloeren die zijn ontworpen voor 800 kg per tegel zullen het zonder structurele versterking niet volhouden, en de belastingsroute is net zo belangrijk als het totale gewicht.
Waar komt het water voor de faciliteit vandaan?
Als het gebouw al over gekoeld water van 7 °C beschikt, betaal je energie voor de koelmachine om een circuit te voeden dat prima op 32 °C zou kunnen draaien. Aansluiting op een warmere condensatiewaterkringloop, of een apart droogkoelercircuit, is meestal een betere oplossing — en dit heeft gevolgen voor de dimensionering van de warmtewisselaar van de CDU.
Wat zit er in het water van de secundaire kringloop?
Microkanalen zijn meedogenloos. De eisen aan de waterkwaliteit hebben doorgaans betrekking op geleidbaarheid, hardheid, opgeloste zuurstof en biociden die compatibel zijn met koper, vernikkeling en EPDM-slangen. Een veelgemaakte installatiefout is het vullen van de secundaire lus met behandeld leidingwater en het overslaan van de spoel- en passiveringsstap, waardoor er vuil in de lus terechtkomt dat zich als eerste in de kleinste kanalen vastzet.
Hoe wordt een lek opgespoord en ingeperkt?
Opvangbakken, geleidende koordsensoren bij de verbindingen van het verdeelstuk en de drukdalinglogica van de CDU vormen de standaard gelaagde aanpak. Afsluitkleppen op rackniveau die bij detectie sluiten, zijn de kosten waard; vertrouwen op een mens die op een knop moet drukken, is dat niet.
FAQs
Is ‘direct-to-chip’-koeling hetzelfde als onderdompelingskoeling?
Nee. Bij „Direct-to-chip“ wordt gebruikgemaakt van koelplaten en gesloten circuits, waardoor het oppervlak van de chip slechts indirect via metaal in contact komt met het koelmiddel. Bij „Immersion“ wordt de gehele printplaat ondergedompeld in een diëlektrische vloeistof.
Beide kunnen in dezelfde datahall naast elkaar bestaan, maar zijn geen onderling uitwisselbare retrofitoplossingen.
Kan ik de 'direct-to-chip'-methode toepassen bij warm water zonder koelmachine?
Vaak wel, afhankelijk van het klimaat en de thermische limieten van de chip. Veel huidige GPU’s kunnen koelvloeistof met een inlaattemperatuur tussen de 30 en 40 °C aan, waardoor droge koelers het grootste deel van het jaar de koeling aan de faciliteitszijde kunnen verzorgen. De exacte bovengrens wordt bepaald door de limiet voor de junctietemperatuur van de chipfabrikant en de thermische weerstand van de koelplaat, niet door de koelarchitectuur zelf.
Wat gebeurt er met mijn bestaande CRAC-units na een DLC-aanpassing?
Ze blijven gewoon werken, maar met een lagere belasting. De restwarmte van geheugen, optische componenten en voedingen moet nog steeds ergens heen, en in ruimtes met een mix van vloeistofgekoelde en luchtgekoelde racks moeten de CRAC's worden afgestemd op het nieuwe luchtstroompatroon. Beheerders die CRAC's te vroeg buiten gebruik stellen, krijgen te maken met hotspots in aangrenzende rijen met oudere apparatuur.
Hoe vaak moet de secundaire lus worden onderhouden?
Het vervangen van filters, het controleren van biociden en het nemen van geleidbaarheidsmonsters worden doorgaans elk kwartaal gepland, terwijl de warmtewisselaar van de CDU jaarlijks grondiger wordt geïnspecteerd. De frequentie hangt af van de chemische samenstelling van de vloeistof en het aantal bedrijfsuren, en leveranciers van CDU’s publiceren de procedures die specifiek zijn voor hun vloeistoffen. Het overslaan van de zijstroomfiltratie is de goedkoopste manier om een loop van een jaar oud te verpesten.
Druppelen snelkoppelingen echt niet?
Moderne druppelvrije QD’s op DLC-servers verliezen bij het loskoppelen hooguit een paar druppels, en die hoeveelheid is zo ontworpen dat deze verdampt zonder de hardware te beschadigen. Het zijn geen onderdelen die vergelijkbaar zijn met koppelingen voor tuinslangen, en het vervangen door goedkopere koppelingen tijdens onderhoudswerkzaamheden is een bekend oorzak van verontreiniging in het rack.
Conclusie
Als iemand naar een rack met AI-servers wijst en vraagt wat ‘direct-to-chip vloeistofkoeling’ precies inhoudt, begint het eerlijke antwoord bij de cold plate, loopt via snelkoppelingen en een rackverdeelstuk naar een CDU, en eindigt bij het installatiewater dat het gebouw via een droge koeler of koelmachine verlaat. Alle technische aspecten van de architectuur — eenfasig versus tweefasig, waterchemie, restwarmte van de lucht, dimensionering van de CDU — liggen stroomafwaarts van dat ene warmtepaden.
Zorg voor de juiste route, houd rekening met de warmte die de koelplaten niet afvoeren, en de rest van een ‘direct-to-chip’-implementatie is dan puur techniek in plaats van giswerk.