De vergadering over de renovatie begon slecht. De hoofdtechnicus wilde de bestaande koelwaterinstallatie behouden. De IT-directeur wilde "vloeistofkoeling" voor een nieuwe reeks AI-trainingssystemen van 60 kW.
De inkoopafdeling vroeg welke ze moesten aanschaffen. De installatiemonteur tekende uiteindelijk twee lussen op het whiteboard en sprak hardop uit wat iedereen al dacht: dit zijn geen concurrenten. In een modern datacenter, Gekoeld water wordt meestal gebruikt om warmte uit de installatie af te voeren, terwijl vloeistofkoeling verwijst naar de manier waarop warmte direct bij de IT-apparatuur wordt afgevoerd.
Het eerlijke antwoord op de vraag "gekoeld water versus vloeistofkoeling in datacenters" is dat in de meeste ruimtes met hoge dichtheid beide systemen worden gebruikt, aangesloten via een CDU, en dat het echte ontwerpwerk erin bestaat te bepalen waar de ene laag warmte aan de andere overdraagt.
Belangrijkste opmerkingen
- Gekoeld water en vloeistofkoeling op rackniveau bevinden zich aan weerszijden van een warmtewisselaar, niet aan weerszijden van een aankoopbeslissing.
- Het knooppunt — meestal een koelvloeistofverdeelunit (CDU) — is de plek waar de architectonische afstemming daadwerkelijk plaatsvindt.
- Door het gebruik van warm water in de koelcircuit van het technologische koelsysteem verandert de vereiste capaciteit van de koelwaterinstallatie, waardoor deze soms bij hogere toevoertemperaturen kan draaien.
- Bij renovaties wordt het gekoeldwatercircuit zelden vervangen; het wordt uitgebreid met secundaire circuits voor warmtewisselaars die rechtstreeks op de chip of aan de achterzijde zijn aangesloten.
- Restluchtkoeling verdwijnt vrijwel nooit, zelfs niet in "vloeistofgekoelde" ruimtes — voedingen, netwerkkaarten en switches hebben nog steeds CRAH-systemen of in-row-luchtkoeling nodig.
Het korte antwoord: deze systemen werken vaak samen
Dit als een zwart-witkeuze beschouwen is de categoriefout die tot slechte renovatieprojecten leidt. Gekoeld water is een voorziening aan de kant van het gebouw: een koelinstallatie, primaire en secundaire pompen, distributieleidingen en eindapparatuur zoals CRAH’s of ventilatorwanden. Vloeistofkoeling verwijst, in het huidige gebruik in datacenters, naar het afvoeren van warmte bij of in de IT-behuizing — direct-to-chip-koelplaten, warmtewisselaars aan de achterzijde (RDHx) of dompeltanks.
Deze twee stromen komen samen in een warmtewisselaar. Aan de ene kant stroomt het installatiewater; aan de andere kant de kringloop van het technologische koelsysteem (TCS) die in contact staat met de IT-apparatuur. De CDU zorgt ervoor dat deze stromen gescheiden blijven, regelt de secundaire kringloop en houdt het water aan de IT-zijde schoon, onder druk en binnen een nauwkeurig afgebakend temperatuurbereik.
Vertiv’s overzicht van opties voor vloeistofkoeling voor datacenters schetst hetzelfde beeld: de koeling van de faciliteit levert het grootste deel van de thermische capaciteit, terwijl vloeistoftechnologieën de warmtedichtheid op rackniveau afhandelen die met lucht niet op een rendabele manier kan worden afgevoerd.
De juiste vraag is dus niet welke je moet kopen. De vraag is: welke warmteopvangmethode is nodig voor mijn IT-installatie, en hoe voorziet mijn koelwaterinstallatie daarin?
Waar gekoeld water ophoudt en vloeistofkoeling op rackniveau begint
De duidelijkste manier om dit te zien, is door het warmtepad vanaf de chip in omgekeerde richting te volgen.
Een GPU-chip voert warmte af naar een koelplaat. De koelplaat is aangesloten op een verdeelstuk in het rack. Het verdeelstuk is verbonden met een CDU — soms in de rij, soms in het rack.
Binnen de CDU zorgt een warmtewisselaar met gelaste platen of een buis-en-mantelwarmtewisselaar ervoor dat warmte van het TCS-circuit wordt overgedragen naar het circuit voor het installatiewater. Het installatiewater voert die warmte vervolgens terug naar de koelwaterinstallatie, waar koelmachines, koeltorens of droge koelers de warmte naar buiten afvoeren.
Tot aan de primaire zijde van de CDU bevindt u zich in het gebied van gekoeld water: ASHRAE W-klasse installatiewater, grotere leidingdiameters, gebouwautomatisering, en door het klimaat bepaalde keuzes voor glycol. Voorbij de secundaire zijde van de CDU bevindt u zich in het domein van technologische koeling: strakkere temperatuurtoleranties, filtratie tot micronwaarden van één cijfer, biocide-chemie, flexibele slangen van IT-kwaliteit en snelkoppelingen die geschikt zijn voor onderhoud onder spanning. Het hoofdstuk in het HVAC Applications Handbook van ASHRAE over ruimtes voor gegevensverwerking en elektronisch kantoorbeheer is de standaardreferentie voor deze definities van waterklassen.
Warmtewisselaars in de achterdeuren vormen het hybride geval
RDHx-units maken het onderscheid vaag. Ze worden aan de achterkant van een rack gemonteerd en gebruiken leidingwater (vaak rechtstreeks, soms via een CDU) om de afvoerlucht te koelen voordat deze de rij verlaat. De IT-behuizing zelf blijft luchtgekoeld.
Een RDHx zorgt dus via leidingen voor "vloeistofkoeling", maar vanuit het perspectief van de server is er sprake van "luchtkoeling" — handig bij achteraf inbouw waarbij je de behuizing niet kunt openen, maar wel 30–50 kW per rack moet afvoeren.
Vergelijk de twee lagen op basis van functie, temperatuur en gevolgen voor renovatie
Kenmerk | Koudwaterinstallatie (installatielus) | Vloeistofkoeling op rackniveau (TCS-lus) |
|---|---|---|
Hoofdfunctie | Voorkom dat gebouwwarmte via koelmachines/koeltorens naar buiten wordt afgevoerd | Warmte opvangen op of in de IT-behuizing |
Typische vloeistof | Water of water/glycol | Gedeïoniseerd water, gezuiverd water of diëlektrische vloeistof |
Bedrijfstemperatuurbereik | Lagere toevoertemperaturen bij het voeden van CRAH’s; hogere temperaturen bij het voeden van CDU’s | Vaak gebruik in warm water, toevoertemperaturen ruim boven het dauwpunt |
Is eigenaar van deze apparatuur | Koelaggregaten, koeltorens, hoofdpompen, leidingwerk in gebouwen, CRAH’s | Koelplaten, verdeelstukken, secundaire zijde van de CDU, RDHx-spiraalbuizen, dompelbakken |
Heeft het te maken met IT-hardware? | Nee — stopt bij de CRAH-spiraal of de primaire CDU | Ja — direct contact met het chassis of de chip |
Redundantiemodel | N+1-koelmachines, distributie via een ringleiding, dubbele toevoer naar CRAH’s | Twee CDU’s per rij, dubbele pompen, afsluitkleppen per rack |
Moeilijkheidsgraad van de retrofit | Capaciteit van de installatie, dimensionering van leidingen, afsluiters | Vloerdoorvoeren, verdeelstukken voor rekken, lekdetectie, onderhoudsvensters voor IT-systemen |
Uit de tabel blijkt ook waarom "het vervangen van gekoeld water door vloeistofkoeling" zelden een optie is. Je hebt immers nog steeds iets nodig om de warmte van de CDU’s naar buiten af te voeren — en dat is meestal de koelwaterinstallatie die je al hebt.
Drie implementatiemodellen voor bestaande datacenters
De meeste renovaties vallen onder een van de volgende drie modellen. Bij elk daarvan blijft de koelwaterinstallatie behouden en wordt er een vloeistoflaag bovenop aangebracht.
Patroon 1 — RDHx op een aparte secundaire lus. Sluit de koudwaterleiding aan, voeg een CDU of een passieve warmtewisselaarunit toe en leid een secundaire leiding langs elke rij naar de koelelementen bij de achterdeur. Luchtgekoelde servers blijven luchtgekoeld. CRAH’s zorgen voor de rest van de ruimte en de resterende luchtkoeling voor switches en PDU’s.
Dit is de optie die de minste verstoring van de IT-systemen veroorzaakt.
Patroon 2 — Direct-to-chip met CDU’s in de rij. Installeer in-row CDU’s per pod met hoge dichtheid. Het water van de faciliteit wordt naar het primaire circuit van de CDU geleid; de koelplaten in de servers worden aangesloten op het secundaire verdeelstuk. De koelwaterinstallatie kan op een hogere temperatuur draaien dan voorheen, omdat de ‘direct-to-chip’-technologie hogere toevoertemperaturen toelaat.
Vertiv’s richtlijnen inzake het installeren en beheren van CDU's gaat in op de beslissingen inzake plaatsing, inbedrijfstelling en monitoring die aan de basis liggen van dit patroon.
Patroon 3 — Hybride rij, gemengde opname. Eén enkele rij bevat direct-to-chip-racks voor GPU’s, RDHx-racks voor oudere 2U-servers en luchtgekoelde racks voor opslag. Eén CDU per rij kan zowel de cold plates als de RDHx-spiraalelementen bedienen, mits het secundaire temperatuurinstelpunt voor beide geschikt is. CRAH's blijven de luchtgekoelde racks en eventuele leklucht van de vloeistofgekoelde racks verwerken.
De echte fout die teams maken in patroon 2
De meest voorkomende fout bij de aanschaf is dat de CDU wordt gedimensioneerd op basis van het nominale IT-vermogen, waarbij de temperatuurverschil van de warmtewisselaar over het hoofd wordt gezien. Als het water uit de installatie de CDU binnenkomt bij 18 °C en de warmtewisselaar een temperatuurverschil van 3–4 K heeft, kan de secundaire kringloop geen water leveren dat koud genoeg is voor een leverancier van koelplaten die een inlaattemperatuur heeft gespecificeerd die dicht bij de toevoertemperatuur van de installatie ligt. De oplossing is niet een grotere CDU — het is ofwel het verlagen van het instelpunt aan de kant van de faciliteit (en het opgeven van enige efficiëntie van de koelmachine) of het selecteren van koelplaten die geschikt zijn voor warmwatergebruik.
Dit in de ontwerpfase opmerken kost weinig. Als het pas na de ingebruikname wordt opgemerkt, moet de leidingen worden aangepast of moeten de CDU’s worden vervangen.
Welke veranderingen zijn er in het pompsysteem?
De toevoeging van vloeistofkoeling op rackniveau brengt het pompen op een manier in de war die facilitaire teams overrompelt.
De koelwaterinstallatie krijgt te maken met een nieuw soort belasting. CRAH’s leveren een constante belasting, zijn wijdverspreid en zijn bestand tegen drukschommelingen. CDU’s zijn geconcentreerd, worden via kleppen geregeld en kunnen bij een stijging van de IT-belasting zeer snel opstarten.
Secundaire pompen die zijn gedimensioneerd voor een gelijkmatig CRAH-raster, kunnen moeite hebben met het nieuwe stromingsprofiel wanneer meerdere CDU’s tegelijkertijd moduleren.
Wat betreft het debiet: elke CDU verbruikt een bepaald aantal GPM bij een bepaalde delta-T. Houd hiermee rekening voor het gehele implementatieplan, niet alleen voor de eerste pod. Wat betreft de opvoerhoogte: lange secundaire leidingen naar de in-row CDU’s, plus de drukval in de warmtewisselaar binnen de unit, kunnen hoger uitvallen dan waarvoor de bestaande secundaire pompen zijn afgestemd.
Wat betreft redundantie: de TCS-zijde beschikt over een eigen pompenpaar in elke CDU, maar de toevoer vanaf de faciliteit blijft een enkel storingspunt, tenzij je per CDU aansluitingen met dubbele afsluitkleppen aanbrengt.
Beperkingen bij het achteraf inbouwen komen hier meestal als eerste aan het licht. Een installatie met voldoende thermisch vermogen kan toch al snel te maken krijgen met beperkingen op het gebied van debiet of opvoerhoogte zodra er CDU’s aan het uiteinde van een lange leiding worden geplaatst.
Kies de architectuur, uitgaande van de warmtebelasting
De besluitvormingsprocedure die in de praktijk werkt, verloopt precies andersom dan hoe de meeste offerteaanvragen zijn opgesteld.
Begin met de IT-roadmap: wat is het stroomverbruik per rack over 12, 24 en 36 maanden? Bij een verbruik van minder dan ongeveer 20 kW per rack is een goed ontworpen luchtkoelsysteem met CRAH’s op een koelwatercircuit nog steeds een verdedigbare keuze. Tussen 20 en 50 kW is RDHx op een secundaire koelwaterlus vaak de optie met de minste verstoring.
Bij meer dan 50 kW per rack — en zeker bij dichtbevolkte GPU-trainingsclusters — wordt ‘direct-to-chip’ met CDU’s de standaardoplossing, waarbij onderdompeling een nicheoptie blijft voor gevallen waarin vloeistofkoeling op chassisniveau haalbaar is.
Controleer vervolgens de koelwaterinstallatie. Kan deze water leveren dat warm genoeg is om directe chipkoeling efficiënt te maken, en koud genoeg om de CRAH’s te blijven voeden voor aanvullende luchtkoeling? Veel installaties kunnen dat, maar alleen als er aanpassingen in de regeling worden doorgevoerd.
Sommige hebben een aparte middentemperatuurlus nodig die van de hoofdleiding is afgesplitst.
Bepaal vervolgens de afmetingen van de aansluiting. Het aantal CDU’s, de locatie, de toevoerleidingen met dubbele route en de indeling van de lekdetectiezones vloeien allemaal voort uit het rackplan, en niet uit een algemene post voor "vloeistofkoeling".
Zorg er ten slotte voor dat de restluchtkoeling goed wordt afgeschermd. Zelfs volledig vloeistofgekoelde racks geven nog steeds 10–20% van hun warmte af aan de lucht via voedingen, schijven en niet-gekoelde componenten. De CRAH’s verdwijnen niet helemaal, maar hun rol wordt steeds kleiner.
FAQs
Kan ik direct-op-chip-koeling toepassen zonder dat er een koelwaterinstallatie aanwezig is?
Alleen in beperkte gevallen. Een droge koeler of adiabatische koeler kan de CDU’s rechtstreeks voeden wanneer de omgevingsomstandigheden en de tolerantie voor warm water dit toelaten. In de meeste klimaten en in de meeste gebouwen met gemengde belasting blijft de koelwaterinstallatie in bedrijf, omdat de opslag, het netwerk en de resterende luchtbelasting deze nog steeds nodig hebben.
Kan ik door het toevoegen van CDU’s de toevoertemperatuur van het gekoelde water verhogen?
Vaak wel, ja — maar niet altijd. Koelplaten en RDHx-spiralen verdragen warmer leidingwater dan CRAH-spiralen. Als u CRAH's nog steeds vanuit dezelfde kringloop voedt, wordt de kringlooptemperatuur beperkt door de luchtzijdige ontvochtigings- en sensibele capaciteitsbehoeften van die CRAH's. Een gesplitste kringloop of een speciale middentemperatuurverdeler is de gebruikelijke oplossing.
Hoe ga ik om met het risico op lekkage bij een renovatie boven een ruimte die in gebruik is?
Verdeel de secundaire kringloop in zones met afsluitkleppen per rack en per rij. Breng een lekdetectiekabel aan onder de verdeelstukken en bij elke snelkoppeling. Plan de kabelgeleiding zo dat eventuele lekkages in een opvangbak of -goot terechtkomen, en niet op een rack dat onder spanning staat. Voer de inbedrijfstelling uit met water voordat de IT-apparatuur onder spanning wordt gezet.
Wat verandert er voor het operationele team na een liquid retrofit?
Waterchemie wordt een dagelijkse aangelegenheid. Het TCS-circuit vereist regelmatige bemonstering, filtervervanging en het beheer van biociden — dat geldt ook voor de koelwaterinstallatie, maar met een ander ritme en andere chemische samenstelling. Bij reserveonderdelen verschuift de aandacht van riemen en lagers naar CDU-pompcartridges, snelkoppelingen en slangassemblages.
Waar passen warmtewisselaars in de achterdeur als ik al van plan ben om direct-to-chip te gebruiken?
Ze zijn handig voor het afvoeren van de restwarmte van de lucht uit direct-to-chip-racks, vooral in dicht op elkaar geplaatste rijen waar de luchtstroom van de CRAH beperkt is. Sommige beheerders voeden zowel de koelplaten als de RDHx aan via dezelfde CDU in de rij, wat de leidingen vereenvoudigt en de retourtemperaturen van de kringloop in evenwicht houdt.
Conclusie
Wie de keuze in een datacenter ziet als een afweging tussen gekoeld water en vloeistofkoeling, kijkt meestal naar twee verschillende verdiepingen van hetzelfde gebouw en vraagt zich af welke verdieping hij moet behouden. Houd ze allebei. De koelwaterinstallatie blijft de ruggengraat van de warmteafvoer van de faciliteit; vloeistofkoeling op rackniveau — direct-to-chip, RDHx of onderdompeling — is de manier waarop de meest compacte IT-belasting hun warmte in die ruggengraat afvoert zonder de lucht te overbelasten.
Ontwerp de interface, dimensionneer de CDU’s en pompen op basis van het werkelijke debiet- en opvoerhoogteprofiel, houd rekening met de afvoer van restlucht en laat de warmtebelasting op chipniveau – en niet het bestelformulier – bepalend zijn voor de architectuur.