冷水と液冷のデータセンター:2つの層の実際の連携

改修会議は、まずいスタートを切った。設備担当のリーダーは、既存の冷水プラントを維持したいと考えていた。一方、IT部門の責任者は、新たに導入する60kWのAIトレーニング用ラック群に「液体冷却」を採用したいと主張していた。.

調達部門はどちらを購入すべきか尋ねた。施設エンジニアはついにホワイトボードに2つのループを描き、口に出して言わなければならなかったことを口にした。「これらは競合関係にあるわけではない」。現代のデータセンターでは、, 通常、冷水は施設の排熱経路として用いられますが、液体冷却とは、ITハードウェアのすぐ近くで熱を回収する方法を指します.

「冷水式と液体冷却式のデータセンター」という問いに対する率直な答えは、高密度のルームのほとんどがCDUを介して両方を併用しており、実際の設計作業は、どちらの層がどこで熱をもう一方の層に引き渡すかを決めることにある、ということです。.

要点

  • 冷水とラックレベルの水冷システムは、熱交換器の異なる側に配置されるものであり、調達判断の対立する側にあるわけではない。.
  • インターフェースポイント(通常は冷却水分配装置(CDU))こそが、設計上の議論が実際に交わされる場である。.
  • 技術冷却システムのループで温水運転を行うと、冷凍機設備が供給すべき水温が変化し、場合によってはより高い供給温度で運転されることになる。.
  • 改修工事では、冷水システムを置き換えることはほとんどなく、チップ直結型やリアドア型熱交換器用の二次ループを追加してシステムを拡張するのが一般的です。.
  • 「水冷式」の部屋であっても、残留空気の冷却が必要なくなることはほとんどありません。電源装置、NIC、スイッチには、依然としてCRAH(冷気還流システム)やインロー冷却が必要です。.

一言で言えば:これらのシステムはしばしば連携して機能します

これを二者択一の問題として捉えることは、不適切な改修を招く根本的な誤りである。冷水は施設側のユーティリティであり、チラープラント、一次・二次ポンプ、配管、そしてCRAHやファンウォールなどの末端ユニットから構成される。 現在のデータセンターにおける液体冷却とは、ITシャーシの内部またはその付近で熱を回収する方式を指します。具体的には、ダイレクト・トゥ・チップ・コールドプレート、リアドア熱交換器(RDHx)、あるいは液浸タンクなどが挙げられます。.

これら2つの層は熱交換器で合流します。一方には施設用水が流れ、もう一方にはIT機器に接触する技術冷却システム(TCS)ループが流れます。CDUはこれらを分離し、二次ループを調整して、IT側の水を清浄に保ち、圧力を制御し、厳密な温度範囲内に維持する役割を果たします。.

Vertivによる概要 データセンター向け水冷ソリューション 同じ区分を次のように整理できる。施設全体の冷却が熱負荷の大部分を担い、一方、液体冷却技術は、空気冷却では経済的に処理できないラックレベルの熱密度に対応する。.

つまり、重要なのは「どちらを買うか」ではありません。重要なのは、「自社のIT負荷にはどのような熱回収方式が必要か」、そして「自社の冷水プラントはそれをどのように供給するか」ということです。

冷水の限界とラックレベル液体冷却の始まり

これを最も明確に理解するには、チップから熱の伝播経路を逆方向にたどってみるといいでしょう。.

GPUダイは、コールドプレートに熱を放出します。コールドプレートは、ラック内部のマニホールドに接続されています。このマニホールドはCDUに接続されており、その位置はインロー型の場合もあれば、インラック型の場合もあります。.

CDU内部では、ろう付けプレート式またはシェル・アンド・チューブ式の熱交換器が、TCSループから施設用水ループへ熱を伝達します。その後、施設用水はその熱を冷水プラントへと運び、そこでチラー、冷却塔、またはドライクーラーによって熱が屋外へ放出されます。.

CDUの一次側までは、冷水システムの領域となります。ASHRAE Wクラスの施設用水、大口径の配管、ビルオートメーション制御、気候条件に基づくグリコール選定などが挙げられます。 CDUの二次側を過ぎると、そこはハイテク冷却の領域となります。より厳しい温度許容差、1桁のミクロン単位のろ過、殺菌剤の化学組成、ITグレードのフレキシブルホース、そして通電状態でのメンテナンスに対応したクイックディスコネクトなどが求められます。ASHRAEの『HVACアプリケーションハンドブック』の データ処理および電子オフィスエリア これらは、これらの水クラスの定義に関する標準的な参照資料です。.

リアドアの熱交換器はハイブリッド型である

RDHxユニットは、その境界線を曖昧にします。これらはラックの背面に設置され、施設内の水(多くの場合は直接、場合によってはCDUを経由して)を使用して、排気空気がラック列から排出される前に冷却します。ITシャーシ自体は、引き続き空冷方式のままです。.

つまり、RDHxは配管による「液体冷却」ですが、サーバーの視点からは「空冷」となります。これは、シャーシを開けることができないものの、ラックあたり30~50 kWの熱を吸収する必要があるような既存設備の改修に有用です。.

機能、温度、および改修への影響の観点から、2つの層を比較する

属性

冷水プラント(施設ループ)

ラックレベルの水冷システム(TCSループ)

主な仕事

チラーや冷却塔を介して建物の熱を屋外へ排出する

ITシャーシの外部または内部で熱を回収する

代表的な流体

水、または水・グリコール混合液

脱イオン水、処理水、または絶縁油

動作温度範囲

CRAHへの給水時は供給温度を低くし、CDUへの給水時は高くする

多くの場合、温水運転であり、供給水温は露点温度を大幅に上回る

この機器を所有している

チラー、冷却塔、一次ポンプ、建物配管、CRAH

冷却プレート、マニホールド、CDU二次側、RDHxコイル、浸漬タンク

ITハードウェアに関わっていますか?

いいえ — CRAHコイルまたはCDU一次側で停止します

はい — シャーシやチップに直接接触する

冗長性モデル

N+1台のチラー、ループ式配管、CRAHへの二重供給

各列に2つのCDU、冗長ポンプ、各ラックに隔離弁

改修の難易度

プラントの処理能力、配管の選定、バルブ配置

床貫通部、ラックマニホールド、漏洩検知、ITシステムのメンテナンス時間枠

この表は、「冷水を液体冷却に置き換える」という選択肢がほとんど検討されない理由も示しています。CDUから外部へ熱を排出するための設備は依然として必要となるからです。そして、その役割を担うのは、通常、すでに所有している冷水プラントなのです。.

既存のデータセンターにおける3つの導入パターン

改修工事のほとんどは、次の3つのパターンのいずれかに当てはまります。いずれも冷水プラントをそのまま残し、その上に液体層を追加するものです。.

パターン1 — 専用セカンダリループ上のRDHx。. 冷水本管に接続し、CDUまたはパッシブ熱交換器スキッドを設置し、各列に沿って二次ループを配管してリアドアのコイルまで引き込みます。空冷式サーバーはそのまま空冷方式を維持します。CRAHが室内の残りの部分と、スイッチおよびPDUの残留空冷を担当します。.

これは、ITへの影響が最も少ない選択肢です。.

パターン2 — 行内CDUを備えたダイ直結型。. 高密度ポッドごとに、列内CDUを設置します。施設からの給水はCDUの一次側へ供給され、サーバー内部のコールドプレートは二次側マニホールドに接続されます。「ダイレクト・トゥ・チップ」方式ではより高い供給水温が許容されるため、冷水プラントの運転温度は従来よりも高くなる可能性があります。.

Vertivのガイダンスについて CDUの設置と管理 このパターンを形成する設置、試運転、および監視に関する判断について解説します。.

パターン3 — ハイブリッド行、混合キャプチャ。. 1つの列には、GPU用のダイレクト・トゥ・チップ・ラック、レガシー2Uサーバー用のRDHxラック、およびストレージ用の空冷ラックが配置されています。セカンダリ温度の設定値が両方に適している場合、1台のイン・ローCDUでコールドプレートとRDHxコイルの両方に給冷を行うことができます。 CRAHは、空冷ラックおよび水冷ラックからの漏れ空気を引き続き処理します。.

パターン2においてチームが犯す本当の過ち

調達において最もよくあるミスは、CDUの選定を定格IT電力に基づいて行い、熱交換器のアプローチ温度を考慮し忘れることです。 施設からの給水が18 °CでCDUに入り、熱交換器のアプローチ温度差が3~4 Kの場合、二次ループでは、プラント供給水に近い入口温度を指定したコールドプレートベンダーの要件を満たすほど十分に冷たい水を供給できません。 解決策はCDUの大型化ではありません。施設側の設定温度を下げる(これによりチラーの効率を多少犠牲にする)か、温水運転に対応した定格のコールドプレートを選定するかのいずれかです。.

設計段階でこれを発見すれば、コストは抑えられます。しかし、据え付け後に発見した場合、配管のやり直しやCDUの交換が必要になります。.

ポンプシステムにはどのような変更があるか

ラックレベルの液体冷却を導入すると、ポンプの運用状況に予想外の変化が生じ、施設管理チームを戸惑わせることがある。.

冷水プラントには、新たな種類の負荷が加わることになる。CRAH(中央空調機)は負荷が一定で、広範囲に分散しており、圧力変動への耐性がある。一方、CDU(個別空調機)は負荷が集中しており、バルブ制御され、IT負荷の急激な増減に迅速に対応できる。.

均一なCRAHグリッドに合わせて選定された二次ポンプは、複数のCDUが同時に出力を調整する場合、新しい流量プロファイルに対応しきれない可能性があります。.

流量について:各CDUは、所定の温度差(デルタT)において所定のGPM(分あたりガロン)を吸引します。これは最初のポッドだけでなく、展開計画全体で合計する必要があります。揚程について:インロー型CDUへの長い二次配管に加え、ユニット内部の熱交換器による圧力損失により、既存の二次ポンプの特性曲線に適合した値を上回る可能性があります。.

冗長性について:TCS側では各CDU内に独自のポンプペアを備えていますが、施設側からの給油ラインについては、CDUごとに二重バルブ接続を設けない限り、依然として単一障害点となります。.

改修に伴う制約は、通常、まずこの箇所で顕在化します。十分な熱容量を持つプラントであっても、長い配管の末端にCDUを設置した途端、流量や揚程の制限に直面することがあります。.

熱負荷から逆算して建築様式を選ぶ

実務で通用する意思決定の流れは、一般的なRFPの書き方とは逆の方向に進む。.

まずはITロードマップから検討しましょう。12ヶ月後、24ヶ月後、36ヶ月後のラック当たりの消費電力はどの程度になるでしょうか?ラック当たり約20kW未満であれば、適切に設計された冷水式CRAH(冷水式空調機)による空調方式は依然として妥当な選択肢と言えます。 20~50 kWの範囲では、冷水二次ループを利用したRDHxが、業務への影響を最小限に抑えられる選択肢となることが多い。.

ラックあたり50kWを超える場合、特に高密度GPUトレーニングクラスターにおいては、CDUを用いたダイレクト・トゥ・チップ方式が標準となり、シャーシレベルでの液体冷却が許容される場合に限り、浸漬冷却がニッチな選択肢となる。.

次に、冷水プラントの点検を行います。このプラントは、ダイレクト・トゥ・チップ方式を効率的に運用できるほどの高温の冷水と、残留空冷用にCRAHに供給できるほど低温の冷水を供給できるでしょうか。多くのプラントでは可能ですが、制御システムの変更が必要です。.

場合によっては、メインヘッダーから分岐させた専用の常温ループが必要になる。.

次に、インターフェースの規模を決定します。CDUの台数、設置場所、デュアルパス方式の設備給水、および漏水検知ゾーンの区分は、すべてラック配置計画に基づいて決定されるものであり、一般的な「液体冷却」という項目から決まるものではありません。.

最後に、残留空気冷却を徹底的に抑制します。完全な水冷式ラックであっても、電源装置、ドライブ、および非水冷化されたコンポーネントを通じて、熱の10~20%を空気中に放出しています。CRAH(空調室)が廃止されるわけではありませんが、その役割は縮小していきます。.

よくある質問

冷水プラントを一切使わずに、ダイレクト・トゥ・チップ冷却を行うことは可能ですか?

ごく限られたケースに限られます。周囲の環境条件や温水への許容範囲が許す場合、ドライクーラーや断熱式クーラーをCDUに直接接続することができます。しかし、ほとんどの気候条件や負荷が混在する施設では、蓄熱、ネットワーク、および残留空気負荷のために冷水プラントが引き続き必要となるため、冷水プラントは維持されます。.

CDUを追加すれば、冷水供給温度を上げることができますか?

多くの場合、その通りですが、一概には言えません。 コールドプレートやRDHxコイルは、CRAHコイルよりも高い温度の施設用給水に耐えることができます。それでも同じループからCRAHに給水する場合、ループ温度は、それらのCRAHの空気側除湿および顕熱能力の要件によって制限されます。通常は、スプリットループまたは専用の中温ヘッダーを採用するのが一般的です。.

稼働中のホワイトスペースの上部で改修工事を行う場合、漏水リスクにはどのように対処すればよいでしょうか?

セカンダリループは、ラックごとおよび列ごとに遮断弁を設置してゾーン分けを行う。マニホールドの下およびすべてのクイックディスコネクト箇所に漏水検知ケーブルを設置する。配管経路は、万が一の故障時でも、通電中のラックの上ではなく、密閉された受け皿やトレンチ内に液体が落ちるよう計画する。IT機器への通電前に、水を使用して試運転を行う。.

リキッド・レトロフィット実施後、運用チームにはどのような変化が生じるのでしょうか?

水質管理は日常業務となります。TCSループでは、定期的なサンプリング、フィルター交換、殺菌剤の管理が必要となります。冷水プラントでも同様ですが、その頻度や水質管理の方法は異なります。また、交換用部品も、ベルトやベアリングから、CDUポンプカートリッジ、クイックディスコネクト、ホースアセンブリへと移行していきます。.

すでにダイレクト・トゥ・チップを採用する予定の場合、リアドア熱交換器はどこに配置すればよいでしょうか?

これらは、ダイレクト・トゥ・チップ(DTC)ラックからの排気熱を処理するのに有用であり、特にCRAHの気流が制限される高密度配置の列において効果的です。一部の運用事業者では、コールドプレートとRDHxの両方に同じイン・ローCDUから給気を行っており、これにより配管が簡素化され、ループの戻り温度のバランスが保たれます。.

結論

データセンターにおける「冷水システム対液体冷却」という二者択一の枠組みで判断しようとする人は、たいてい同じ建物の異なる2つのフロアを比較し、どちらを残すべきか考えているに過ぎない。 両方とも残すべきだ。冷水プラントは依然として施設の排熱の基幹であり、ラックレベルの液体冷却(ダイレクト・トゥ・チップ、RDHx、あるいは液浸冷却)は、高密度なIT負荷が発生する熱を、空気を通じても溶け出さずにその基幹へと送り込む手段である。.

インターフェースを設計し、実際の流量と揚程プロファイルに合わせてCDUとポンプのサイズを決定し、残留空気の冷却計画を立て、調達仕様書ではなくチップレベルの熱負荷に基づいてアーキテクチャを決定する。.

目次

お問い合わせ
上部へスクロール

お見積もりは無料です!