Что такое насосы для охлаждения центров обработки данных?

Насосы для охлаждения центров обработки данных, обслуживающие контуры охлажденной воды и жидкостного охлаждения

Центры обработки данных охлаждаются не с помощью одного насоса. Их охлаждение обеспечивается несколькими группами насосов, работающими последовательно, каждая из которых отводит тепло через отдельную границу теплового контура: от сервера — в помещение, оттуда — в чиллер и, наконец, наружу. Чтобы понять принцип работы насосов охлаждения центров обработки данных, необходимо сначала разобраться в этих границах, а затем подобрать насос, соответствующий контуру, который он обслуживает.

Не все объекты используют все группы. На небольшом периферийном объекте с моноблочными агрегатами DX технологических насосов может практически не быть, в то время как на гипермасштабном кампусе с залами, оснащёнными графическими процессорами с жидкостным охлаждением, могут параллельно работать четыре или пять различных насосных систем. В приведённых ниже разделах показано, где применяются насосы, чем отличаются их функции и что меняется при переходе стоек с воздушного охлаждения на жидкостное.

Основные выводы

• Система охлаждения центра обработки данных представляет собой цепочку контуров, и для каждого контура, как правило, требуется собственная группа насосов, рассчитанная с учетом расхода, напора и температуры данного контура.
• К наиболее распространенным группам относятся насосы для охлажденной воды, насосы для воды конденсатора, насосы блока распределения охлаждающей жидкости (CDU) и вторичного контура, а также насосы для отвода тепла или экономайзера.
• Жидкостное охлаждение на уровне стойки (с прямым подачей на микросхемы или погружное) не заменяет насосы объекта; оно добавляет вторичный контур с небольшим повышением температуры, который по-прежнему отводит тепло в систему водоснабжения объекта (FWS).
• Выбор насоса зависит от расхода, общего динамического напора, доступного значения NPSH, качества воды и способа управления контуром, а не только от номинальной производительности, указанной на заводской табличке.
• Надежность обеспечивается за счет резервирования (N+1 или 2N), управления с помощью частотно-регулируемого привода (ЧРП), правильного химического состава очищенной воды, а также насосов, техническое обслуживание которых можно проводить без отключения нагрузки.

Роль насосов в цепочке охлаждения центра обработки данных

Тепло в центре обработки данных отводится наружу через серию контуров. Серверы отводят тепло в воздух помещения или на холодную пластину. Затем это тепло улавливается змеевиком системы CRAH или теплообменником CDU и передается в контур охлажденной воды.

Контур охлажденной воды транспортирует воду к испарителю чиллера. Чиллер отводит тепло в водный контур конденсатора, который направляет его в градирню, сухой охладитель или адиабатическую установку, где тепло отводится в окружающий воздух. В режиме экономайзера отдельные звенья этой цепочки могут быть обойдены, если позволяют условия на улице.

Каждый переход между контурами представляет собой замкнутый или разомкнутый гидравлический контур, и для каждого контура требуется насосная установка, рассчитанная с учетом его рабочих нагрузок. Компания Grundfos Введение в системы охлаждения центров обработки данных проходит по этому многоуровневому представлению, а ASHRAE Глава «Справочник по системам отопления, вентиляции и кондиционирования воздуха в центрах обработки данных» рассматривает каждый цикл как отдельную проектную задачу. В приведенной ниже таблице, построенной по ролям, представлены типичные группировки.

Насосная группа	Цикл выполнен	Открытый или закрытый	Типичные служебные обязанности	Источник тепла, который он видит
Первичный контур охлажденной воды	Контур испарителя чиллера	Закрыто	Постоянный или практически постоянный расход при низком напоре	Выписки из отделений интенсивной терапии (CRAH) / отделений интенсивного наблюдения (CDU)
Вторичный контур охлажденной воды	Распределение по центрам реанимации и интенсивной терапии (CRAH) и отделениям интенсивной терапии (CDU)	Закрыто	Переменный расход, напор от умеренного до высокого	Агрегаты охлаждения помещений и стоек
Вода в конденсаторе	Конденсатор чиллера — к градирне	Открытые (башни)	Высокий расход, умеренный напор при статическом подъеме	Конденсатор чиллера
Средняя школа CDU / TCS	Система охлаждения на уровне стойки	Закрыто	Низкий напор, небольшой перепад температур (ΔT), очищенная вода	Холодильные пластины или погружные ванны
Отвод тепла / экономайзер	Сухие охладители, адиабатические установки, змеевики для естественного охлаждения	Закрыто или открыто	Переменная, зависит от погодных условий	Наружный теплообменник

Основные типы насосов для охлаждения центров обработки данных

Насосы для охлажденной воды

Насосы для охлажденной воды перекачивают холодную воду из холодильной установки к охлаждающим агрегатам в «белом пространстве» и возвращают обратно более теплую воду. На большинстве крупных объектов этот процесс разбит на два этапа.

Основные насосы охлажденной воды обслуживают испарители чиллеров. Как правило, они работают с постоянной скоростью или имеют узкий диапазон регулирования, поскольку для поддержания эффективности чиллеров и предотвращения отключений из-за замерзания необходим предсказуемый расход в испарителе. Требования к напору невелики, так как контур короткий, а основным элементом трения является корпус чиллера.

Вторичные насосы охлажденной воды прокачивают воду по распределительным коллекторам к первичным контурам систем CRAH, CRAC и CDU. Нагрузка в этом контуре изменяется: ряд, заполненный наполовину, потребляет меньший расход, чем тот, на котором выполняются задачи обучения искусственного интеллекта на полной мощности. Вторичные насосы почти всегда оснащены частотно-регулируемыми приводами (VFD) и управляются по перепаду давления на гидравлически удаленном агрегате, благодаря чему расход соответствует фактической потребности в охлаждении.

Общий динамический напор здесь выше, чем в первичном контуре, из-за больших протяженностей трубопроводов, регулирующих клапанов и потерь давления в теплообменниках.

В схеме с первичным и вторичным контурами (с развязкой) оба контура изолированы общей трубой, благодаря чему переменный расход во вторичном контуре не приводит к дестабилизации работы чиллеров. В некоторых более новых конструкциях используется переменный расход в первичном контуре с байпасом минимального расхода, что позволяет отказаться от одной группы насосов, но требует более точного регулирования.

Водяные насосы конденсатора

Водяные насосы конденсатора перекачивают теплую воду из конденсаторов чиллера в градирни и обратно. Как правило, это открытая система: вода в бассейне градирни находится под воздействием атмосферы, поэтому насосам приходится преодолевать как потери на трение, так и статический напор от уровня воды в бассейне до распылительных форсунок или распределительной площадки.

Поскольку контур является открытым, два проектных параметра имеют большее значение, чем в закрытых системах. Во-первых, доступный NPSH должен значительно превышать требуемый NPSH, особенно когда градирни расположены лишь немного выше насосов. Во-вторых, качество воды ухудшается: при испарении воды в ней концентрируются пыль из воздуха, биологические отложения и растворенные твердые вещества, поэтому для насосов требуются коррозионно-стойкие материалы, а контур нуждается в фильтрации и химической обработке.

ASHRAE Глава «Системы конденсатной воды» в ней подробно рассматриваются вопросы подбора размеров, материалов и очистки воды для этих систем.

Водяные насосы конденсатора, как правило, представляют собой центробежные насосы с торцевым всасыванием или с разъемным корпусом, рассчитанные на обеспечение высокого расхода при умеренном напоре. Часто они используются в многоступенчатой конфигурации: по одному насосу на каждый работающий чиллер плюс как минимум один резервный.

Насосы CDU и насосы вторичного контура

Когда в стойках используется жидкостное охлаждение «прямо на чип» или погружное охлаждение, тепло не выходит из стойки в виде теплого воздуха, а выводится в виде теплой воды или диэлектрической жидкости. Блок распределения хладагента расположен между системой водоснабжения объекта (FWS) и технологической системой охлаждения (TCS). Внутри блока распределения теплоносителя (CDU) паяный пластинчатый или кожухотрубный теплообменник передает тепло от TCS в FWS, а специальный насосный агрегат обеспечивает циркуляцию на стороне TCS.

Эти насосы отличаются по конструкции от насосов, используемых на производственных объектах. Производительность на киловатт высокая, но напор низкий, поскольку трубопроводы системы TCS короткие, а холодные пластины имеют расчетные потери давления. Перепад температур (ΔT) невелик (часто 5–10 °C), поэтому любое снижение расхода немедленно приводит к повышению температуры микросхем. Химический состав воды строго контролируется: используется деионизированная или очищенная вода, иногда с добавлением пропиленгликоля, фильтрованная до размера частиц в однозначных микронах для защиты микроканальных охлаждающих пластин.

Наличие резервных насосов внутри блока кондиционирования воздуха (CDU) является стандартной конфигурацией; как правило, они настроены таким образом, что при выходе из строя одного насоса или его техническом обслуживании второй насос может полностью взять на себя нагрузку. Регулировка скорости вращения позволяет адаптировать расход системы TCS к нагрузке ИТ-оборудования и поддерживать ΔT в пределах расчетного диапазона.

Насосы для отвода тепла и экономайзера

Не всё тепло отводится через чиллер. На многих объектах используются водяные экономайзеры, сухие охладители или адиабатические охладители для отвода тепла непосредственно в окружающую среду, когда это позволяют температуры по влажному или сухому термометру. Эти контуры имеют собственные группы насосов.

В экономайзере с водяным контуром обычно используется пластинчатый теплообменник, работающий параллельно с холодильной установкой. Когда температура наружного воздуха достаточно низкая, вода из конденсатора (или отдельный контур с гликолем) охлаждает контур охлажденной воды без запуска компрессоров. Насосы конденсаторной воды могут продолжать выполнять эту функцию, либо может быть установлен специальный насос экономайзера.

Контуры сухого охладителя и адиабатического охладителя представляют собой замкнутые гликолевые контуры с собственными насосами, рассчитанными на самый неблагоприятный день по условиям окружающей среды. Поскольку эти насосы могут работать круглый год при переменных нагрузках, управление с помощью частотно-регулируемого привода (ЧРП) и ступенчатая работа являются стандартными функциями. В каталогах Grundfos представлен ассортимент насосы для центров обработки данных обеспечивая как подачу охлажденной воды, так и отвод тепла.

Как меняются требования к насосам при использовании жидкостного охлаждения

К насосам в залах с воздушным и жидкостным охлаждением предъявляются совершенно разные требования. В помещениях с воздушным охлаждением системы CRAH работают на охлажденной воде с температурой подачи примерно 7–12 °C, и при выборе насосов основное внимание уделяется длинным распределительным трассам, ведущим к множеству небольших теплообменников. Перепад температур (ΔT) через теплообменник обычно составляет 5–7 °C, поэтому расход на киловатт высокий.

Жидкостное охлаждение меняет ситуацию сразу по нескольким параметрам:

• Более высокие температуры подачи. Системы с прямым охлаждением чипов и иммерсионные системы часто допускают температуру подачи FWS в диапазоне 25–40 °C. Это означает, что чиллеры могут работать с частичной нагрузкой или вообще отключаться в пользу сухих охладителей, в результате чего меняется распределение нагрузки между группами насосов.
• Две петли, расположенные одна над другой, вместо одной. Контур TCS внутри стеллажа и контур FWS между CDU и установкой отвода тепла требуют установки отдельных насосов с совершенно разными техническими характеристиками.
• Более точный контроль расхода. Холодные пластины имеют узкие рабочие диапазоны. Насос, который «скачет» или колеблется при работе с плохо настроенным преобразователем частоты, будет проявляться в виде шума температуры чипа задолго до того, как это станет заметно в системе автоматизации здания.
• Более чистая вода, более строгие требования к материалам. Насосы, устанавливаемые на стороне TCS, работают с очищенной водой с низкой проводимостью. Обычно используются уплотнения из нержавеющей стали, инженерных пластиков и EPDM; бронза или чугун могут оказаться неприемлемыми.

На объекте, где к существующей установке с воздушным охлаждением добавляется зал с жидкостным охлаждением, насосы для охлажденной воды, как правило, не заменяются. Устанавливаются насосы для блоков конденсации (CDU) и, возможно, добавляется отдельный контур отвода тепла, в то время как исходная система охлажденной воды продолжает обслуживать часть установки с воздушным охлаждением.

Важные факторы при выборе насоса

Расчет мощности охлаждающего насоса для центра обработки данных — это не просто выбор кривой, проходящей через расчетную точку. К факторам, определяющим долгосрочную производительность, относятся:

• Скорость потока при расчетной нагрузке, а также с учетом реального диапазона регулирования мощности в связи с ежедневными колебаниями нагрузки на ИТ-оборудование.
• Общий динамический напор, с разбивкой на статическую подъемную силу (для систем с открытым контуром), потери на трение в трубах и фитингах, а также падение давления в змеевиках, теплообменниках и регулирующих клапанах.
• Доступный NPSH по сравнению с требуемым, в частности для водяных насосов конденсатора, забирающих воду из бассейнов градирен, а также для любых насосов, перекачивающих теплую воду, близкую к состоянию насыщения.
• Эффективность при частичной нагрузке, а не только в рабочей точке. Большинство насосов большую часть времени работают при расходности 40–70 % от расчетного значения.
• Совместимость с частотно-регулируемым приводом и стратегия управления, в том числе, осуществляется ли управление насосом по перепаду давления, ΔT или по гибридной схеме.
• Материалы и химия воды в зависимости от того, является ли контур открытым или замкнутым, прошедшим обработку или нет, содержит ли он гликоль или чистую воду.
• Размерность и удобство обслуживания, поскольку насосы, которые невозможно отключить и отремонтировать без отключения нагрузки, в конечном итоге приведут к необходимости планового отключения.

Отдельно следует остановиться на открытых и закрытых гидравлических системах. В открытых контурах (водяной конденсатор, некоторые контуры отвода тепла) возникают проблемы, связанные с кислородом, биологическим ростом и статическим напором. Закрытые контуры (охлажденная вода, системы TCS) менее изнашивают материалы, но любое попадание воздуха приводит к кавитации и коррозии.

Надежность, средства управления и техническое обслуживание

Системы насосов в центрах обработки данных спроектированы с учетом того, что выход из строя любого отдельного компонента не приведет к отключению нагрузки. Резервирование по схеме N+1 является минимальным требованием для большинства корпоративных объектов; резервирование по схеме 2N или распределенное резервирование широко распространено на уровне гипермасштабных центров обработки данных. Насосы соединены параллельно с помощью запорных клапанов, обратных клапанов и коллекторов, что позволяет отключить один агрегат для технического обслуживания, пока его функции выполняет резервный агрегат.

Система управления обеспечивает взаимодействие насосов с остальными узлами установки. Работа вторичных насосов охлажденной воды регулируется в зависимости от дистанционного перепада давления. Работа насосов CDU регулируется в зависимости от ΔT системы TCS или температуры на входе в холодную пластину.

Поэтапная работа водяных насосов конденсатора с чиллерами и ячейками градирни. Правильно настроенная последовательность работы позволяет избежать работы насосов в предельных положениях и в режимах с низким расходом, при которых подшипники и уплотнения быстро изнашиваются.

К мерам по техническому обслуживанию, окупающимся в течение всего срока эксплуатации объекта, относятся: поддержание химического состава воды в пределах, установленных техническими требованиями программы очистки; своевременная замена корзин сетчатых фильтров и фильтров; мониторинг вибрации и температуры подшипников для раннего обнаружения неисправностей; а также чередование режимов работы «ведущий-ведомый» у параллельно установленных насосов с целью равномерного распределения износа.

Вопросы и ответы

Нужны ли во всех центрах обработки данных насосы для охлажденной воды?

Нет. На небольших объектах или объектах, расположенных на периферии, где используются моноблочные кондиционеры типа DX или сплит-системы, технологические насосы, за исключением небольшого конденсатного насоса, могут отсутствовать. Насосы для охлажденной воды устанавливаются только в том случае, если обоснована необходимость создания центральной установки.

Чем отличаются первичный и вторичный насосы для охлажденной воды?

Первичные насосы обеспечивают подачу жидкости в испарители чиллеров с практически постоянным расходом и умеренным напором. Вторичные насосы обеспечивают распределение жидкости по системам CRAH и CDU с переменным расходом и более высоким напором; они почти всегда оснащены частотно-регулируемыми приводами (VFD).

На каком этапе технологической цепочки используются насосы CDU?

Внутри блока распределения хладагента, со стороны технологической системы охлаждения (TCS). Они обеспечивают циркуляцию очищенной воды или хладагента между теплообменником CDU и холодными пластинами или погружными резервуарами, в то время как система технической воды (FWS) с другой стороны теплообменника обслуживается насосами охлажденной воды или насосами отвода тепла.

Заменяет ли жидкостное охлаждение насосы для охлажденной воды?

Нет. Жидкостное охлаждение предполагает добавление нового вторичного контура и собственных насосов; оно не избавляет от необходимости отводить тепло из здания. Во многих системах с жидкостным охлаждением по-прежнему используется контур технической воды с обычными насосами, хотя более высокие температуры подаваемой воды могут привести к переносу нагрузки с чиллеров на сухие охладители.

Какова наиболее распространённая причина преждевременного выхода из строя насоса в центре обработки данных?

Проблемы, связанные с рабочей средой: неправильный химический состав, загрязненные сетчатые фильтры или попадание воздуха, приводящее к кавитации и повреждению уплотнений. Механические неисправности, как правило, обусловлены условиями эксплуатации, выходящими за пределы предусмотренного диапазона работы насоса.

Заключение

Насосы для охлаждения центров обработки данных лучше всего рассматривать как набор оборудования, выполняющего конкретные функции, а не как единую категорию продукции. Насосы для охлажденной воды отводят тепло из серверного помещения к чиллерам. Насосы для конденсатной воды перекачивают воду из чиллеров в градирни.

Насосы CDU и TCS обслуживают короткие контуры с низким напором и высокими требованиями к чистоте внутри стоек с жидкостным охлаждением. Насосы отвода тепла и экономайзера подключают установку к наружному воздуху, когда это позволяют условия. Выбор для каждой группы параметров — расхода, напора, качества воды и стратегии управления — с учётом особенностей её контура, а также обеспечение этого выбора разумной резервированностью и надлежащими методами технического обслуживания — вот что позволяет сохранить целостность тепловой цепи от микросхемы до атмосферы.