Выбор насосов с жидкостным охлаждением на базе искусственного интеллекта для центров обработки данных
Команда технического обслуживания устанавливает два ряда стоек с графическими процессорами в существующем зале. Плотность мощности стоек резко возрастает с 12 кВт (с воздушным охлаждением) до 80 кВт (с жидкостным охлаждением непосредственно на чипе). Подрядчик по механическим работам выбирает из каталога насос, который соответствует номинальному расходу, указанному в техническом паспорте центрального блока охлаждения (CDU), подключает его к вторичному контуру и считает работу завершённой.
Через шесть недель в самом удаленном коллекторе контура наблюдается недостаток расхода, насос работает на пределе мощности в конце своей кривой, а температура на входе повышается при каждом включении второго CDU.
Выбор насоса исключительно на основании номинального расхода — самая распространенная ошибка в проектах жидкостного охлаждения с использованием искусственного интеллекта. Насос не обеспечивает каталожный расход в пустоту; он обеспечивает тот расход, который допускает кривая системы при создаваемом им напоре. Это означает, что рабочая точка должна рассчитываться с учётом всего гидравлического контура — холодных пластин, коллекторов, шлангов, фильтров, клапанов, теплообменников и трубопроводов — в реальном рабочем диапазоне, а не только в расчётной точке в солнечный день.
В данном руководстве подробно описан метод выбора, который оправдывает себя на этапе ввода в эксплуатацию.
Основные выводы
- Рабочая точка определяется точкой пересечения кривой насоса и кривой системы, а не только на основе данных таблицы тепловой нагрузки.
- Контуры охлаждения систем искусственного интеллекта (AI) обычно имеют многоуровневую структуру: система технической воды (FWS), технологическая система охлаждения (TCS) или вторичный контур, а также блоки охлаждения (CDU), которые изолируют контур прямого охлаждения микросхем на уровне стоек.
- Тип насоса, материалы и уплотнения должны соответствовать рабочей жидкости — обработанная вода, смеси на основе пропиленгликоля или диэлектрические жидкости ведут себя по-разному.
- В контурах с искусственным интеллектом (AI) в стандартной комплектации предусмотрены резервирование по схеме «N+1» и управление с помощью частотно-регулируемого привода (VFD); при расчете мощности необходимо обеспечить работу каждого насоса вблизи точки максимального КПД (BEP) во всем диапазоне нагрузок.
- Значение NPSHa должно с запасом превышать значение NPSHr, а рабочий диапазон должен обеспечивать соблюдение минимального непрерывного расхода насоса.
Перед выбором насоса необходимо составить схему контура охлаждения
Системы жидкостного охлаждения AI редко используют только один гидравлический контур. Типичная архитектура включает три таких контура:
- Система водоснабжения объекта (FWS): открытый или закрытый контур охлаждающей воды, соединяющий чиллеры, градирни или сухие охладители, а также пластинчатые теплообменники. В открытых контурах с градирнями возникают проблемы, связанные с попаданием растворенного кислорода, развитием микроорганизмов и образованием накипи, которые подробно рассмотрены в Глава «Системы водоснабжения конденсаторов» ASHRAE.
- Технологическая система охлаждения (TCS): закрытый вторичный контур, по которому между теплообменником и первичной стороной CDU циркулирует очищенная вода или смесь воды и гликоля. Замкнутые контуры характеризуются предсказуемым химическим составом и меньшим образованием отложений.
- Вторичная петля CDU / петля стойки: Блок распределения охлаждающей жидкости гидравлически изолирует этот контур от системы TCS и через коллекторы стойки подает строго дозированную охлаждающую жидкость к холодным пластинам с прямым контактом с микросхемами. Поставщики блоков CDU, такие как Компания CoolIT опубликовала диапазоны расхода, давления и температуры на вторичной стороне которые определяют выбор насоса внутри агрегата и, косвенно, со стороны системы TCS.
Каждый контур имеет свой собственный теплоноситель, класс давления, материалы изготовления и допустимый диапазон температур. Один и тот же тип насоса редко подходит для всех трёх контуров. В системах с открытым конденсатором предпочтительны насосы с торцевым всасыванием, оснащённые бронзовыми фитингами или полностью изготовленные из чугуна, с механическими уплотнениями, рассчитанными на работу с аэрированной водой; в закрытых вторичных контурах с гликолем, содержащим ингибиторы коррозии, обычно используются проточные насосы из нержавеющей стали или насосы с разъёмным корпусом.
Именно подход, при котором "охлаждающий насос" рассматривается как отдельная задача выбора, приводит к установке оборудования, мощность которого либо завышена, либо занижена.
Сайт Глава из справочника ASHRAE по системам отопления, вентиляции и кондиционирования воздуха для центров обработки данных является справочным материалом по граничным условиям, классам избыточности и заданным значениям температуры, используемым в этих контурах.
Шаг 1: Расчет тепловой нагрузки и необходимого расхода
Исходите из тепловой нагрузки ИТ-оборудования, которую должен отводить контур, а не из номинальных данных на паспортной табличке стойки. При охлаждении «прямо на чип» часть общей мощности стойки уходит в жидкостный контур, а остальная часть по-прежнему рассеивается в воздух. Поставщик CDU или холодных пластин публикует коэффициент улавливания на стороне жидкости для каждой платформы; используйте их данные, а не принимайте за основу значение 100%.
Требуемый объемный расход определяется по стандартной формуле для явного тепла:
Q (тепло) = ṁ × cp × ΔT
где ΔT — перепад температур между подачей и обраткой контура, на поддержании которого регулирует центральный кондиционер. Преобразуйте значение в объемный расход, используя плотность хладагента при рабочей температуре. Два замечания:
- ΔT — это конструктивное решение, а не постоянная величина. Увеличение ΔT снижает расход и мощность насоса, но повышает температуру обратной воды и чипа. Необходимо согласовать этот параметр с предельной температурой на входе, указанной поставщиком графического процессора, а также с подъемной способностью системы охлаждения.
- В случае смесей гликолей коэффициент теплопередачи (cp) снижается по мере увеличения доли гликоля, поэтому для обеспечения той же тепловой нагрузки требуется более высокий массовый расход, чем в случае чистой воды.
После того как расход на каждую CDU и на каждый контур будет установлен, следует учесть разнообразие нагрузок. Не все стойки работают одновременно с максимальным потреблением, однако рабочие нагрузки, связанные с обучением ИИ, гораздо менее разнообразны, чем в традиционных корпоративных ИТ-системах. Многие операторы рассчитывают на пиковую одновременную нагрузку 100% в жидкостном контуре.
Шаг 2: Расчет общего динамического напора
Общий динамический напор (TDH) представляет собой сумму всех перепадов давления, которые насос должен преодолеть при расчетном расходе:
Элемент, создающий перепад давления | Типичный участник |
|---|---|
Трение в прямой трубе | Длина, диаметр, вязкость жидкости, шероховатость |
Фитинги и клапаны | Коленчатые соединения, тройники, балансировочные клапаны, запорные клапаны, сетчатые фильтры |
Теплообменник | Пластинчато-рамная конструкция на стыке FWS и TCS |
Первичная обмотка CDU | Внутренние трубопроводы, регулирующие клапаны, системы фильтрации |
Коллекторы и шланги | Рядовые и стеллажные коллекторы, быстроразъемные соединения, некапающие муфты |
Холодные тарелки | Падение давления на одном сервере при номинальном расходе |
Фильтрация | Мешочные, картриджные или боковые фильтры |
Статическая подъемная сила | Только в системах с открытым контуром и перепадом высоты |
В замкнутых контурах нет чистого статического напора — то, что поднимается, обязательно опускается обратно, — однако каждый фитинг по-прежнему создает сопротивление. Проводите расчёт элемент за элементом, используя кривые падения давления, предоставленные производителем; не применяйте общий "коэффициент безопасности 20%" к произвольно выбранному значению. Завышение значения TDH смещает рабочую точку влево от BEP и приводит к постоянным энергопотерям на протяжении всего срока эксплуатации установки.
Рабочая точка — это место пересечения кривой системы (параболы, проходящей через эти потери) с кривой насоса. Выберите насос, точка наибольшей эффективности (BEP) которого находится в точке рабочей нагрузки или чуть правее её, чтобы работа с частичной нагрузкой под управлением частотно-регулируемого привода (VFD) по-прежнему оставалась в пределах предпочтительной рабочей зоны (обычно 70%–120% от точки наибольшей эффективности (BEP) для большинства центробежных насосов).
Шаг 3: Проверка свойств и материалов охлаждающей жидкости
Выбор охлаждающей жидкости определяет как гидравлику, так и металлургию:
- Очищенная вода с ингибитором коррозии: наименьшая вязкость, наибольшая удельная теплоемкость; предпочтительны в случаях, когда защита от замерзания не требуется.
- Смеси пропиленгликоля и воды (20%–40%): часто встречается в случаях, когда существует риск замерзания наружных сухих охладителей или экономайзеров. При низких температурах вязкость резко возрастает, что приводит к увеличению напора насоса и смещению кривой системы. Необходимо повторно проверить TDH при самой низкой ожидаемой рабочей температуре, а не только при расчетных условиях.
- Диэлектрические жидкости (в вариантах с погружением или с задней крышкой): имеют совершенно иную плотность и вязкость; при расчете мощности насоса и выборе уплотнений необходимо руководствоваться рекомендациями производителя жидкости.
Совместимость материалов распространяется на детали, контактирующие с рабочей средой (рабочее колесо, корпус, вал, изнашиваемые кольца), а также на уплотнение. Механические уплотнения должны соответствовать химическому составу охлаждающей жидкости, комплексу присадок и температуре; некоторые комплексы ингибиторов разрушают эластомеры EPDM, другие — углеродные поверхности. В системах с замкнутым контуром и низким содержанием кислорода обычно используются внутренние детали из нержавеющей стали и стандартные механические уплотнения.
В отношении систем с открытым конденсаторным контуром в главе стандарта ASHRAE, посвященной воде в конденсаторе (ссылка приведена выше), изложены требования к химическому контролю, необходимые для обеспечения исправной работы бронзовых и чугунных насосов.
Фильтрация перед насосом имеет большое значение: холодные пластины с микроканалами размером менее миллиметра требуют тонкой фильтрации на вторичной ступени CDU, а перепад давления на сетчатом фильтре следует учитывать в расчетах TDH в загрязнённом состоянии, а не в чистом.
Шаг 4: Внедрение резервирования и управления скоростью
Кластеры для обучения ИИ не допускают перебоев в охлаждении. Существуют два практически повсеместно применяемых подхода:
- Избыточность N+1 (или 2N): Расчет мощности насосов должен обеспечивать выполнение расчетной нагрузки даже при выходе из строя одного агрегата. При параллельной работе двух насосов, каждый из которых имеет номинальную производительность 100%, нагрузку может взять на себя любой из них. При работе трёх насосов, каждый из которых имеет номинальную производительность 50%, должны работать два; при выходе из строя одного из них производительность снижается до 100% без запаса мощности. Конфигурация влияет на то, как каждый насос располагается на своей кривой в нормальных условиях и в условиях переключения на резерв — проверьте точку максимальной эффективности (BEP) в обоих случаях.
- Управление частотно-регулируемым приводом: В настоящее время насосы с регулируемой скоростью являются стандартным решением для замкнутых вторичных контуров. CDU регулирует расход для поддержания температуры подаваемой воды, а насос работает в нижней части своей кривой при более низких скоростях. Законы аффинности обеспечивают значительную экономию энергии при частичной нагрузке, при условии, что расход насоса не опускается ниже минимального непрерывного расхода или в область, где двигатель не может самоохлаждаться. Grundfos и другие компании публикуют рекомендации по интеллектуальные насосные системы для центров обработки данных включая управление скоростью, параллельное последовательное выполнение и ротацию «лидер-лаг».
Параллельно работающие насосы пропорционально делят напор, а не расход; их суммарная кривая становится более пологой. При расчете системы по схеме «N+1» необходимо сопоставить суммарную кривую с кривой системы как в режиме работы n, так и в режиме n+1, чтобы убедиться, что значения расхода и напора соответствуют заданным.
Шаг 5: Проверка NPSH, минимального расхода и рабочего диапазона
Три проверки позволяют отличить работоспособный вариант от такого, который вызывает кавитацию или срабатывание защитного устройства:
- NPSHa и NPSHr: Доступный чистый положительный напор всасывания (NPSH) — определяемый атмосферным давлением (давлением в расширительном баке замкнутого контура), давлением паров жидкости при рабочей температуре, потерями на всасывании и высотой над уровнем моря — должен превышать требуемый для насоса NPSH при рабочем расходе с запасом (часто 3–5 футов или в соответствии с рекомендациями производителя). Работа с горячей обратной водой и высокогорные установки снижают значение NPSHa.
- Минимальный непрерывный расход: Каждый центробежный насос имеет минимальный расход, при снижении которого рециркуляция, нагрев и вибрация становятся разрушительными. При резком снижении частоты вращения с помощью частотно-регулируемого привода (VFD) насос может достичь этого значения при работе с низкой нагрузкой. Необходимо либо установить нижний предел скорости, либо обеспечить путь рециркуляции.
- Диапазон работы на кривой: убедиться, что все предполагаемые режимы работы — расчетный, при минимальной нагрузке, при переключении на резервный источник питания, при холодном запуске с использованием гликоля высокой вязкости — находятся в пределах рекомендуемой производителем рабочей зоны.
Ввод в эксплуатацию замыкает цикл: измеряются фактический расход, напор и мощность двигателя при различных скоростях, задаваемых частотно-регулируемым приводом (VFD), проводится сравнение с расчетной кривой системы и выполняется настройка балансировочных клапанов. Данные от постоянных измерительных приборов (расход, перепад давления на CDU, давление на всасывании и нагнетании насоса, мощность двигателя в кВт) поступают в систему управления зданием (BMS), благодаря чему признаки износа — загрязнённые сетчатые фильтры, неисправные рабочие колпачки, дрейфующие клапаны — выявляются до того, как они приведут к перегреву оборудования.
Практический контрольный список для выбора насоса
Шаг | Вопрос, на который нужно ответить | Вывод |
|---|---|---|
1 | Какой контур я рассчитываю — FWS, TCS или вторичный контур CDU? | Граница контура, рабочая жидкость, класс давления |
2 | Какова тепловая нагрузка и ΔT в контуре в пиковый момент? | Расчетный расход на один насос |
3 | Каково значение TDH, рассчитанное для каждого элемента? | Системная кривая |
4 | Какой хладагент, какой диапазон температур и какой химический состав используются? | Характеристики материала, уплотнения и эластомера |
5 | Какой класс избыточности и какая схема управления требуются? | Количество насосов, технические характеристики частотно-регулируемого привода |
6 | Где находится точка пошлины по отношению к BEP? | Модель насоса и конфигурация рабочего колеса |
7 | Достаточен ли показатель NPSHa в самом неблагоприятном случае? | Схема всасывания, давление в расширительном баке |
8 | Каковы минимальный расход и диапазон регулирования? | Предельное значение низкой скорости частотно-регулируемого привода, потребности в рециркуляции |
9 | Как будет осуществляться проверка и мониторинг эффективности? | План ввода в эксплуатацию, точки системы управления зданием (BMS) |
Вопросы и ответы
Можно ли использовать насос одной и той же модели как в системе FWS, так и во вторичном контуре CDU?
Как правило, нет. В системе FWS вода в конденсаторе часто находится в открытом контуре с насыщенным воздухом, обработанными химическими веществами и более высоким расходом при умеренном напоре, тогда как вторичный контур CDU представляет собой замкнутый контур с ингибиторами, более строгим контролем температуры и более тонкой фильтрацией. Материалы, уплотнения и форма кривых редко полностью совпадают.
Какую наценку следует добавить к TDH?
Рассчитайте TDH на основе реальных данных о перепадах давления в компонентах при расчетном расходе и в условиях загрязненного фильтра. Добавление сверху «слепого» коэффициента 15%–25% является частой причиной выбора насосов слишком большого размера, которые работают левее точки максимальной эффективности (BEP). Запас прочности должен учитываться в конкретных элементах (например, перепад давления в сетчатом фильтре при его засорении), а не в виде множителя.
Мне всё ещё нужен насос с постоянной скоростью где-нибудь?
Насосы с постоянной скоростью по-прежнему являются целесообразным решением для простых контуров охлаждающей воды конденсатора, в которых используются чиллеры с фиксированной скоростью и нагрузка остается постоянной. Для контуров охлаждения с искусственным интеллектом (AI) и переменной нагрузкой на IT в качестве стандартного варианта используется управление с помощью частотно-регулируемого привода (VFD).
Как учитывать вязкость гликоля в программном обеспечении для подбора оборудования?
Укажите фактические характеристики жидкости при самой низкой ожидаемой рабочей температуре, а не при 20 °C. Многие инструменты для подбора оборудования допускают ввод процентного содержания гликоля напрямую; если это невозможно, примените коэффициенты поправки на вязкость, опубликованные производителем насоса.
Какую роль играет CDU при выборе насоса?
CDU изолирует контур со стороны стойки от системы TCS, задает температуру подачи в стойку и содержит собственные внутренние насосы. Насос системы TCS учитывает только падение давления на первичной стороне CDU, а не в контуре холодной пластины. Смешивание этих двух сторон расчёта является распространённой ошибкой.
Заключение
Обоснованный выбор насоса для жидкостного охлаждения ИИ основывается на трёх принципах: определение каждого контура отдельно, построение кривой системы на основе реальных данных о компонентах и сверка рабочей точки с кривыми насоса для каждого значимого режима работы — расчетного, частичной нагрузки, переключения на резервный контур и холодного запуска. Подберите материалы и уплотнения с учётом характеристик теплоносителя, подтвердите значения NPSH и минимального расхода, а также оснастите контур контрольно-измерительными приборами, чтобы окончательная настройка системы основывалась на данных пуско-наладочных испытаний, а не на предположениях.
Если действовать в таком порядке, насос будет работать вблизи оптимальной точки производительности (BEP), у частотно-регулируемого привода (VFD) останется запас для регулирования, а система охлаждения сможет справиться с нагрузкой, когда в строй вступит следующий ряд графических процессоров.