Современный центр обработки данных с системами воздушного и жидкостного охлаждения
Систему охлаждения центра обработки данных не следует выбирать, опираясь исключительно на каталог продукции. В первую очередь необходимо определить, где именно следует отводить тепло: в помещении, на уровне ряда серверов, с задней стороны стойки, непосредственно с процессора или вокруг всего сервера. От этого решения зависят плотность размещения серверов в стойке, прокладка трубопроводов, системы управления, размеры насосов, процедуры технического обслуживания, а также объем воздушного охлаждения, который по-прежнему потребуется.
Традиционное воздушное охлаждение по-прежнему хорошо подходит для многих корпоративных сред и центров колокации. Однако кластеры для обучения ИИ и другие высокопроизводительные вычислительные нагрузки могут приводить к концентрации тепла на гораздо меньшей площади. В таких объектах практическим решением зачастую становится гибридная архитектура, а не использование одной единственной технологии.
В данном руководстве описаны основные типы систем охлаждения центров обработки данных, а также факторы, которые следует учитывать при их выборе.
Основные выводы
- Охлаждение воздухом на уровне помещений по-прежнему является целесообразным решением для стандартной плотности установки в стойках и предсказуемых ИТ-нагрузок.
- Теплообменники, устанавливаемые на задних дверцах, и системы с непосредственным соединением позволяют увеличить производительность без необходимости немедленной перепроектировки всего технического пространства.
- Система жидкостного охлаждения с прямым контактом с микросхемой отводит тепло от процессоров, графических процессоров и других компонентов, выделяющих большое количество тепла, однако, как правило, по-прежнему требуется дополнительное воздушное охлаждение.
- Охлаждение погружением обеспечивает отвод тепла от целых серверов, помещенных в диэлектрическую жидкость, и требует применения иной модели обслуживания.
- Насосы для охлаждающей воды, насосы вторичного контура, системы управления и резервирование должны проектироваться как часть архитектуры системы охлаждения, а не добавляться уже после выбора ИТ-оборудования.
Начните с пути отвода тепла
Системы охлаждения проще сравнивать, если сгруппировать их по месту отвода тепла.
Метод охлаждения | Основное место улавливания тепла | Типичное воздействие на инфраструктуру | Оптимальный вариант |
|---|---|---|---|
Охлаждение воздуха на уровне помещений | Воздух в центре обработки данных | От низкого до умеренного | Стандартные стойки для корпоративного использования и стойки для колокации |
Система охлаждения с непосредственным соединением | Ряд или стеллаж | Умеренный | Локальные проблемные участки и проекты по модернизации |
Теплообменник задней двери | Вытяжка из стойки | Умеренный | Стойки с более высокой плотностью размещения, в которых возможен доступ сзади и подключение к системе водоснабжения |
Жидкостное охлаждение непосредственно на микросхеме | Холодные пластины для ЦП, графического процессора и ускорителей | От умеренного до высокого | ИИ, высокопроизводительные вычисления (HPC) и кластеры с высокой плотностью вычислений |
Иммерсионное охлаждение | Весь серверный корпус | Высокий | Специально спроектированные среды с высокой плотностью размещения |
Гибридное охлаждение | Несколько мест | Связанные с конкретным проектом | Объекты с различной плотностью застройки и поэтапная модернизация |
Точка улавливания тепла — это лишь часть конструкции. Отводимое тепло по-прежнему должно проходить через теплообменники, системы распределения теплоносителя, насосы, сухие охладители, чиллеры, градирни или другое оборудование для отвода тепла. Наилучшей считается та система, которая объединяет все эти уровни, не создавая при этом излишней сложности в эксплуатации.
1. Охлаждение воздухом на уровне помещения
Охлаждение воздуха на уровне помещений является общепринятым стандартом для центров обработки данных. Системы кондиционирования воздуха в компьютерных залах (CRAH) обычно используют охлажденную воду, тогда как кондиционеры для компьютерных залов (CRAC) — цикл охлаждения на основе хладагента. Обе системы обеспечивают циркуляцию кондиционированного воздуха по залу серверного оборудования.
Стратегия организации воздушных потоков имеет не меньшее значение, чем сам охлаждающий агрегат. Изоляция «горячего» или «холодного» прохода снижает смешивание приточного и вытяжного воздуха. Заглушки, герметичные кабельные проходы и регулируемая скорость вращения вентиляторов также способствуют повышению эффективности.
Если позволяют климатические и водные условия, экономайзеры или системы испарительного охлаждения могут сократить время работы компрессора.
Воздушное охлаждение — это привычный, надежный и совместимый со стандартным ИТ-оборудованием способ охлаждения. Его ограничения проявляются, когда плотность тепловыделения растет быстрее, чем позволяет эффективно обеспечить воздушный поток. Бесконечное увеличение скорости вращения вентиляторов приводит к росту энергопотребления и все равно может приводить к появлению «горячих точек» вокруг стоек с высокой плотностью размещения графических процессоров.
2. Система охлаждения с непосредственным соединением
Система охлаждения с непосредственным подключением позволяет разместить охлаждающие мощности ближе к источнику тепла. К распространенным вариантам относятся блоки, устанавливаемые в ряду, подвесные блоки и модули, размещаемые рядом со стойками. Более короткие пути прохождения воздушного потока снижают риск рециркуляции и позволяют более точно охлаждать зоны с высокой плотностью оборудования, не переохлаждая при этом остальную часть помещения.
Такой подход целесообразен в тех случаях, когда повышенная тепловая нагрузка наблюдается лишь в части центра обработки данных. Он позволяет продлить срок службы существующего объекта, избегая при этом немедленного перехода на ИТ-оборудование с жидкостным охлаждением.
Системы с непосредственным соединением по-прежнему требуют тщательного проектирования гидравлических и воздушных потоков. Установка нового блока в ряду может потребовать прокладки отводов охлажденной воды, установки запорных клапанов, балансировки системы, организации отвода конденсата и интеграции систем управления. Проектная группа должна убедиться, что имеющиеся насосы для охлажденной воды способны обеспечить требуемые значения расхода и напора.
3. Теплообменники задних дверей
Теплообменник задней двери (RDHx) заменяет или дополняет заднюю дверь ИТ-стойки. Вытяжной воздух от серверов проходит через змеевик с жидкостным охлаждением, прежде чем вернуться в серверный зал. Пассивные конструкции работают за счет вентиляторов серверов.
В конструкциях с активной вентиляцией предусмотрены вентиляторы для более эффективного регулирования воздушного потока.
Системы RDHx зачастую являются практичным решением для модернизации, поскольку они улавливают тепло на серверной стойке, не требуя установки холодных пластин внутри каждого сервера. Они позволяют снизить нагрузку на систему охлаждения помещения и обеспечивают возможность локального увеличения плотности размещения оборудования.
Здесь речь идет о компромиссе, связанном с эксплуатацией. Необходимо обеспечить подачу воды или другого хладагента в непосредственной близости от стеллажей, разработать меры по устранению утечек, а также обеспечить достаточный зазор для доступа с задней стороны. На выбор насоса также влияют падение давления в змеевиках и балансировка ответвлений.
4. Жидкостное охлаждение непосредственно на кристалле
Система жидкостного охлаждения «Direct-to-chip» (D2C) предусматривает установку холодных пластин на компоненты с высокой тепловыделением, такие как ЦП, графические процессоры и ускорители. Хладагент поглощает тепло непосредственно у источника и отводит его через вторичный контур. Блок распределения хладагента (CDU) обычно отделяет технологическую систему охлаждения от системы водоснабжения объекта и обеспечивает перекачку, теплообмен, мониторинг и управление.
Серия продуктов CoolChip CDU от Vertiv поддерживает системы охлаждения с прямым контактом с чипом и через заднюю панель для вычислительных систем высокой плотности. Данная Руководство ASHRAE по жидкостному охлаждению также полезен при определении требований к температуре, качеству воды и взаимодействию с оборудованием.
Система охлаждения D2C позволяет удалять значительную часть тепла, выделяемого сервером, более эффективно, чем при использовании одного только воздуха. При этом она не исключает автоматического использования вентиляторов или охлаждения помещения. Память, блоки питания, устройства хранения данных и другие компоненты могут по-прежнему отводить тепло в воздух, если серверная платформа не спроектирована иначе.
При проектировании жидкостного контура необходимо указать:
- Необходимый расход охлаждающей жидкости для каждой стойки и отвода
- Заданные значения температуры подачи и обратного потока
- Температура на входе в теплообменник CDU
- Насосная головка, холодные пластины, шланги, коллекторы, фильтры и клапаны
- Стратегия резервирования насосов и блоков управления (CDU)
- Требования к качеству воды, фильтрации и совместимости материалов
- Процедуры обнаружения и локализации утечек
5. Охлаждение погружением
При погружном охлаждении серверы размещаются в резервуаре, заполненном диэлектрической жидкостью. Жидкость непосредственно поглощает тепло от компонентов сервера. В однофазных системах жидкость циркулирует через теплообменник.
В двухфазных системах используется жидкость, которая закипает при заданной температуре и конденсируется при отводе тепла.
Технология погружения позволяет выдерживать высокие тепловые нагрузки при меньшей зависимости от вентиляторов серверов. Кроме того, она меняет физическую и эксплуатационную модель центра обработки данных. Необходимо пересмотреть процедуры обслуживания серверов, расположение стоек, подъемное оборудование, систему циркуляции жидкости, совместимость оборудования, а также программу подготовки технического персонала.
Погружение и LiquidStack Приведите примеры коммерческих платформ с погружным охлаждением. Эти системы целесообразно оценивать в первую очередь как полноценные рабочие среды, а не как замену отдельных кондиционеров.
Где уместны естественное охлаждение, испарительное охлаждение и чиллеры
Не все термины, связанные с охлаждением, относятся к одному и тому же уровню системы. Термины «прямое охлаждение микросхем» и «иммерсионное охлаждение» описывают способы отвода тепла от ИТ-оборудования. Термины «холодильные установки», «сухие охладители», «градирни» и «экономайзеры» описывают способы отвода тепла с объекта.
Установка охлаждения воды может обслуживать системы CRAH, блоки, установленные в рядах, блоки CDU или теплообменники, встроенные в заднюю дверь. В более прохладных климатических условиях водяной экономайзер или сухой охладитель могут отводить тепло без запуска компрессоров в течение части года. Испарительное или адиабатическое оборудование может снизить энергопотребление, но при этом возникают вопросы, связанные с потреблением и очисткой воды.
Это различие имеет значение при закупках. В рамках проекта может применяться жидкостное охлаждение на уровне стоек, при этом система по-прежнему может зависеть от традиционной установки охлаждения воды, расположенной за пределами центра обработки данных.
Как выбрать подходящую архитектуру
Начните с фактических и прогнозируемых тепловых нагрузок на стойки, а не с предполагаемого среднего значения для всего здания. Составьте схему расположения стоек, на которых будут установлены ускорители ИИ, определите ожидаемые сроки роста и требования к резервированию для каждой зоны охлаждения.
Затем ознакомьтесь с ограничениями объекта:
- Уточните доступную электрическую мощность, мощность системы охлаждения воды и мощность системы отвода тепла.
- Определите, можно ли безопасно проложить трубопроводы для жидкостей в свободное пространство.
- Проверьте температуру воды и расход, указанные в требованиях производителя ИТ-оборудования или CDU.
- Рассчитать перепад давления во всем гидравлическом контуре.
- Определить порядок действий по обеспечению доступа для технического обслуживания, изоляции, фильтрации и ликвидации утечек.
- Определите, какие остаточные воздушные нагрузки сохраняются после установки системы жидкостного охлаждения.
В условиях смешанной инфраструктуры гибридная архитектура зачастую является наиболее практичным решением. Обычные стойки могут по-прежнему охлаждаться за счет системы вентиляции помещения, в то время как стойки с высокой плотностью размещения ИИ используют охлаждение D2C и блоки CDU. Блоки RDHx можно использовать в отдельных зонах, подлежащих модернизации.
Такой поэтапный подход позволяет избежать необходимости принудительного перевода всех стоек на одну и ту же модель работы.
Рекомендации по выбору насосов для центров обработки данных с жидкостным охлаждением
Насосы являются связующим звеном между стратегией охлаждения и фактической производительностью. Насосы для технической воды могут подавать охлажденную воду в распределительные магистрали или блоки охлаждения (CDU). Вторичные насосы могут обеспечивать циркуляцию хладагента через холодные пластины, коллекторы и теплообменники.
Их расчетные точки должны рассчитываться исходя из фактической потребности в расходе и общего динамического напора.
Для обеспечения стабильной работы необходимо проверить наличие резервных насосов, систему регулирования частоты вращения, пределы минимального расхода, запас NPSH, совместимость уплотнений и материалов, систему фильтрации, а также доступ для технического обслуживания. Частотно-регулируемые приводы могут помочь адаптировать расход к изменяющимся нагрузкам ИТ-оборудования, однако последовательность управления должна предотвращать возникновение режимов низкого расхода в критически важных ветвях.
Вопросы и ответы
Какой тип системы охлаждения центров обработки данных является наиболее распространенным?
Охлаждение воздуха на уровне отдельных помещений с помощью установок CRAC или CRAH по-прежнему широко распространено, поскольку оно обеспечивает совместимость со стандартным серверным оборудованием и соответствует устоявшимся методам технического обслуживания. В зонах с более высокой плотностью размещения оборудования наряду с этим все чаще используются системы с непосредственным соединением или системы жидкостного охлаждения.
Всегда ли жидкостное охлаждение лучше воздушного?
Нет. Жидкостное охлаждение целесообразно в тех случаях, когда ограничения по тепловой плотности, энергоэффективности или занимаемой площади оправдывают установку дополнительных трубопроводов и систем управления. Для традиционных стоек воздушное охлаждение по-прежнему может оставаться более простым и экономичным вариантом.
Позволяет ли система охлаждения непосредственно на чипе обойтись без кондиционирования воздуха?
Как правило, нет. Системы «холодных пластин» предназначены для охлаждения наиболее нагревающихся компонентов, в то время как остальные компоненты сервера по-прежнему могут отводить тепло в окружающий воздух. Остаточную потребность в воздушном охлаждении следует рассчитать с учетом выбранного оборудования.
В чём заключается разница между CDU и чиллером?
Устройство CDU обеспечивает теплообмен между технологическим контуром охлаждения и контуром технической воды, одновременно регулируя расход и параметры хладагента. Хладильная установка отводит тепло из воды посредством холодильного цикла. В некоторых конструкциях используются устройства CDU, при этом не прибегая к круглогодичному охлаждению с помощью компрессоров.
Можно ли модернизировать существующий центр обработки данных для перехода на жидкостное охлаждение?
Да, но модернизацию необходимо тщательно проанализировать. Перед выбором оборудования следует изучить трассировку трубопроводов, нагрузку на пол, температуру воды, мощность отвода тепла, режим работы насосов, системы управления, резервирование и процедуры технического обслуживания.
Заключение
Основные типы систем охлаждения центров обработки данных не являются взаимоисключающими. Воздушное охлаждение, охлаждение с непосредственным контактом, теплообменники, установленные на задней панели, контуры с прямым охлаждением микросхем и платформы погружного охлаждения позволяют решать различные задачи, связанные с тепловой плотностью и эксплуатацией.
Лучший проект начинается с определения пути отвода тепла, прогноза нагрузки на уровне стоек и ограничений объекта. После определения архитектуры необходимо рассчитать размеры насосов, блоков охлаждения (CDU), трубопроводов и систем управления как единой гидравлической системы. Такая последовательность позволяет разработать стратегию охлаждения, способную масштабироваться в соответствии с рабочими нагрузками ИИ, не усложняя при этом конструкцию каждой отдельной стойки.