Центр обработки данных с жидкостным охлаждением: почему объекты с микромодульной архитектурой внедряют эту технологию именно сейчас

Краткий ответ: жидкостное охлаждение становится целесообразным для центров обработки данных на базе микромодулей, поскольку воздушное охлаждение не справляется с нагрузкой, создаваемой стойками высокой плотности

Еще несколько лет назад жидкостное охлаждение в основном использовалось только в гипермасштабных центрах обработки данных и кластерах высокопроизводительных вычислений (HPC). Сейчас ситуация изменилась. Центры обработки данных на базе микромодулей — готовые автономные помещения, расположенные рядом с заводами, лабораториями или офисными зданиями, — начинают рассматривать жидкостное охлаждение как реальный вариант. Причина проста: плотность мощности микросхем превышает пределы, с которыми может экономично справляться традиционное воздушное охлаждение. Когда мощность одной стойки достигает 20 кВт или более, воздушное охлаждение начинает давать сбои, и именно в таких случаях на помощь приходят проекты центров обработки данных с жидкостным охлаждением.

Для закупщиков и инженеров это не просто технологическая тенденция. Она меняет подход к планированию мощностей, резервирования и даже занимаемой площади вашего объекта. Итак, давайте разберемся, что лежит в основе этих изменений, какие варианты на самом деле существуют и на что следует обратить внимание, прежде чем принимать окончательное решение.

Почему воздушное охлаждение достигает своих пределов в дата-центрах на базе микромодулей

Воздушное охлаждение хорошо работает до определённого предела. Стандартные установки, размещаемые под фальшполом или в рядах, способны с достаточной эффективностью охлаждать 8–15 кВт на один стойку. Однако новые ускорители искусственного интеллекта и процессоры с большим количеством ядер повышают энергопотребление отдельных стоек до 20, 30 и даже 50 кВт. При такой плотности мощности объем воздуха, который необходимо прогонять, становится огромным. В результате возникают высокое энергопотребление вентиляторов, шумная работа и трудноустранимые «горячие точки».

В центре обработки данных с микромодулями проблема усугубляется из-за ограниченности пространства. Здесь нет широких проходов и высоких потолков. Модульный корпус ограничивает объем пропускаемого воздуха, а охлаждающее устройство зачастую занимает площадь, которую лучше было бы использовать для ИТ-оборудования. Именно поэтому инженеры обращаются к жидкостным системам: вода или диэлектрическая жидкость могут отводить тепло гораздо эффективнее, чем воздух. Например, теплоемкость воды на единицу объёма примерно в 3 500 раз превышает теплоемкость воздуха. И это не опечатка.

На практике это означает, что стойка с жидкостным охлаждением способна выдерживать нагрузку 50 кВт и более при значительно меньшем расходе воздуха, а тепло можно отводить наружу или даже повторно использовать для отопления здания. Для объектов с микромодулями это открывает возможности по повышению плотности размещения, которые ранее были недоступны.

Варианты жидкостного охлаждения: от прямого охлаждения микросхемы до погружного охлаждения

Не все системы жидкостного охлаждения одинаковы. Если вы рассматриваете возможность внедрения системы жидкостного охлаждения в центре обработки данных для развертывания микромодулей, вам, скорее всего, придется выбирать между двумя основными подходами: прямым охлаждением чипа (холодные пластины) и погружным охлаждением.

Прямая печать на чипе использует небольшие охлаждающие пластины, установленные на процессорах или графических процессорах. Хладагент — обычно вода с добавками или диэлектрическая жидкость — протекает через пластины и отводит тепло. Это наиболее распространённый способ модернизации, поскольку он совместим со стандартными стойками и серверами, хотя требует установки коллекторов распределения хладагента и трубопроводов. В зависимости от конструкции система способна обрабатывать мощности до примерно 100 кВт на стойку.

Охлаждение погружением идет ещё дальше. Весь сервер погружается в резервуар с диэлектрической жидкостью, которая кипит или циркулирует вокруг каждого компонента. Такой подход позволяет справляться с экстремальной плотностью размещения, но требует более значительных изменений: нужны специальные резервуары, другое серверное оборудование и иной подход к техническому обслуживанию. В случае центров обработки данных с микромодулями погружение в жидкость по-прежнему применяется редко, за исключением случаев, когда рабочая нагрузка очень высокая или на объекте существуют необычные ограничения.

Приведенная выше таблица является ориентировочным руководством, а не техническим паспортом. Фактические показатели зависят от условий окружающей среды, конфигурации сервера и конструкции системы охлаждения. Однако она позволяет составить общее представление о том, где лучше всего применять каждую из этих технологий.

Значение жидкостного охлаждения для проектирования центров обработки данных на основе микромодулей

Внедрение жидкостного охлаждения — это не просто замена одного охлаждающего устройства на другое. Это затрагивает весь объект. В случае с центром обработки данных на базе микромодулей необходимо продумать контур циркуляции хладагента, способ отвода тепла, а также то, как система охлаждения будет интегрирована с остальными компонентами модуля.

Распределение хладагента и резервирование

Стойка с жидкостным охлаждением требует надежной подачи хладагента с нужной температурой и расходом. Это означает, что вам понадобится блок распределения хладагента (CDU), который обеспечивает подачу жидкости к стойкам и контролирует давление, температуру и расход. Здесь важна избыточность: в случае выхода из строя одного насоса не должно произойти отключения охлаждения всего ряда. Во многих конструкциях используются насосы в конфигурации N+1 или двойные CDU. Кроме того, следует предусмотреть систему обнаружения утечек — небольшая утечка в жидкостной системе может нанести больший ущерб, чем сбой воздушного охлаждения, поэтому датчики и запорные клапаны являются оправданными инвестициями.

В микромодуле место для блока CDU представляет собой серьёзное ограничение. Возможно, его придётся установить на стене или встроить в корпус. Некоторые поставщики, например VERHI, предлагают модульные системы охлаждения, которые можно адаптировать под габариты микромодуля, однако перед оформлением заказа всегда следует уточнить у производителя точные размеры и технические характеристики.

Отвод тепла: куда уходит тепло?

Жидкостное охлаждение не устраняет тепло. Оно просто более эффективно его отводит. Тепло по-прежнему необходимо отводить наружу — с помощью сухого охладителя, градирни или чиллера, если вы находитесь в жарком климате. В микромодуле устройство отвода тепла может быть установлено на крыше или рядом с модулем. Именно здесь можно сэкономить энергию: поскольку жидкостное охлаждение работает при более высоких температурах, чем воздушное, часто можно использовать естественное охлаждение в течение большего количества часов в году. Например, температура хладагента 40 °C может позволить вам работать без чиллера даже в тёплом климате, что значительно сократит потребление энергии на охлаждение.

Это очень важно для PUE. В хорошо спроектированном центре обработки данных с жидкостным охлаждением показатель PUE может составить 1,1 или ниже, в то время как для типичных объектов с воздушным охлаждением этот показатель составляет 1,3–1,5. Однако это зависит от вашего местоположения и эффективности оборудования для отвода тепла. Не делайте предположений — проведите моделирование именно для вашего объекта.

Подходит ли жидкостное охлаждение для вашего центра обработки данных на базе микромодулей?

Краткий ответ: это зависит от плотности вашего стоечного оборудования и ваших долгосрочных планов. Если вы используете стандартные стойки мощностью 10–15 кВт и не планируете расширяться, воздушное охлаждение по-прежнему остаётся более простым и экономичным решением. Но если вы внедряете ускорители искусственного интеллекта, высокопроизводительные вычисления или даже плотную виртуализацию, стоит серьёзно рассмотреть возможность использования жидкостного охлаждения.

Вот краткий перечень вопросов, который поможет вам определиться:

• Текущая и будущая плотность размещения оборудования в стойках: Планируете ли вы использовать стойки мощностью свыше 20 кВт? Если да, то жидкостное охлаждение становится целесообразным.
• Ограничения по площади: У вас ограниченная площадь помещения? Жидкостное охлаждение позволяет уменьшить размеры охлаждающих агрегатов и освободить место.
• Затраты на электроэнергию и целевые показатели PUE: Если вам необходимо достичь определенного показателя PUE, жидкостное охлаждение может помочь, но только при условии эффективного отвода тепла.
• Возможности технического обслуживания: Есть ли у вашей команды опыт работы с жидкостными системами? Вам придётся иметь дело с охлаждающей жидкостью, утечками и техническим обслуживанием CDU.
• Бюджет: Жидкостное охлаждение требует более высоких первоначальных затрат, но при этом обеспечивает более низкие эксплуатационные расходы. Проведите анализ совокупной стоимости владения с учетом конкретных условий вашего проекта.

На практике многие операторы начинают с гибридного подхода: сохраняют воздушное охлаждение для стоек с меньшей плотностью размещения и добавляют жидкостное охлаждение для отдельного ряда стоек с высокой плотностью. Это прагматичный способ опробовать технологию, не перестраивая весь объект.

Стоит обратить внимание: если вы приобретаете микромодульный центр обработки данных, уточните у поставщика, предусмотрена ли в корпусе возможность последующей установки системы жидкостного охлаждения. Некоторые модули оснащены заранее проложенными трубопроводами или дополнительным пространством для установки блока CDU. Модернизация после установки обходится дороже и сопряжена с большими неудобствами.

Будущее систем охлаждения центров обработки данных на базе микромодулей

Жидкостное охлаждение — это не мимолетная мода. По мере того как производители микросхем стремятся к увеличению расчетной тепловой мощности (TDP), отрасль приходит к единому мнению, что жидкостное охлаждение является единственным способом обеспечить дальнейшее повышение плотности без потерь энергии. Для центров обработки данных на базе микромодулей это означает, что жидкостное охлаждение станет стандартной опцией — а возможно, даже вариантом по умолчанию — для высокопроизводительных рабочих нагрузок.

Тем не менее, этот переход не произойдет в одночасье. Стандарты все еще находятся в стадии развития, и не все производители серверов изначально поддерживают жидкостное охлаждение. Но направление развития очевидно. Если вы планируете создание нового центра на базе микромодулей, имеет смысл обеспечить перспективность вашего проекта, выбрав поставщика, который разбирается в интеграции систем жидкостного охлаждения. Например, компания VERHI предлагает системы прецизионного кондиционирования и решения для модульных центров обработки данных, а также активно разрабатывает варианты жидкостного охлаждения для микромодульных сред. Вам следует связаться с ними, чтобы обсудить ваши конкретные требования, поскольку детали продуктов и их доступность могут меняться.

Какой вывод? Технология жидкостного охлаждения центров обработки данных больше не является прерогативой только крупных игроков. Она становится практичным и эффективным решением для микромодульных центров обработки данных, которым необходимо обеспечить высокую плотность размещения оборудования без превышения энергетического бюджета. При тщательном планировании этот переход может пройти без проблем.