Центры обработки данных с жидкостным охлаждением: переход к внедрению микромодулей

Почему жидкостное охлаждение больше не предназначено только для гипермасштабных систем

На протяжении многих лет жидкостное охлаждение оставалось прерогативой исследовательских лабораторий и небольшого числа гипермасштабных центров, располагающих инженерным персоналом, способным управлять этой технологией. Ситуация меняется. По мере того как удельная мощность чипов превышает 30 кВт на стойку, а периферийные развертывания требуют большей вычислительной мощности на меньшей площади, проекты центров обработки данных с жидкостным охлаждением становятся практичным решением для микромодульных и сборных объектов. Краткий ответ: если вы планируете развертывание нового микромодульного комплекса, жидкостное охлаждение заслуживает серьезного внимания — не как футуристический вариант, а как инженерное решение, реализуемое в ближайшей перспективе.

Что стимулирует переход к использованию жидкостного охлаждения в центрах обработки данных

Основной определяющий фактор — это физика. Воздушное охлаждение работает хорошо до определённого предела — как правило, около 15–20 кВт на стойку при тщательном управлении воздушными потоками. При превышении этого предела требуется либо больше воздуха (а это означает больше вентиляторов и больше энергии), либо отвод тепла с помощью жидкости. Вода отводит тепло примерно в 3500 раз эффективнее, чем воздух, на единицу объёма. Это не маркетинговая цифра, а тепловое свойство. Поэтому, когда мощность стойки достигает 30, 50 или даже 100 кВт, жидкостное охлаждение — это не роскошь, а единственный способ удержать температуру компонентов в допустимых пределах, не превращая центр обработки данных в аэродинамическую трубу.

Современные процессоры и графические процессоры спроектированы таким образом, что при превышении температуры перехода — обычно около 100 °C для кремния — они снижают тактовую частоту или отключаются. На практике же необходимо поддерживать температуру значительно ниже этого значения, как правило, на уровне 60–80 °C на кристалле. Жидкостное охлаждение позволяет поддерживать такие температуры при входной температуре охлаждающей жидкости 25–45 °C, в зависимости от конструкции. Именно этот более широкий диапазон температур делает архитектуры центров обработки данных с жидкостным охлаждением привлекательными: они позволяют использовать более тёплую воду, что означает меньшее количество часов работы компрессора и более низкие PUE.

Охлаждение центров обработки данных на основе микромодулей: идеальное решение

Центры обработки данных на базе микромодулей — эти автономные блоки, в которых в одном корпусе объединены стойки, системы охлаждения, распределение электроэнергии и мониторинг, — традиционно полагались на кондиционирование воздуха. Однако по мере их развертывания на периферии, на заводах или в телекоммуникационных узлах плотность вычислительных ресурсов растет. Не всегда есть возможность увеличить площадь помещений. Жидкостное охлаждение позволяет разместить больше ИТ-оборудования на той же площади, что как раз и нужно пользователям микромодулей.

Рассмотрим типичный микромодуль с шестью стойками. При воздушном охлаждении мощность одной стойки может быть ограничена 10 кВт, что дает в сумме 60 кВт. Перейдя на жидкостное охлаждение с прямым контактом с чипом, часто можно довести мощность каждой стойки до 40 кВт и более — то есть 240 кВт в одном корпусе. Для вычислений в области искусственного интеллекта, обработки видео или высокочастотной торговли такая плотность имеет большое значение. Дело не только в производительности; важно, уместится ли система в имеющееся пространство и в рамки доступной мощности.

Два основных подхода к жидкостному охлаждению

Существует два основных способа организации жидкостного охлаждения в микромодуле: «прямое охлаждение чипа» (холодные пластины) и погружное охлаждение. При прямом охлаждении чипа хладагент проходит через пластины, установленные на процессоре (CPU) или графическом процессоре (GPU), отводя тепло непосредственно у источника. При погружном охлаждении весь сервер погружается в диэлектрическую жидкость. Оба метода имеют своё место, но прямой охлаждение чипа чаще используется при модернизации, поскольку оно совместимо со стандартными серверами и требует меньших изменений в ИТ-инфраструктуре.

С другой стороны, погружное охлаждение позволяет работать с ещё более высокой плотностью размещения — некоторые конструкции поддерживают мощность 100 кВт на стойку и более — но требует специального оборудования и иного подхода к эксплуатации. Для большинства внедрений микромодулей охлаждение «прямо на чип» является прагматичной отправной точкой. Этот подход менее экзотичен, проще в обслуживании и при этом позволяет значительно сократить энергопотребление на охлаждение по сравнению с воздушным охлаждением.

Как жидкостное охлаждение влияет на показатель PUE и эксплуатационные расходы

PUE (эффективность использования энергии) — это отношение общего энергопотребления объекта к энергопотреблению ИТ-оборудования. Типичный центр обработки данных с воздушным охлаждением имеет показатель PUE в диапазоне от 1,3 до 1,5, что означает: на каждый 1 кВт ИТ-нагрузки уходит ещё 0,3–0,5 кВт на охлаждение и распределение электроэнергии. Жидкостное охлаждение позволяет снизить этот показатель до 1,1 или даже ниже, поскольку тепло отводится с помощью насосов, а не компрессоров и вентиляторов. Это приводит к непосредственному сокращению расходов на электроэнергию и уменьшению углеродного следа.

Давайте рассмотрим конкретные цифры. Допустим, нагрузка на ИТ-оборудование вашего микромодуля составляет 200 кВт. При показателе PUE равном 1,4 общее потребление энергии составляет 280 кВт. При показателе PUE 1,1 это значение снижается до 220 кВт. За год это дает экономию около 525 000 кВт·ч — этого хватит для обеспечения электроэнергией десятков домов. При цене $0,10 за кВт·ч это составляет $52 500 в год. Это не мелочь. А в регионах с высокой стоимостью электроэнергии или высокими налогами на выбросы углерода экономия будет ещё больше.

Есть также вопрос о потреблении воды. В некоторых системах жидкостного охлаждения используются градирни испарительного охлаждения, которые потребляют воду. Однако во многих конструкциях микромодулей применяются сухого охладители или чиллеры с замкнутым контуром, которые потребляют мало воды или не потребляют её вовсе. Если вы находитесь в регионе с дефицитом воды, этот момент стоит уточнить у вашего поставщика. Например, компания VERHI предлагает решения для жидкостного охлаждения, которые в зависимости от условий на объекте можно сочетать с сухими охладителями, чтобы полностью исключить потребление воды.

Практические аспекты внедрения жидкостного охлаждения в микромодуле

Переход на жидкостное охлаждение — это не просто замена охлаждающего устройства. Необходимо продумать всю систему в целом. Вот основные моменты, которые следует учесть, прежде чем принять окончательное решение:

• Совместимость стоек и серверов – Поддерживают ли ваши серверы холодные пластины? Большинство крупных производителей оборудования в настоящее время предлагают модели с жидкостным охлаждением, но их необходимо заказывать при покупке.
• Распределение охлаждающей жидкости – Каждый шкаф должен быть оснащен блоком распределения хладагента (CDU), который регулирует расход, температуру и давление. Кроме того, CDU разделяет контур здания и контур ИТ-оборудования, благодаря чему утечка не приведёт к загрязнению всей системы.
• Обнаружение утечек и локализация утечек – Даже при правильном монтаже могут возникать утечки. Заранее предусмотрите установку поддонов для сбора капель, датчиков и автоматических запорных клапанов.
• Сантехническое оборудование здания – Вам понадобятся подающие и обратные трубопроводы, а также система отвода тепла (сухой охладитель, чиллер или градирня). В случае микромодулей это часто означает использование небольшого внешнего агрегата.
• Навыки технического обслуживания – Ваша команда должна уметь обращаться с охлаждающей жидкостью, спускать воздух из контуров и заменять быстроразъемные соединения. Это не ракетостроение, но это не то же самое, что замена воздушного фильтра.

Одно из того, чему я научился во время развертываний: не стоит недооценивать важность CDU. Это сердце системы жидкостного охлаждения. Хорошо спроектированный CDU будет поддерживать стабильную температуру даже при колебаниях ИТ-нагрузки и защитит ваши серверы от скачков давления. CDU от VERHI оснащены резервными насосами и интеллектуальными системами управления, но вам всегда следует сверять технические характеристики с вашим фактическим профилем нагрузки.

Крайние случаи: когда жидкостное охлаждение может оказаться нецелесообразным

Жидкостное охлаждение — не универсальное решение. Если мощность ваших стоек не превышает 10 кВт, воздушное охлаждение, скорее всего, подойдет и обойдется дешевле в установке. Кроме того, если ваше помещение арендуется на короткий срок или вы планируете часто перемещать микромодуль, дополнительные сложности, связанные с монтажом трубопроводов, могут оказаться неоправданными. Кроме того, в некоторых регионах может быть сложно найти специалиста, способного обслуживать контуры жидкостного охлаждения — хотя ситуация меняется по мере распространения этой технологии.

Еще одним фактором, который следует учитывать, является совокупная стоимость владения. Первоначальная стоимость оборудования для жидкостного охлаждения зачастую выше, чем у кондиционеров. Однако если учесть экономию электроэнергии и возможность размещения ИТ-оборудования с более высокой плотностью, срок окупаемости часто составляет менее двух лет. Для большинства операторов это вполне оправданное вложение средств.

Подход компании VERHI к реализации проектов по жидкому охлаждению центров обработки данных

В компании VERHI мы уже много лет занимаемся производством прецизионных кондиционеров и микромодульных центров обработки данных, и рассматриваем жидкостное охлаждение как естественное продолжение этого опыта. Мы не просто продаем вам CDU и желаем удачи. Мы помогаем вам правильно подобрать размеры системы, интегрировать её в вашу систему распределения электроэнергии и обеспечить, чтобы программное обеспечение для мониторинга позволяло вам отслеживать температуру хладагента, расход и наличие утечек.

Например, в рамках недавнего проекта для клиента из производственной сферы в Центральной Азии мы поставили микромодуль с системой охлаждения «прямо на чип» для кластера обучения ИИ мощностью 50 кВт. Наружный сухой охладитель был рассчитан на зимы с температурой -30 °C, а CDU круглый год поддерживала стабильную температуру хладагента на уровне 35 °C. Показатель PUE клиента снизился с 1,6 (при использовании старой системы с воздушным охлаждением) до 1,15. Это реальный пример из практики, а не обещание из технического паспорта.

Стоит обратить внимание: стандарты и рекомендации по жидкостному охлаждению все еще находятся в стадии развития. Такие организации, как ASHRAE, опубликовали рекомендации по теплорегулированию для центров обработки данных с жидкостным охлаждением, а проект Open Compute Project открыл исходный код некоторых проектов. Однако единого стандарта типа 'plug-and-play' пока не существует. Поэтому, общаясь с поставщиком, поинтересуйтесь его опытом работы, условиями гарантии на утечки и сетью сервисного обслуживания. Это молодая технология, и вам нужен партнер, который уже прошел через все испытания.

Итоги по жидкому охлаждению микромодулей

Жидкостное охлаждение переходит из разряда нишевых решений в мейнстрим, и микромодульные центры обработки данных идеально подходят для его применения. Повышение плотности размещения, экономия энергии и снижение показателя PUE являются слишком весомыми преимуществами, чтобы их игнорировать. Если вы планируете новое развертывание или модернизацию существующей инфраструктуры, начинайте обсуждение этого вопроса заранее. Узнайте у поставщика серверов о вариантах с жидкостным охлаждением, обсудите с партнером по системам охлаждения размеры CDU и рассчитайте совокупную стоимость владения. Технология готова — вопрос в том, готов ли к этому ваш процесс планирования.