Планирование вместимости серверов в стойке: что на самом деле ограничивает количество шкафов

Краткий ответ: в стандартную стойку высотой 42U можно разместить от нескольких десятков серверов высотой 1U до всего лишь нескольких узлов с графическими процессорами высокой плотности. Однако реальным ограничением редко является сама стойка — скорее это питание, охлаждение и вес. Таким образом, планирование вместимости серверов в стойке сводится к поиску баланса между физическим пространством и инфраструктурой, обеспечивающей работу этих серверов. В этой статье подробно описан практический метод оценки необходимого количества шкафов.

Начните с физического пространства: высота U и глубина сервера

Стандартная 19-дюймовая стойка измеряется в единицах высоты (U), где 1U = 1,75 дюйма (44,45 мм). Большинство шкафов полной высоты предоставляют 42U или 45U полезного пространства. Первый расчет прост: разделите общее количество U на высоту вашего сервера. Для серверов 1U это 42 потенциальных слота. Для серверов 2U — 21. Для серверов 4U — 10. Но вы не заполните каждую U — вам понадобятся зазоры для циркуляции воздуха, прокладки кабелей, а иногда и для заглушек.

Глубина имеет не меньшее значение. Сервер формата 1U может иметь глубину 20 дюймов или 30 дюймов. В неглубокие шкафы (600 мм) не поместятся серверы большой глубины, если только не использовать выдвижные направляющие или удлинители. Всегда сверяйте максимальную глубину сервера с полезной глубиной шкафа — не забудьте оставить место для задних пучков кабелей и шнуров питания. На практике многие руководители центров обработки данных планируют заполнение шкафа не более чем на 80%, оставляя запас для технического обслуживания и циркуляции воздуха.

Мощность на стойку: настоящее «узкое место»

Именно на этом этапе большинство планов по расчету мощности терпят крах. Типичный сервер высотой 1U потребляет под нагрузкой 200–400 Вт. Если разместить 40 таких серверов, это составит 8–16 кВт на стойку. Однако PDU стойки и автоматический выключатель могут поддерживать только 8,8 кВт или 12 кВт. Поэтому фактическое количество серверов быстро сокращается. При планировании вместимости серверов в стойке необходимо знать энергетический бюджет стойки, который обычно определяется конфигурацией системы бесперебойного питания (ИБП) и системы охлаждения объекта.

Давайте рассмотрим краткий пример. Предположим, что ваш серверный шкаф имеет энергетический бюджет 10 кВт, а средняя мощность каждого сервера составляет 350 Вт. В этом случае вы сможете разместить максимум 28 серверов (10 000 Вт ÷ 350 Вт). Но если добавить резервирование — например, питание по схеме N+1 — вы сможете использовать только 80% этого бюджета, в результате чего количество серверов сократится до 22. Это огромная разница. Поэтому всегда планируйте с учётом реальной загрузки, а не только пиковых значений.

В этой таблице предполагается отсутствие резервирования питания и полная загрузка. В реальных условиях придётся снизить номинальную мощность. Более безопасным подходом является использование 70–80% от номинальной мощности стойки для нормальной работы, оставляя запас на пиковые нагрузки и переключение на резервный источник питания.

Охлаждение и циркуляция воздуха: не позволяйте жаре решать за вас

Даже если у вас есть достаточно мощности, тепло станет препятствием. Стойка, заполненная серверами формата 1U, может легко выделять 10–15 кВт тепла. Стандартная система охлаждения помещения с подачей воздуха температурой 20–25 °C способна справляться с 5–8 кВт на стойку, прежде чем появятся горячие точки. Именно поэтому проектировщики центров обработки данных используют систему разделения на «горячий» и «холодный» проходы, а иногда и жидкостное охлаждение для стоек высокой плотности.

Практическое правило: для стоек с воздушным охлаждением плотность мощности не должна превышать 10 кВт на стойку, если у вас нет системы локализации. Для систем с жидкостным охлаждением можно выходить за эти пределы, но это уже другой подход к проектированию. Поэтому, рассчитывая количество серверов на стойку, проверьте, холодопроизводительность на каждый стойку — а не только общий тоннаж помещения. Специалисты по охлаждению могут сообщить вам предельное значение для каждой стойки, либо вы можете измерить его с помощью тепловизионной камеры.

Вес, кабели и доступ для технического обслуживания

Полностью загруженная стойка может весить более 1 000 кг. Большинство фальшполов рассчитаны на такую нагрузку, но не все. Проверьте допустимую нагрузку на пол и статическую грузоподъёмность стойки. Если установка производится на втором этаже, может потребоваться консультация инженера-конструктора. Кроме того, не забывайте о весе кабелей — плотная медная кабельная разводка быстро увеличивает общую нагрузку.

Еще одним скрытым ограничением является организация кабелей. Каждому серверу требуются кабели питания и сетевые кабели. При наличии 30 серверов это составляет более 60 кабелей. Если не оставить вертикальное пространство для кабельных органайзеров, вам будет сложно выдвинуть сервер для технического обслуживания. Планируйте как минимум 1U пространства для горизонтальной прокладки кабелей на каждые 4–6U серверов. А также оставьте несколько пустых U вверху и внизу для прокладки кабелей.

Простая пошаговая инструкция по планированию количества серверов на стойку

1. Укажите модели ваших серверов, а также их высоту в единицах U, глубину и максимальную потребляемую мощность.
2. Определите полезную высоту в юнитах (U) вашего стойки (обычно 42U) и вычтите 10–15% для обеспечения воздушного потока и прокладки кабелей.
3. Проверьте номинальную мощность PDU в стойке и номинальный ток автоматического выключателя. В качестве безопасного запаса мощности используйте 80% от этих значений.
4. Разделите безопасный энергетический бюджет на среднюю мощность сервера, чтобы получить количество, основанное на энергопотреблении.
5. Проверьте холодопроизводительность на одну стойку. Если предельное значение холодопроизводительности ниже, чем бюджет мощности, используйте его в качестве верхнего предела.
6. Уточните допустимую нагрузку на пол и статическую грузоподъемность стеллажа.
7. Возьмите наименьшее число из шагов 2, 4, 5 и 6 — это и будет ваше фактическое количество серверов.

Этот метод позволит вам избежать неприятностей. Например, в стойке высотой 42U с серверами высотой 1U, потребляющими по 350 Вт каждый, при энергопотреблении 10 кВт и ограничении на охлаждение 8 кВт максимальное количество серверов составит 22 (8 000 ÷ 350). Физически туда может поместиться 35 серверов, но это приведёт к срабатыванию автоматических выключателей или перегреву.

Почему это важно для вашего центра обработки данных

Правильное расчетное количество серверов влияет на показатель PUE, время безотказной работы и капитальный бюджет. Перегрузка стоек приводит к появлению «горячих точек» и преждевременному выходу оборудования из строя. Недостаточная загрузка приводит к растрате пространства и неэффективному распределению электроэнергии. Планирование вместимости серверов в стойке — это не просто размещение оборудования, а проектирование надежной и эффективной системы.

Компания VERHI предлагает высокоточные системы кондиционирования, системы бесперебойного питания (ИБП) и микромодульные центры обработки данных, которые помогут вам эффективно управлять плотностью энергопотребления и охлаждения. Наши инженеры часто помогают клиентам пересчитать количество стоек при переходе на серверы с более высокой плотностью. Хотя мы не публикуем здесь конкретные технические характеристики продукции, мы готовы подробно обсудить ваши потребности в области энергоснабжения и охлаждения.