Кондиционирование ЦОД: где рождаются проблемы, которых не видно на схеме

TIA-942 и Tier-классификация Uptime Institute в России используются не как обязательный норматив, а как рабочий язык с заказчиком для описания резервирования. Разница между ними в том, что TIA-942 задаёт жёсткие технические требования к конкретным элементам инфраструктуры, а методология Uptime Institute описывает результат, который система должна обеспечивать, не диктуя, как именно его достичь.

TIA-942 делит дата-центры на четыре уровня (Rated-1...Rated-4):

• Rated-1 - базовая инфраструктура: единственный тракт электропитания и охлаждения без резервирования компонентов. Любой отказ, даже плановое обслуживание, останавливает нагрузку.
• Rated-2 - резервные компоненты (например, лишний кондиционер по схеме N+1), но тракт распределения по-прежнему один. Обслуживание отдельного узла без остановки уже возможно, но общий тракт всё ещё единая точка отказа.
• Rated-3 - резервные компоненты и несколько независимых трактов распределения, из которых активно используется один, а второй в резерве. Позволяет обслуживать инфраструктуру без остановки нагрузки (concurrently maintainable).
• Rated-4 - резервные компоненты и несколько независимых трактов, которые работают одновременно, а не по очереди. Система переносит отказ любого одного элемента без прерывания работы (fault tolerant).

Tier-классификация Uptime Institute построена по той же логике, но описывает не конкретные технические решения, а обязательства по доступности:

• Tier I - базовая мощность без резервирования: для обслуживания оборудование нужно останавливать.
• Tier II - есть резервные компоненты (обычно N+1), но единственный тракт распределения; часть работ по-прежнему требует остановки.
• Tier III - все критичные компоненты и тракты можно обслуживать без остановки нагрузки (concurrently maintainable), но резервный тракт при этом не работает постоянно, а подключается при необходимости.
• Tier IV - отказоустойчивая инфраструктура: независимые тракты работают одновременно, и система переживает отказ любого одного элемента без остановки нагрузки.

Именно на стыке этих уровней чаще всего случается разрыв между тем, что заявлено (Tier III, Rated-3), и тем, что система реально выдержит при отказе одного элемента: сама классификация не проверяет, как ведёт себя воздух в зале при переключении на резерв.

Резервирование и запас: сколько закладывать?

Общепринятая практика в России - два разных запаса, которые часто путают:

1. Эксплуатационный запас, 15-25% сверх расчётной тепловой нагрузки на текущем этапе - компенсирует деградацию теплообменников, точность приборов, локальные пики.
2. Стратегический запас, 30-50% от текущей нагрузки - под рост ИТ-нагрузки на горизонте 5-10 лет без переноса оборудования в другую зону, чего прямо требует СП 541.1325800.2024.

Схему резервирования нужно выбирать исходя из того, от какого именно отказа она защищает, а не просто ориентируясь на заявленный уровень надёжности (Tier) как на формальную галочку. Три основные схемы:

• N - ровно столько оборудования, сколько нужно для текущей нагрузки, без резерва. Отказ любого элемента означает потерю охлаждения на соответствующем участке.
• N+1 - к необходимому количеству кондиционеров (N) добавлен один резервный. Схема защищает от отказа одной единицы оборудования, но не от отказа общей для этой группы инфраструктуры: чиллера, насосной группы, трубопровода или ввода электропитания, от которых запитаны и основные, и резервный кондиционер.
• 2N - полное дублирование: два независимых комплекта оборудования, каждый из которых способен в одиночку покрыть всю нагрузку, со своими независимыми контурами холодоснабжения и электропитания. Защищает даже от отказа целого тракта, а не только отдельного узла, и используется там, где заявлен Tier IV или Rated-4.

Частая ошибка проектирования: резервный кондиционер по схеме N+1 стоит рядом с основным и запитан от того же ввода электроснабжения или того же чиллерного контура. Формально N+1 выполнен, а по факту единая точка отказа осталась - просто переместилась с уровня кондиционера на уровень контура, который его питает.

Нюансы, которые не видны на схеме воздухораспределения

Больше всего проблем в эксплуатации ЦОД создают не отказы оборудования, а следующие вещи:

Байпас и рециркуляция воздуха. Горячий воздух из задней части стойки частично возвращается в холодный коридор через технологические зазоры: незаделанные кабельные вводы, зазоры между стойками и торцами ряда, отсутствующие заглушки в свободных юнитах. В расчётной модели этого байпаса нет, но именно он создаёт локальные зоны перегрева на верхних юнитах при формально достаточной суммарной холодопроизводительности.

Смешение потоков над рядами. При высоких стойках или неполной высоте изоляции коридора тёплый воздух перетекает через верх в холодный коридор, особенно при разнице в высоте оборудования в соседних стойках.

Точка росы и влажность. Прецизионные кондиционеры регулируют температуру, но при избыточном осушении или, наоборот, недостаточном контроле влажности возникает риск конденсата на теплообменниках или статического электричества при слишком сухом воздухе. Оба сценария нормируются в СП 60.13330, но на практике зависят от локальных отклонений параметров воздуха в разных точках зала, а не от среднего значения, которое обычно используется в проектных расчётах.

Неравномерность раздачи через фальшпол. Перфорированные плитки рядом с кондиционером отдают больше воздуха, чем плитки в конце холодного коридора, из-за падения статического давления по длине воздуховода фальшпола. Стойки в конце ряда получают меньше холодного воздуха, чем заложено в расчёте на «среднюю» плитку.

Изменение тепловой нагрузки во времени. Проект обычно считается на номинальную загрузку стоек, но реальная ИТ-нагрузка растёт неравномерно и часто локально: несколько высоконагруженных стоек создают точечные тепловые пики, не учтённые при усреднённом расчёте на зал.

Все эти эффекты объединяет одно: они пространственные и нестационарные, а классический расчёт по балансу тепла (сумма тепловыделения равна сумме холодопроизводительности) - интегральный и стационарный. Он показывает, что оборудования в принципе достаточно, но не показывает, куда реально движется воздух и где будет локальный перегрев.

Где здесь помогает CFD-моделирование?

CFD (вычислительная гидромеханика) считает именно то, что не даёт балансовый расчёт: реальную трёхмерную картину течения и теплообмена в зале ЦОД, а не одно среднее значение на весь объём помещения.

Применительно к разобранным выше задачам это даёт несколько практических возможностей:

• Визуализация и количественная оценка байпаса и рециркуляции. Расчёт строится на полной геометрии зала (стойки, фальшпол, воздуховоды, кабельные лотки), поэтому зазоры и негерметичность закладываются в модель явно, а не постулируются нулевыми, как в балансовом расчёте. Результат - карта температур на входе в каждую стойку по высоте, а не одно среднее значение по залу.
• Сопряжённый теплообмен между воздухом, корпусами оборудования и ограждающими конструкциями - учитывает, что часть тепла уходит через стены и перекрытия, а не только конвекцией в воздух, что особенно значимо для встроенных в здание технологических зон по СП 541.1325800.2024.
• Моделирование неравномерности раздачи через перфорированные плитки фальшпола с учётом падения давления по тракту: турбулентные модели k-ε и SST дают инженерно приемлемую точность без избыточных вычислительных затрат, характерных для более тяжёлых вихреразрешающих подходов.
• Сценарный анализ отказа и резервирования. Можно явно смоделировать выход из строя одного кондиционера или контура и посмотреть, успевает ли соседнее оборудование перекрыть нагрузку до превышения допустимой температуры на входе в оборудование и за какое время. Это прямая проверка того, что заявленный уровень отказоустойчивости и схема резервирования N+1 реально работают на конкретной геометрии зала, а не просто заявлены в спецификации.
• Проверка проектных решений на рост нагрузки. Запас 15-25% и 30-50%, о котором говорилось выше, можно не декларировать «на глаз», а проверить расчётом: смоделировать зал с проектной и с увеличенной на прогнозный процент нагрузкой и увидеть, где именно (а не «в целом по залу») появится дефицит охлаждения при росте ИТ-мощности.
• Нестационарный анализ переходных процессов. Включение резерва, отказ звена, скачок нагрузки растянуты во времени, и здесь важно не только конечное состояние, но и то, успевает ли система отреагировать раньше, чем оборудование выйдет за пределы допустимой температуры (актуально для оборудования с жёсткими требованиями к троттлингу).

❮❯

×❮❯

Итог

Нормативная база для проектирования ЦОД в России за последние два года стала заметно более определённой: появился профильный СП 541.1325800.2024, обновлена климатология в СП 131.13330.2025, а Tier-классификация Uptime Institute и TIA-942 остаются рабочим языком для формулирования требований заказчика к резервированию.

Но ни один из этих документов не отменяет главного риска проектирования охлаждения ЦОД: балансовый расчёт тепловыделения против холодопроизводительности подтверждает, что оборудования достаточно в сумме, но не показывает, куда реально пойдёт воздух и где возникнет локальный перегрев при байпасе, неравномерной раздаче через фальшпол или отказе одного из резервных элементов. Именно эту картину даёт CFD-моделирование, и именно поэтому его стоит подключать не после жалоб на перегрев, а на стадии проектирования, пока изменить геометрию зала и схему резервирования ещё дёшево.

Нужна проверка проекта? Если вы проектируете ЦОД или уже столкнулись с локальным перегревом в существующем зале, разумнее один раз смоделировать реальную картину течения воздуха, чем гадать по балансовому расчёту. Команда Датомикс проводит CFD-моделирование систем охлаждения ЦОД: от проверки схемы резервирования и запаса мощности до поиска причин перегрева в уже работающем зале.