Охлаждение ЦОД: 25 вопросов и 7 схем до тендера на оборудование

Это White Paper (аналитический обзор) для тех, кто проектирует, строит или модернизирует центр обработки данных и хочет выбрать охлаждение под ресурсы своей площадки: электричество, воду, газ. Мы свели практику в матрицу из 7 типовых схем и 25 вопросов, на которые команде — главному инженеру, IT-директору и финансам — стоит ответить до того, как открывать тендер на оборудование. Каждый вопрос сужает выбор, иногда сразу отсекает половину схем. Главный вывод: для AI/HPC-кластеров (искусственный интеллект и высокопроизводительные вычисления) закрытая мокрая градирня без чиллера тратит на охлаждение в 10 раз меньше электричества, чем классический моноблочный чиллер. Для ЦОД на 10 МВт это сотни миллионов рублей в год.

Что внутри

• Почему охлаждение — главная статья OPEX (операционных затрат) современного ЦОД.

• 7 типовых схем: от моноблочного чиллера до закрытой градирни без чиллера. По каждой — когда выбирать, сильные стороны и ограничения.

• Алгоритм выбора по доступной энергии: 5 сценариев, от «только электричество» до нового ЦОД под AI/HPC.

• 25 вопросов в 6 блоках: параметры объекта, вода и площадка, электричество и газ, эксплуатация, резервирование и риск, экономика и принятие решения.

• Сравнительная матрица 7 решений для ЦОД на 1000 кВт: CAPEX (капитальные затраты), OPEX, вода, PUE, ключевое ограничение.

• Расчёт TCO (совокупной стоимости владения) для AI/HPC ЦОД на 10 МВт.

Главное из материала

Воздух упёрся в потолок. Двадцать пять лет назад стойка потребляла 2–5 кВт, сейчас AI- и HPC-нагрузки требуют 200+ кВт. Воздухом даже с изоляцией коридоров и оптимизированными CRAH (шкафными кондиционерами машзала) можно снять не более 30 кВт на стойку, дальше только жидкость на уровне чипа. Вода в объёме переносит в 3500 раз больше тепла, чем воздух.

На охлаждение уходит 30–50% электричества ЦОД. Для ЦОД на 10 МВт с PUE 1,4 это около 2 МВт средней мощности, порядка 17,5 млн кВт·ч и 120+ млн рублей в год при тарифе 7 ₽/кВт·ч. Схема внешнего отвода тепла определяет 80–85% этой суммы.

Сначала отсекаем по ресурсам, потом сравниваем деньги. Что есть на площадке — электричество, вода, газ, — то и решает, какие из семи схем вообще рассматриваются. Без подключения к водопроводу остаются только моноблок и чиллер с фрикулингом. Если лимит мощности от сетей не больше 1,5 IT-нагрузки, фреоновый чиллер с PUE 1,4 не пройдёт: нужны схемы с PUE ≤ 1,2 или АБХМ на газе.

Температура подачи решает судьбу чиллера. Подача 7 °C — фреоновый чиллер обязателен. 10–18 °C — чиллер с фрикулингом. 25–35 °C при жидкостном охлаждении — чиллер можно убрать совсем.

Градирня вместо холодильной машины. Закрытая оребрённая градирня NCT стоит дешевле фреоновой машины той же мощности. При +35 °C на улице она выдаёт +25–30 °C, и этого хватает для подачи около 30 °C к чипам по схеме Direct-to-Chip (жидкость подводится прямо к процессору). Вентилятор стоит снизу, поэтому обмерзнуть она физически не может. В расчёте для Астрахани (сухой термометр 39 °C, мокрый 28 °C) градирня держит нужную температуру без чиллера 99%+ часов в году.

10 МВт: 122 против 18 млн рублей в год. Вариант с фреоновым чиллером тратит на охлаждение в среднем около 2 МВт — 17,5 млн кВт·ч и 122 млн ₽ в год. Закрытая испарительная градирня без чиллера — около 0,3 МВт, 2,6 млн кВт·ч и 18 млн ₽. Экономия 104 млн ₽ в год, дельта CAPEX вместе с резервным чиллером на пиковые часы окупается за 1,5–2,5 года.

Чиллер остаётся, но как резерв. Для AI/HPC-кластера в средней полосе мы рекомендуем закрытую градирню с резервным чиллером на 10–20% мощности. Он закрывает 100–500 пиковых часов в году: жару и остановки градирен на обслуживание.

Фреон в машзале — пожарный риск. При пожаре из фреонового чиллера может уйти 50–500 кг хладагента с возможным образованием фосгена. Безфреоновые решения — АБХМ, адиабатический драйкулер, градирня без чиллера — этого риска лишены.

Кому пригодится

• Проектировщикам и главным инженерам ЦОД, которые выбирают схему охлаждения для нового объекта или модернизации.

• IT-директорам, у которых в планах стойки на 50+ кВт под AI/HPC.

• Финансовым директорам, которые сравнивают варианты по TCO на 10 лет.

• Заказчикам с жёстким лимитом электрической мощности от сетей или без свободной воды.

Частые вопросы

Какая схема охлаждения ЦОД самая дешёвая в эксплуатации?

Для нового ЦОД под жидкостное охлаждение — закрытая градирня без чиллера. В сравнительной матрице для 1000 кВт у неё OPEX около 1,5–2 млн ₽ в год против примерно 14,5 млн ₽ у моноблочного чиллера и PUE 1,06–1,12. Ограничение одно: она работает только с жидкостным охлаждением на уровне стойки, для классического машзала с подачей 7 °C не подходит.

Когда для ЦОД выгодна АБХМ на газе?

Когда есть природный газ по промышленному тарифу 6–9 ₽/м³, когенерация на площадке или жёсткий лимит мощности от сетей. Сама АБХМ берёт около 3 кВт электричества на 1 МВт холода, вместе с градирней и насосами — около 28 кВт. При тарифе на электричество 10+ ₽/кВт·ч она выгодна даже без бросового тепла. Минусы — CAPEX в 2–3 раза выше моноблока и выход на режим около 30 минут.

Зачем тогда ставят моноблочный чиллер?

Ради дешёвого старта: около 13 млн ₽ на 1000 кВт, без воды и водоподготовки, нужен только подвод электричества. Он уместен для региональных ЦОД до 700 кВт, тестовых стендов и резервных машзалов. Расплата — самый высокий OPEX: при COP около 3 на каждый киловатт холода уходит 0,33 кВт электричества.

Читайте также

• Охлаждение ЦОД: пять схем на 5000 кВт и сколько каждая стоит в год

• Жидкостное охлаждение ЦОД: зачем чиллер, если вода идёт прямо к чипу

• АБХМ для ЦОД: как освободить 1 437 кВт, когда не хватает мощности

Нужен расчёт под ваш объект — получить консультацию