Жидкостное охлаждение ЦОД: зачем чиллер, если вода идёт прямо к чипу
основатель и генеральный директор «Энергии холода»
При прямом охлаждении чипа компрессорный чиллер в основном режиме не нужен. К процессору идёт теплоноситель 32–40 °C, а закрытая градирня с оребрёнными трубами отдаёт контуру 29–31 °C. На дата-центре 5000 кВт охлаждение тогда тратит около 1,3 млн кВт·ч в год вместо 10,22 млн у классической чиллерной схемы, а стоимость владения падает со 105,2 до 18,9 млн ₽ в год.
Все расчёты ниже сделаны на одном объекте 5000 кВт по тарифу 10 ₽/кВт·ч. Остальные варианты, от моноблоков с фрикулингом до тригенерации, сравниваю в статье про пять схем охлаждения ЦОД.
Почему при прямом охлаждении чипа можно обойтись без холодильной машины?
Процессору не нужна холодная вода. Кристалл держит 80–90 °C, а теплоноситель к нему мы подаём при 32–40 °C. Такую температуру даёт погода, и компрессор, который делает холод ниже уличного, становится лишним.
Это хорошо видно по температурному графику (паре температур воды на подаче и в обратке системы холодоснабжения). Правило одно: чем выше температура воды, тем меньше работы у компрессора. За последние годы в дата-центрах сменилось три поколения графиков.
| Температурный график | Где применяют | Что делает компрессор |
|---|---|---|
| 7/12 °C | Классическое холодоснабжение, так строили ЦОД 10 лет назад | Работает практически круглый год |
| 12/18 °C | График под современные доводчики в машинном зале | Отдыхает половину года |
| 29/40 °C | Вода идёт прямо к процессору | Не нужен вообще |
Устроено это просто: к каждому чипу прижата пластина с каналами, через них течёт теплоноситель. Тепло уходит через модуль распределения теплоносителя (CDU) на закрытую градирню, холодильной машины в цепочке нет.
Главную мысль я формулирую так: «Самая большая экономия достигается не тем, что вы купите чиллер поэкономнее, а тем, что уберёте холодильную машину совсем».
Как выросла плотность стойки и почему воздуха уже не хватает?
Мощность серверных стоек быстро растёт. Когда стойка уходит за 50 кВт, воздухом это тепло физически не снять, и разговор сразу идёт о жидкостном охлаждении.
Пример — серверы NVIDIA GB200 и GB300 NVL72 на архитектуре Grace Blackwell. Стойка 120–140 кВт, один чип 1200–1400 Вт. Для них допускается вода на входе до 45 °C и обратка до 65 °C, это класс W45 по классификации американского инженерного общества ASHRAE. Серверы под прямое охлаждение сертифицируют Lenovo, HPE и Dell с 2018 года.
В мире без механических чиллеров работают давно. Лаборатория NREL Министерства энергетики США охлаждает вычислители водой 24 °C без механических чиллеров и держит PUE (отношение всей электроэнергии ЦОД к энергии ИТ-оборудования, идеал — 1,0) на уровне 1,036. Центр LRZ в Мюнхене подаёт на суперкомпьютер SuperMUC воду до 50 °C и снизил энергопотребление на 40 %. По отраслевой оценке, прямое охлаждение чипа занимает 47 % рынка жидкостного охлаждения для ИИ-ЦОД, а Microsoft с июля 2025 года разворачивает жидкостное охлаждение по кампусам Azure.
В России это уже не будущее: на нашем вебинаре 6 августа 2026 года участник написал, что подаёт к чипам 60–70 °C. По-моему, это высоковато: температурные режимы производителя я бы всё-таки не нарушал.
Чем заменить чиллер: закрытой градирней или драйкулером с адиабатикой?
Основной вариант — закрытая (гибридная) градирня с оребрёнными трубами. Теплоноситель идёт внутри труб по герметичному контуру, снаружи трубы орошаются водой и обдуваются вентилятором. Вода расходуется только на это орошение и с контуром не смешивается.
Когда на улице ниже +5 °C, орошение выключается, и градирня 3–5 месяцев в году работает сухой, без подпитки водой. Обмерзать ей поэтому нечему.
Оребрение (спиральные рёбра на трубе) добавляет 30–40 % поверхности теплообмена. Раньше такие трубы в Россию везли только из США. В ноябре 2025 года мы запустили на заводе в Сертолово собственную линию оребрённых труб, первую в России.
Второй вариант — драйкулер (сухой охладитель жидкости: радиатор с вентиляторами) с адиабатикой (на радиатор подаётся вода, и он охлаждается её испарением). Вариант рабочий, но драйкулер — это много алюминия, а с медными трубками ещё и дорого. И есть риск: если орошать алюминиевые ламели неподготовленной водой, соли жёсткости за два года могут вывести драйкулер из строя. Его я предлагаю, когда у заказчика серьёзная водоподготовка и сильная служба эксплуатации.
Почему градирня даёт около 30 °C даже в жару?
Градирня работает не по температуре воздуха, а по температуре мокрого термометра (самой низкой температуре, до которой воздух может охладить воду испарением). В Москве летом это 19–20 °C при сухом термометре 28–30 °C. В Петербурге при +25 °C на улице мокрая градирня отдаёт воду 19–20 °C.
Для прямого охлаждения чипа градирне достаточно выдавать 29–31 °C, поэтому запас по мокрому термометру большой. Даже если за бортом +40 °C, вода с градирни пойдёт в районе 30 °C. Это принцип действия, а не запас, и эту температуру мы прописываем в контракте.
Дождь не мешает: влажность растёт, но воздух остывает, и мокрый термометр расчётного значения не превышает. В сухом климате мокрая градирня работает даже лучше, чем в средней полосе: в пустыне при +45 °C и влажности 30 % она даёт воду около 20 °C. Мы единственные в России и СНГ члены американского института CTI, который пишет стандарты на градирни.
Сколько это экономит на дата-центре 5000 кВт?
Против классической чиллерной схемы прямое охлаждение чипа с закрытой градирней снижает потребление электричества на охлаждение в 7,9 раза, а стоимость владения — в 5,6 раза: 18,9 млн ₽ в год вместо 105,2 млн ₽. Экономия составляет 86,3 млн ₽ в год.
Условия расчёта: холодильная нагрузка 5000 кВт, круглогодичная работа, средняя полоса России, электричество 10 ₽/кВт·ч. База сравнения — классическая чиллерная схема без фрикулинга с холодильным коэффициентом (COP) 3,0.
| Показатель | Классическая чиллерная схема | Моноблоки с фрикулингом | Центробежный чиллер и мокрая градирня | Прямое охлаждение чипа и закрытая градирня |
|---|---|---|---|---|
| Электричество на охлаждение, млн кВт·ч в год | 10,22 | 5,57 | 4,7 | около 1,3 |
| Пик электричества, кВт | 1667 | 1667 | 1015–1130 | 360–410 |
| Стоимость владения, млн ₽ в год | 105,2 | 59,2 | 55,5 | 18,9 |
| Экономия против классики, млн ₽ в год | — | 46,0 | 49,7 | 86,3 |
| PUE | 1,45 и выше | 1,25–1,35 | 1,20–1,30 | 1,06–1,12 |
| Капитальные затраты | — | около 150 млн ₽ | +5–10 % к моноблокам | около 100 млн ₽ |
| Вода, тыс. м³ в год | 0 | 0 | 63 | 40 |
Отдельно о цифре «в 50 раз», которую я называю на выступлениях. Она получается за счёт перехода на прямое охлаждение чипа с градирнями вместо холодильной машины, и считается по холодопроизводящему оборудованию. В чиллерной схеме это компрессоры и вентиляторы конденсаторов, в схеме без чиллера — вентиляторы градирен: в среднем за год 1167 кВт против 25–35 кВт, то есть в 33–47 раз. Отсюда и округлённые «50 раз».
Насосы и доводчики есть в обеих схемах, поэтому по всей системе за год разница скромнее: в 7,9 раза по киловатт-часам и в 5,6 раза по деньгам. Если смотреть на весь дата-центр при средней загрузке 70 %, годовое потребление электроэнергии снижается с 42,41 до 33,49 млн кВт·ч. Серверы потребляют столько же, меняется только охлаждение.
Капитальные затраты — около 100 млн ₽ против примерно 150 млн ₽ у моноблоков с фрикулингом: машинного зала нет вообще. Окупаемость — 1,1–1,9 года. Низкий пик в 360–410 кВт уменьшает и техприсоединение, а оно стоит 47 000 ₽ за киловатт, в некоторых регионах до 100 000 ₽.
Сколько воды нужно схеме без чиллера и чем она рискует?
На объект 5000 кВт закрытые градирни расходуют около 40 тыс. м³ воды в год, чиллер с мокрой градирней — около 63 тыс. м³. Разница в том, что 3–5 месяцев в году закрытая градирня работает сухой. При цене 70 ₽ за кубометр вода и реагенты обходятся примерно в 2,8 млн ₽ в год.
Главный риск мокрой схемы — бактерии, в том числе легионелла. В мокрой градирне стопроцентная влажность и 30–35 °C, это идеальная среда для них. Методики отработаны давно: закрытая градирня, водоподготовка с дозированием биоцидов, биоконтроль.
Установка водоподготовки стоит порядка 400 тыс. ₽, химия на ЦОД 5 МВт — порядка 70 тыс. ₽ в год. Вы платите повышенной нагрузкой на службу эксплуатации, а получаете кратную экономию электроэнергии. Каждый решает сам, но, по-моему, она того стоит.
Если подготовленной воды на площадке нет, например на юге, остаются моноблоки с фрикулингом. Воды им не нужно, но на охлаждение они тратят 5,57 млн кВт·ч в год против 1,3 млн у схемы с закрытыми градирнями.
Когда компрессорный чиллер всё-таки нужен?
Чиллер остаётся в проекте как резерв, под стойки с воздушным охлаждением, на маленьких объектах и там, где нет воды. Сама схема прямого охлаждения чипа работает только с серверами, которые для этого предназначены.
1. Резерв. На случай отказа насоса закладываем схему N+1, буфер на 30–120 секунд и резервный чиллер на 10–20 % мощности. Компрессор здесь страхует, а не работает каждый день.
2. Гибридный ЦОД. Уже строят площадки, где часть стоек на жидкости, часть на воздухе. Схемы на них комбинируются, и это нормальное решение, а не компромисс.
3. Маленький объект. Ниже 1000 кВт холода мокрая градирня экономически не оправдана. Ради 100 кВт обвязка, подвод воды и служба эксплуатации себя не окупят, и я честно советую обычный компрессорный чиллер.
О протечках спрашивают первым делом. Давление первичного контура ниже атмосферного: при нарушении герметичности воздух втягивается внутрь, вода наружу не идёт, в каждом CDU стоит контроль течи. Граница ответственности проходит по CDU, до него наша гарантия по температуре, расходу и качеству воды.
По теме: как выбрать промышленную градирню, градирня или драйкулер, сколько воды расходует градирня. Все статьи — в разделе «Охлаждение ЦОД».
Что в итоге
1. При подаче к чипу 32–40 °C холод берётся у погоды: закрытая градирня с оребрёнными трубами отдаёт 29–31 °C, компрессор нужен только как резерв на 10–20 % мощности.
2. На объекте 5000 кВт стоимость владения — 18,9 млн ₽ в год вместо 105,2 млн. По всей системе охлаждения электричества уходит в 7,9 раза меньше, по холодопроизводящему оборудованию — в 33–47 раз.
3. Цена схемы — вода и водоподготовка. Без воды, на объектах меньше 1000 кВт и под воздушные стойки компрессорный холод остаётся.
Частые вопросы
Можно ли перевести на прямое охлаждение чипа обычные серверы?
Нет. Схема работает только с серверами, предназначенными для жидкостного охлаждения: на чипе должна стоять пластина с каналами под теплоноситель. Если в зале есть и воздушные стойки, схемы охлаждения комбинируют.
Правда ли, что экономия электроэнергии достигает 50 раз?
Почти, если сравнивать только холодопроизводящее оборудование: компрессоры и вентиляторы конденсаторов против вентиляторов градирен, 1167 кВт против 25–35 кВт в среднем за год, то есть в 33–47 раз. По всей системе охлаждения на объекте 5000 кВт разница в 7,9 раза по киловатт-часам и в 5,6 раза по деньгам.
Что будет, если остановится насос?
Насосы резервируют по схеме N+1, в контуре закладывают буфер на 30–120 секунд. Дополнительно ставят резервный чиллер на 10–20 % мощности.
С какой мощности ЦОД имеет смысл схема с градирнями?
От 1000 кВт холода, мокрая градирня начинается от мегаватта-полутора. На объекте около 1 МВт тоже можно сэкономить 100–300 кВт, но не так много, как на 5 МВт.
Источники
-
The Data Center Engineer: охлаждение NVIDIA GB200 и GB300 NVL72 водой 45 °C
-
Расчёт «Энергии холода» для вебинара 6 августа 2026 г., тариф 10 ₽/кВт·ч.
Подобрать схему под ваш объект — получить консультацию