Охлаждение ЦОД ·

Охлаждение ЦОД: пять схем на 5000 кВт и сколько каждая стоит в год

Холодильный центр ЦОД на 5000 кВт по классической чиллерной схеме потребляет 10,22 млн кВт·ч и стоит 105,2 млн ₽ в год при тарифе 10 ₽/кВт·ч. Моноблок с фрикулингом снижает эту сумму до 59,2 млн ₽, центробежный чиллер с мокрой градирней — до 55,5, газовая абсорбционная машина — до 43,4, прямое охлаждение чипа — до 18,9 млн ₽ в год.

Все цифры в статье — стоимость владения: электричество, газ, вода, реагенты и сервис за год. Мы посчитали все схемы на одном объекте: 5000 кВт холода, средняя полоса России, работа круглый год, электричество 10 ₽/кВт·ч, газ 7 ₽/м³. При другом тарифе меняется только электрическая строка.

Почему от температуры воды зависит, сколько стоит холод?

Чем выше температура воды в системе, тем меньше работы у компрессора. На этом правиле стоят все пять схем, а три температурных графика — это три поколения дата-центров.

На графике 7/12 °C, как строили ЦОД десять лет назад, компрессор работает практически круглый год. На 12/18 °C, под современные доводчики, он отдыхает половину года. На 29/40 °C вода идёт прямо к процессору, и компрессор не нужен вообще.

Три температурных графика ЦОД: при 7/12 °C компрессор работает практически круглый год, при 12/18 °C отдыхает половину года, при 29/40 °C не нужен вообще.
Рис. 1. Три поколения температурных графиков ЦОД: на 29/40 °C вода идёт прямо к процессору, и компрессор не нужен.

Последний график только кажется невозможным. NVIDIA GB200 и GB300 NVL72 принимают воду на входе до 45 °C (класс ASHRAE W45), а кристалл держит 80–90 °C. Мы подаём к чипу 32–40 °C.

Второй рычаг — источник энергии: газ и бросовое тепло освобождают киловатты сети под вычисления.

Сколько экономит моноблочный чиллер с фрикулингом?

Моноблок с фрикулингом (свободным охлаждением: холод берётся от наружного воздуха без работы компрессора) на 5000 кВт стоит 59,2 млн ₽ в год против 105,2 у классики. Экономия — 46,0 млн ₽ в год, электричества уходит в 1,8 раза меньше, чем у схемы без свободного охлаждения.

Когда на улице теплее уставки, работают компрессоры. Когда холоднее гликоля, трёхходовой клапан переводит поток через секцию свободного охлаждения, а в мороз она берёт всю нагрузку. В средней полосе это около 4500 часов в год, на юге около 3000, на севере около 6000.

Отсюда растёт COP (холодильный коэффициент: сколько киловатт холода получаем на киловатт электричества): номинальный 3,0, сезонный 5,5. Годовое потребление — 5,57 млн кВт·ч, или 55,7 млн ₽. Вода не нужна, капитальные затраты около 150 млн ₽, PUE (отношение всей энергии ЦОД к энергии ИТ-оборудования) — 1,25–1,35.

Схему без фрикулинга в России мы вообще не рассматриваем: смысла нет. Но у моноблока два честных минуса. Это самое высокое потребление из пяти схем, и фрикулинг не снижает пик: летом он остаётся на уровне 1667 кВт, и техприсоединение считается по нему. И следите за уставкой перехода: настройка по умолчанию съедает до трети бесплатных часов.

Когда выгоднее центробежный чиллер с мокрой градирней?

Центробежный чиллер с мокрой градирней выгоднее, когда на площадке есть вода и служба, готовая вести водоподготовку. Стоимость владения — 55,5 млн ₽ в год, электричества в 2,2 раза меньше, чем у классики: 4,7 млн кВт·ч, или 47,0 млн ₽.

Холодильный коэффициент здесь 6,0–7,0. Работают два фактора: безмасляный центробежный компрессор на газодинамическом подшипнике и конденсация на воду при 35 °C вместо 55 °C у воздушного конденсатора. Мокрая градирня работает по мокрому термометру: в Москве это 19–20 °C против сухих 28–30 °C.

Зимой включается пластинчатый теплообменник, и компрессор выключается. Пик системы — 1015–1130 кВт, PUE — 1,20–1,30.

Плата за эффективность — вода. Схема берёт около 10 м³/ч, это 4,4 млн ₽ в год. В мокрой градирне влажно и тепло, поэтому нужны водоподготовка и биоконтроль против легионеллы. Установка водоподготовки стоит порядка 400 тыс. ₽, химия на ЦОД в 5 МВт — порядка 70 тыс. ₽ в год.

Моноблок с фрикулингом и центробежный чиллер с градирней по деньгам близки: 59,2 и 55,5 млн ₽ в год. Выбор между ними решает не экономика, а наличие подготовленной воды на площадке.

Можно ли охлаждать ЦОД без холодильной машины?

Да, если серверы рассчитаны на жидкостное охлаждение. Прямое охлаждение чипа с закрытой градирней обходится в 18,9 млн ₽ в год: около 1,3 млн кВт·ч, или 13,1 млн ₽ электричества. По всей системе за год это в 7,9 раза меньше классики по киловатт-часам и в 5,6 раза по деньгам.

К каждому чипу прижата пластина с каналами, через неё течёт теплоноситель. Закрытая градирня с оребрением отдаёт на CDU (модуль распределения теплоносителя) воду 29–31 °C, к чипу идёт гликоль 32–40 °C. Контур герметичен, вода тратится только на орошение трубок снаружи. При наружной температуре ниже +5 °C орошение выключается, и 3–5 месяцев в году градирня работает сухой.

На вебинаре я открывал разговор так: «Самая большая экономия достигается не тем, что вы купите чиллер поэкономнее, а тем, что уберёте холодильную машину совсем». По холодопроизводящему оборудованию разница с чиллерной схемой — в 33–47 раз: в среднем за год 1167 кВт компрессоров и вентиляторов конденсаторов против 25–35 кВт вентиляторов градирен. Насосы и доводчики есть в обеих схемах, поэтому в этом сравнении они не участвуют.

Пик системы — 360–410 кВт, капитальные затраты около 100 млн ₽ против примерно 150 у моноблока, PUE — 1,06–1,12, окупаемость — 1,1–1,9 года. В мире так работает NREL ESIF, лаборатория Минэнерго США: вода 24 °C, механических чиллеров нет, PUE 1,036. Суперкомпьютер SuperMUC в Мюнхене берёт воду до 50 °C и тратит на 40 % меньше энергии.

Ограничение одно: схема работает только с серверами, предназначенными для жидкостного охлаждения. Давление первичного контура ниже атмосферного, поэтому при нарушении герметичности воздух втягивается внутрь, а вода наружу не идёт.

Зачем дата-центру газовая абсорбционная машина?

Газовая абсорбционная машина нужна там, где сеть не даёт электрической мощности. Пик потребления холодильного центра на 5000 кВт падает с 1667 до 230 кВт. Освобождается 1437 кВт — это 28 полных стоек по 50 кВт, а при техприсоединении 47 000 ₽ за киловатт — 67 млн ₽.

Работу компрессора здесь делает тепло от сжигания газа: горелка выпаривает раствор бромида лития, фреона и механического компрессора нет. Внутри машины вакуум 6 мм ртутного столба, вода кипит при 3,5 °C.

Сама абсорбционная машина потребляет 5–10 кВт электричества на мегаватт холода, компрессорная — 300–350 кВт: по самой холодильной машине разница в 30–70 раз. Станция в сборе с градирнями и насосами — около 46 кВт на мегаватт.

За год схема сжигает 2,44 млн м³ газа на 17,1 млн ₽, берёт 1,41 млн кВт·ч электричества на 14,1 млн ₽ и 12,5 м³/ч воды на 6,2 млн ₽. Стоимость владения — 43,4 млн ₽ в год, киловатт-час холода — 1,9 ₽ против 4,6 ₽ у классики. Капитальные затраты — 325 млн ₽, окупаемость — 2,2 года, PUE — 1,15–1,25.

Границы называю сам: если газ дороже 11 ₽/м³ или электричество дешевле 5 ₽/кВт·ч, схема теряет смысл. Самый сильный пример — судебный квартал в Петербурге: 12 000 кВт, четыре абсорбционные машины на природном газе, объект в реализации. На Петроградской стороне столько электроэнергии взять негде, на электрических чиллерах проект бы не состоялся.

«Энергия холода» — эксклюзивный представитель Thermax. В мире абсорбционные машины занимают порядка 30 % мощного холода, в России — порядка 5 %, а Vertiv и Tecogen в 2025 году объявили партнёрство по газовому охлаждению дата-центров.

Когда окупается тригенерация для ЦОД?

Тригенерация на холодильном центре 5000 кВт окупается за 1,9 года при капитальных затратах 715 млн ₽. Энергозатраты всего объекта падают с 443,5 до 133,5 млн ₽ в год, экономия — 310,0 млн ₽ в год. Стоимость владения холодом — 17,1 млн ₽ в год.

ГПУ (газопоршневая установка) сжигает газ и даёт электричество прямо на ИТ-нагрузку. С мегаватта газа получается примерно 500 кВт электричества и 500 кВт бросового тепла. Мы забираем горячую воду 90–95 °C и отдаём абсорбционной машине, и она превращает это тепло в холод. Топливо используется на 85 % вместо 35–40 %.

Своя электроэнергия обходится в 3,45 ₽/кВт·ч против сетевых 10 ₽, в расчёте учтены газ и сервис ГПУ по 1,3 ₽/кВт·ч.

Минусы: 715 млн ₽ на входе и два сервисных контракта. Мировой пример — Green Data Center Сиракузского университета и IBM: микротурбины Capstone и абсорбционные машины Thermax, минус 50 % энергии. У нас референс по дата-центрам — Центральное таможенное управление в Москве: микротурбины Capstone и две машины Thermax, часть холода идёт на серверные, проект примерно 2014 года, всё работает.

Какую схему выбрать: сравнение пяти схем на 5000 кВт

Схема Пик электричества, кВт Электричество, млн кВт·ч/год Стоимость владения, млн ₽/год Капзатраты, млн ₽ PUE Окупаемость
Классика: чиллеры 1667 10,22 105,2 — 1,45+ база сравнения
Моноблок с фрикулингом 1667 5,57 59,2 ~150 1,25–1,35 меньше 1 года
Центробежный чиллер + мокрая градирня 1015–1130 4,7 55,5 +5–10 % к моноблоку 1,20–1,30 —
Прямое охлаждение чипа 360–410 ~1,3 18,9 ~100 1,06–1,12 1,1–1,9 года
Газовая абсорбционная машина 230 1,41 + 2,44 млн м³ газа 43,4 325 1,15–1,25 2,2 года
Тригенерация: ГПУ + абсорбционная машина 230 своих 1,41 своей 17,1 715 — 1,9 года

Окупаемость здесь — разница капитальных затрат со схемой сравнения, делённая на годовую экономию в стоимости владения.

Стоимость владения схем охлаждения ЦОД на 5000 кВт, млн ₽ в год: чиллеры 105,2, моноблок с фрикулингом 59,2, центробежный чиллер с мокрой градирней 55,5, прямое охлаждение чипа 18,9, газовая абсорбционная машина 43,4, тригенерация 17,1. Пик электричества, кВт: 1667, 1667, 1015–1130, 360–410, 230 и 230 своих.
Рис. 2. Пять схем на объекте 5000 кВт: прямое охлаждение чипа стоит 18,9 млн ₽ в год против 105,2 у классики, газовая машина снижает пик с 1667 до 230 кВт.

Выбор сводится к четырём вопросам. Стойки уходят за 50 кВт — воздухом такую плотность не снять, нужно прямое охлаждение чипа. Сеть не даёт мощности — газовая абсорбционная машина или тригенерация. Есть рядом бросовое тепло, пар, ГПУ или котельная — абсорбционная машина на горячей воде или паре окупается быстрее всех.

Нет подготовленной воды — моноблок с фрикулингом, есть вода — мокрая градирня. Схемы можно сочетать: часть стоек на жидкости, часть на воздухе — это нормально.

Что заложить в смету, кроме оборудования?

Техприсоединение. 47 000 ₽ за киловатт, в некоторых регионах до 100 000 ₽. С этой строкой в смете варианты с электрическими чиллерами часто отпадают сразу.

Режим неполной нагрузки. В пике дата-центр работает 5–7 дней в году, поэтому считать надо сезонную эффективность, а не паспортную точку из каталога.

Капремонт и расходники. Капремонт компрессоров на десятом году — половина стоимости машины. Гликоль меняют каждые 3–5 лет.

Вода и реагенты. Отдельная строка эксплуатации для всех мокрых схем. Тариф на водоотведение уточняем по региону.

Строительная часть. Зал под две абсорбционные машины — 15 × 8–10 м, высота от 5,5 м: рядом с каждой нужно место для выемки трубок теплообменника.

Подробнее о каждой схеме: жидкостное охлаждение ЦОД без чиллера, АБХМ, когда не хватает электрической мощности, фрикулинг в чиллере, тригенерация. Все статьи темы — в разделе «Охлаждение ЦОД».

Что в итоге

Деньги в охлаждении ЦОД определяет схема, а не марка чиллера. Между моноблоком с фрикулингом и прямым охлаждением чипа на одном объекте 5000 кВт — 40 млн ₽ в год.

Если стойки плотные и серверы на жидкости, самая дешёвая в эксплуатации схема — без холодильной машины: 18,9 млн ₽ в год. Если сеть не даёт мощности, газовая машина и тригенерация освобождают киловатты под вычисления.

Решение принимается один раз, на стадии проекта, и до оплаты техприсоединения. После — главный аргумент в пользу газа и абсорбции уже потрачен.

Частые вопросы

Какой PUE бывает у разных схем охлаждения?

Средний PUE по отрасли — 1,6–1,8. У классической чиллерной схемы на 5000 кВт — 1,45 и выше, у прямого охлаждения чипа — 1,06–1,12.

Обмерзает ли мокрая градирня зимой?

В серии VR центробежный вентилятор стоит внизу, над тёплым помещением, обмерзать там нечему. В закрытых градирнях трубки оребрены, а при +5 °C орошение отключается и аппарат уходит в сухой режим на 3–5 месяцев. Плата за это — центробежный вентилятор потребляет больше осевого.

Безопасна ли абсорбционная машина в дата-центре?

Внутри вакуум, рабочее вещество — деминерализованная вода и бромид лития. При разгерметизации воздух заходит внутрь, наружу ничего не выходит. Перед отгрузкой каждую машину проверяют гелиевым тестом, ставят её в отапливаемое помещение по нормам котельной.

Нужна ли мокрая градирня небольшому ЦОД?

Ниже 1000 кВт холода мокрая градирня экономически не оправдана: обвязка, подвод воды и служба эксплуатации не окупаются. Для такого объекта честнее и дешевле обычный компрессорный чиллер.

Источники

  • NREL ESIF, лаборатория Министерства энергетики США: прямое жидкостное охлаждение водой 24 °C без механических чиллеров, PUE 1,036.

  • LRZ, Мюнхен, суперкомпьютер SuperMUC: вода на входе до 50 °C, минус 40 % энергопотребления.

  • Сиракузский университет и IBM, Green Data Center: 12 микротурбин Capstone и абсорбционные машины Thermax, минус 50 % энергии.

  • Vertiv и Tecogen, 2025: партнёрство по газовому охлаждению дата-центров с ограниченной мощностью.

  • Расчёт «Энергии холода» для вебинара 6 августа 2026 г., тариф 10 ₽/кВт·ч.

Подобрать схему под ваш объект — получить консультацию

Нужна консультация по охлаждению?

Опишите объект и задачу. Инженеры «Энергии холода» ответят в течение рабочего дня, сложные случаи смотрю лично. Быстрый вопрос — в Telegram @nct_admin.

Получить консультацию