NVIDIA Rubin: горячая жидкость вместо холодного дата-центра
NVIDIA заложила для Rubin DSX подачу теплоносителя до 45 °C и выход около 55 °C: при таком перепаде тепло можно отводить наружу сухими охладителями в подходящем климате. Жидкостный контур охватывает вычислительные и часть сетевых узлов, но референсные проекты площадок всё ещё содержат отдельные воздушные стойки. Главный компромисс проходит между экономией воды, климатом и запасом надёжности кремния.
NVIDIA представила для инфраструктуры Vera Rubin DSX проектный режим жидкостного охлаждения с температурой теплоносителя на входе до 45 °C. После прохождения через холодные плиты температура может достигать примерно 55 °C. Для контура заявлена смесь из 75% воды и 25% пропиленгликоля. Высокая температура обратной линии меняет требования к внешнему теплоотводу: в регионах с подходящей погодой тепло можно сбрасывать через dry coolers, не расходуя воду на испарительное охлаждение.
Такой режим возможен благодаря малому тепловому сопротивлению между кристаллом и жидкостью. Холодная плита забирает тепло непосредственно у GPU, CPU и других горячих компонентов, поэтому температура жидкости 45 °C ещё оставляет допустимый перепад до температуры перехода полупроводника. NVIDIA заявляет, что в своей конфигурации жидкость охлаждает все чипы и сетевые компоненты внутри системы, а вентиляторы в серверном тракте отсутствуют. Переработка tray-level охлаждения, по оценке компании, сократила объём, занимаемый этой подсистемой, с 6U до 2U.
Однако формулировку «100% liquid cooling» нельзя автоматически переносить на весь объект. В референсном проекте Schneider Electric для Vera Rubin указаны 64 жидкостно охлаждаемые IT-стойки с мощностью до 227 кВт каждая и ещё 34 сетевые стойки с воздушным охлаждением. Для стоек с жидкостным трактом в документе приводится отвод 96% тепловой нагрузки в жидкость. Оставшаяся доля, а также отдельная сеть, электропитание и вспомогательные системы сохраняют потребность в воздушной инфраструктуре машинного зала.
Ключевым узлом становится CDU — coolant distribution unit. Она разделяет внутренний IT-контур с контролируемым составом и чистотой теплоносителя и контур инженерной инфраструктуры здания. На стороне стоек CDU должна поддерживать расход, давление и температуру, достаточные для работы холодных плит. На внешней стороне она передаёт десятки и сотни киловатт теплообменнику, чиллеру или сухому охладителю. Для крупных Rubin-конфигураций партнёры NVIDIA указывают CDU мощностью до 2.5 МВт.
NVIDIA оценивает потенциальное сокращение водопотребления систем охлаждения с примерно 2.6 млн галлонов на МВт в год для вариантов с градирнями до уровня, близкого к нулю, и более чем в $4 млн ежегодной экономии для площадки мощностью 50 МВт. Эти цифры относятся к расчётному сценарию производителя. Реальная схема зависит от температуры наружного воздуха, влажности, требований SLA и принятого запаса по долговременной деградации компонентов. В некоторых климатах чиллеры всё равно могут включаться часть года.
Режим 45/55 °C показывает сдвиг в проектировании плотных вычислительных стоек: температура теплоносителя становится параметром компоновки серверов, гидравлики CDU и архитектуры здания. Выигрыш в воде и размере механической инфраструктуры достигается ценой более жёстких требований к тепловому интерфейсу, качеству жидкости, контролю утечек и отказоустойчивости насосных контуров.