Чтобы охлаждать серверы центров обработки данных, Microsoft погружает их в кипящую жидкость
Куинси, Вашингтон – Пинг!
Электронные письма и другие сообщения, которые сотрудники Microsoft отправляют друг другу, буквально заставляют кипеть жидкость внутри стального резервуара, заполненного серверами. Это происходит в центре обработки данных на восточном берегу реки Колумбия.
В отличие от воды, жидкость внутри резервуара, имеющего форму дивана, безвредна для электронного оборудования и кипит при температуре 50 градусов Цельсия, что на 50 градусов меньше температуры кипения воды.
Эффект кипения, создаваемый во время работы серверов, отводит тепло от компьютерных процессоров. Низкотемпературное кипение позволяет серверам непрерывно работать на полной мощности без риска отказа из-за перегрева.
Внутри резервуара пар, поднимающийся из кипящей жидкости, контактирует с охлаждаемым конденсатором в крышке резервуара, в результате чего снова превращается в жидкость и выпадает дождем обратно на затопленные серверы, создавая замкнутую систему охлаждения.
«Мы — первый поставщик облачных услуг, который использует двухфазное иммерсионное охлаждение в производственной среде», — говорит Хусам Алисса, главный инженер по аппаратному обеспечению группы перспективных разработок для центров обработки данных Microsoft в Редмонде, штат Вашингтон.
Закон Мура для центров обработки данных
Внедрение двухфазного иммерсионного охлаждения в производственную среду — следующий шаг в долгосрочном плане Microsoft по удовлетворению спроса на более быстрые и мощные компьютеры для центров обработки данных в то время, когда стабильные продвижения в технологиях компьютерных микросхем с воздушным охлаждением замедлились.
На протяжении десятилетий развитие в области микросхем шло благодаря возможности размещать больше транзисторов на микросхеме того же размера, и скорость компьютерных процессоров увеличивалась примерно вдвое каждые два года без роста их потребности в электроэнергии.
Такой феномен удвоения называется законом Мура в честь соучредителя Intel Гордона Мура, который наблюдал эту тенденцию в 1965 году и предсказал, что она будет продолжаться как минимум десять лет. Она продержалась до 2010-х и теперь пошла на спад.
Это произошло потому, что размеры транзисторов сократились до атомных масштабов и достигли физического предела. Между тем, как отмечает Алисса, спрос на более быстрые компьютерные процессоры для высокопроизводительных приложений, таких как искусственный интеллект, увеличился.
Чтобы удовлетворить потребность в производительности, компьютерная индустрия обратилась к архитектуре микросхем, способной перерабатывать больше электроэнергии. Например, мощность центральных процессоров (CPU) увеличилась со 150 до более 300 Вт на одну микросхему. Мощность графических процессоров (GPU) увеличилась до более 700 Вт на микросхему.
Чем больше электроэнергии проходит через процессоры, тем горячее становятся микросхемы. Усиленный нагрев привел к увеличению требований к охлаждению, чтобы предотвратить сбои в работе микросхем.
«Воздушного охлаждения недостаточно, — говорит Кристиан Белади, известный инженер, вице-президент группы перспективных разработок для центров обработки данных Microsoft в Редмонде. — Это побуждает нас использовать иммерсионное охлаждение, при котором мы можем выпаривать жидкость непосредственно с поверхности микросхемы».
Кристиан отметил, что теплопередача в жидкостях в десятки раз эффективнее, чем в воздухе.
Более того, он добавил, что переход на жидкостное охлаждение позволяет смотреть на эффективность всего центра обработки данных с точки зрения, похожей на закон Мура.
«Жидкостное охлаждение позволяет нам увеличивать плотность и продолжать тенденцию, описанную законом Мура, на уровне центров обработки данных», — сказал Кристиан.
Урок, извлеченный из майнинга криптовалюты
Жидкостное охлаждение — отработанная технология, отметил Белади. Сегодня она используется в большинстве автомобилей для предотвращения перегрева двигателя. Несколько технологических компаний, включая Microsoft, экспериментируют с технологией Cold plate, в которой жидкость подается через металлические пластины к серверам для охлаждения.
Участники индустрии криптовалют первыми стали применять жидкостное иммерсионное охлаждение для вычислительного оборудования, чтобы охлаждать микросхемы, которые регистрируют транзакции с цифровой валютой.
Microsoft исследовала погружение в жидкость в качестве решения для охлаждения оборудования при высокопроизводительных вычислениях, например, необходимых для искусственного интеллекта. Среди прочего исследование показало, что двухфазное иммерсионное охлаждение снижает энергопотребление любого сервера на 5–15%.
Полученные данные побудили команду Microsoft работать с Wiwynn, производителем и разработчиком ИТ-систем для центров обработки данных, над созданием решения для двухфазного иммерсионного охлаждения. Первое такое решение сейчас используется в центре обработки данных Microsoft в Куинси.
Резервуар в форме дивана заполнен специальной жидкостью от компании 3M. Охлаждающие жидкости 3M обладают диэлектрическими свойствами, что делает их эффективными изоляторами и позволяет серверам нормально работать при полном погружении в жидкость.
Как говорит Маркус Фонтура, технический специалист, корпоративный вице-президент Microsoft и главный архитектор вычислительных технологий Azure, переход на двухфазное жидкостное иммерсионное охлаждение обеспечивает повышенную гибкость для эффективного управления облачными ресурсами.
Например, программное обеспечение, управляющее облачными ресурсами, может распределять резкие всплески вычислительной нагрузки на серверы, расположенные в резервуарах с жидкостным охлаждением в центре обработки данных. Эти серверы могут работать с завышенной тактовой частотой процессоров (что повышает их мощность) без риска перегрева.
«В частности, мы знаем, что примерно к часу или двум дня происходит огромный всплеск нагрузки на Teams, потому что люди начинают собрания в одно и то же время, — говорит Фонтура. — Иммерсионное охлаждение дает нам больше гибкости, чтобы справляться с такими резкими скачками».
Экологичные центры обработки данных
«Добавление к доступным вычислительным ресурсам серверов с двухфазным иммерсионным охлаждением также позволит программному обеспечению для машинного обучения более эффективно управлять ресурсами центра обработки данных — от питания и охлаждения до обслуживающего персонала», – отметил Фонтура.
«Мы окажем огромное влияние не только на эффективность, но и на устойчивость, потому что все развернутое нами ИТ-оборудование будет использоваться эффективно», — сказал он.
Кроме того, жидкостное охлаждение — безводная технология, что помогает Microsoft выполнить свое обязательство к концу этого десятилетия восполнить больше запасов воды, чем компания потребляет.
Охлаждающие спирали, которые проходят через резервуар и позволяют пару конденсироваться, подключены к отдельной системе с замкнутым контуром, которая использует жидкость для передачи тепла от резервуара к сухому охладителю за пределами резервуара. Как пояснил Алисса, поскольку жидкость в этих спиралях всегда теплее, чем окружающий воздух, нет необходимости распылять воду, чтобы подготовить воздух для испарительного охлаждения.
Microsoft вместе с партнерами, прокладывающими инженерные коммуникации, также изучает, как эксплуатировать резервуары таким образом, чтобы уменьшить потерю жидкости и практически не влиять на окружающую среду.
«Если все сделать правильно, двухфазное иммерсионное охлаждение будет соответствовать сразу всем нашим требованиям к стоимости, надежности и производительности, а также существенно сократит энергозатраты по сравнению с воздушным охлаждением», — говорит Иоаннис Манусакис, главный инженер по программному обеспечению Azure.
«Мы подвели море к серверам»
Исследование двухфазного иммерсионного охлаждения — часть многосторонней стратегии Microsoft, направленной на то, чтобы сделать центры обработки данных более устойчивыми и эффективными в построении, эксплуатации и обслуживании.
Например, группа перспективных разработок для центров обработки данных кроме прочего изучает возможность использования водородных топливных элементов вместо дизельных генераторов для резервного электроснабжения ЦОД.
Проект жидкостного охлаждения похож на проект Microsoft Project Natick, посвященный исследованию потенциала подводных центров обработки данных, которые быстро развертываются и могут годами работать на морском дне, запечатанные внутри труб, похожих на подводные лодки и не требующих какого-либо обслуживания на месте людьми.
- Вместо специальной жидкости подводный центр обработки данных заполнен сухим воздухом с избытком азота. Серверы охлаждаются вентиляторами и водопроводной системой теплообмена, которая перекачивает морскую воду, подаваемую по трубопроводу, сквозь герметичную трубу.
Ключевой вывод Project Natick заключается в том, что серверы в ЦОД на морском дне выходят из строя в восемь раз реже, чем такие же серверы в наземном ЦОД. Предварительный анализ показывает, что серверы в подводном центре работают лучше в основном благодаря отсутствию влажности и коррозионного воздействия кислорода.
Алисса ожидает, что серверы внутри жидкостного погружного резервуара будут иметь такую же превосходную производительность. «Мы не погружали центр обработки данных под воду, а подвели море к серверам», — сказал он.
Будущее
Если серверы в погружном резервуаре покажут ожидаемую пониженную частоту отказов, Microsoft сможет перейти к модели, в которой компоненты не заменяются немедленно при выходе из строя. Это сократит потерю пара, а также позволит размещать резервуары в удаленных, труднодоступных для обслуживания местах.
«Более того, возможность плотно упаковывать серверы в резервуар позволит переосмыслить серверную архитектуру, оптимизированную для высокопроизводительных приложений с малой задержкой, а также для работы с низкими эксплуатационными расходами», – отметил Белади.
Такой резервуар, например, можно было бы разместить под вышкой сотовой связи 5G в центре города для обслуживания беспилотных автомобилей.
Сейчас у Microsoft есть один резервуар, выполняющий рабочие нагрузки в гипермасштабируемом центре обработки данных. В течение следующих нескольких месяцев команда Microsoft проведет серию тестов, чтобы доказать жизнеспособность резервуара и технологии.
«Этот первый шаг направлен на то, чтобы люди познакомились с концепцией и увидели, что мы можем выполнять производственные нагрузки», — сказал Белади.
