Четыреста раскаленных утюгов в одном шкафу

В 2009 году, когда бывшие сотрудники Института программных систем (ИПС) РАН Алексей Шмелев и Александр Московский создали первую компанию, положившую начало группе РСК, в суперкомпьютинге господствовало воздушное охлаждение. Новая компания сконцентрировалась на применении жидкостного охлаждения и стала законодателем в этой области.

Исполнительный директор группы компаний РСК Алексей Шмелев

Фотография предоставлена ГК РСК

Системы с жидкостным охлаждением разрабатывались и раньше, однако для того, чтобы сделать такую систему, производители создавали специальные материнские платы. «Но если вы производите специальное изделие, — рассказывает Алексей Шмелев (сейчас он исполнительный директор группы компаний РСК), — то объем выпуска такой продукции становится гораздо меньше, а значит, цена одного изделия сильно растет. Поэтому жидкостное решение всегда казалось некой экзотикой. Мы сумели сделать очень эффективное жидкостное решение для стандартных компонентов. И цена сразу резко пошла вниз. Такой подход позволил совместить плюсы жидкостного охлаждения и относительную дешевизну решения, которая обеспечивалась использованием массово производимых и доступных на рынке стандартных компонентов». А кроме того, применение жидкостного охлаждения позволяет экономить до 80% потребляемой электроэнергии и в шесть-семь раз уменьшить общую площадь инсталляции суперкомпьютера за счет минимизации габаритных размеров инфраструктуры охлаждения и увеличения плотности вычислителя.

От лопаток к суперкомпьютерам

По словам руководителей РСК, их успех в значительной мере определяется тем, что костяк отдела разработки систем охлаждения составляют специалисты, имеющие за плечами опыт создания систем охлаждения лопаток авиационного двигателя. И они хорошо знакомы с физикой этих процессов. Перенос опыта из другой индустрии в область суперкомпьютинга оказался очень эффективным: был получен результат, повторить который пока никому не удалось.

«Основное ноу-хау нашей системы охлаждения состоит в том, как устроены каналы охлаждающей пластины. — рассказывает Алексей Шмелев. — Вся система сделана на основе быстроразъемных соединений, что позволяет обеспечивать горячую замену узлов без остановки соседних. То есть вы можете добавлять или извлекать узлы системы, при этом возможность протечки исключена. А мощная система управления и мониторинга системы имеет такое количество датчиков, которое обеспечивает надежное понимание того, в каком состоянии находится суперкомпьютер».

При этом технология прямого жидкостного охлаждения РСК базируется на использовании стандартных серверных плат (например, производства Intel), которые раньше предназначались для воздушных систем, без какого-либо изменения дизайна платы. В РСК разработали специальную пластину охлаждения, которая делается на основе алюминиевых сплавов. Внутри нее — канал для прохождения жидкости. И за счет плотного контакта пластины охлаждения с процессорами происходит отвод тепла.

Жидкостное охлаждение дает существенные преимущества по сравнению с воздушным

Важная особенность систем охлаждения РСК — использование для охлаждения горячей жидкости, точнее, возможность работы системы в режиме «горячая вода». Одна из главных задач, стоящих перед разработчиками систем охлаждения, — уменьшение количества потребляемой в процессе охлаждения электроэнергии. Применение горячей жидкости вместо холодной позволяет обеспечить естественный теплообмен с воздухом, тем самым достигается круглогодичный эффект свободного охлаждения. Становится возможным полностью отказаться от применения фреонового контура, обеспечивая значительное снижение затрат на инфраструктуру, минимизацию влияния на озоновый слой Земли, а также повышение надежности работы суперкомпьютерного решения за счет упрощения системы охлаждения. Ясно, что если охлаждение происходит при достаточно высоких температурах хладагента, например 44 °С, то при температурах наружного воздуха, скажем, 38 °С, система нормально охлаждается без дополнительного охлаждения хладагента. Но для того, чтобы можно было использовать горячую жидкость, важно иметь очень хорошую систему управления и мониторинга и очень точно отслеживать все параметры хладагента, чтобы не допустить перегрева системы. И системы РСК обеспечивают это.

Охладить четыреста утюгов

«Сейчас наше лидерское решение, — поясняет Алексей Шмелев, — способно потреблять, а значит, и выделять в виде тепла более 400 киловатт в одном шкафу, при этом применяемые нами технологии позволяют эффективно отводить выделяемое тепло в такой системе. РСК в этом смысле мировой рекордсмен. Такого делать никто не умеет. И наше ноу-хау именно в том, что мы умеем и подводить такую мощность, и, главное, отводить ее, то есть эффективно охлаждать систему».

Суперкомпьютер МСЦ РАН

Фотография предоставлена ГК РСК

Для сравнения: энергопотребление одного утюга — чуть более 1 кВт. Значит, система РСК способна отвести тепло от 400 раскаленных утюгов, собранных в одном, достаточно маленьком объеме одного шкафа.

Вычислительная плотность на один шкаф, полученная на суперкомпьютерах, разработанных РСК, составляет почти 1,5 петафлопс. Два таких шкафа РСК обеспечивают практически такую же производительность, как у самого мощного на данный момент российского суперкомпьютера, но при этом превосходят его по вычислительной плотности в несколько раз.

Компания владеет российскими и международными патентами (в Германии, Китае, США, Японии) на систему прямого жидкостного охлаждения серверов и сверхплотную монтажную стойку.

Один из ключевых партнеров группы компаний РСК — корпорация Intel. В основе суперкомпьютерных решений РСК лежат архитектуры и технологии Intel, а также серверные процессоры Intel Xeon и Intel Xeon Phi. В 2016 году РСК получила от Intel элитный статус HPC Data Center Specialist. Таким статусом во всем мире обладает всего 35 партнеров корпорации.

Суперкомпьютеры РСК стабильно лидируют среди российских систем в Green500 — мировом рейтинге наиболее энергоэффективных суперкомпьютеров. 40% всех российских систем в мировых рейтингах Top500 и Green500 сделаны РСК.

По данным последней редакции рейтинга 50 самых мощных вычислительных систем в России и СНГ, РСК является лидером по количеству суперкомпьютеров среди всех российских производителей, как во всем списке, так и в его первой десятке (10 систем и четыре системы соответственно.

А в рейтинге HPCG, который отражает эффективность при работе с реальными приложениями и при выполнении актуальных задач, 70% российских систем — производства РСК. Более того, РСК, единственная из российских компаний, попала на девятое место, то есть вошла в топ-10 ведущих мировых производителей суперкомпьютеров согласно рейтингу Top500.

Всего этого удалось достичь не только благодаря разработанным специалистами РСК оригинальным системам прямого жидкостного охлаждения, но и за счет эффективного электропитания и целого ряда собственных ноу-хау, таких как система мониторинга и управления суперкомпьютерами, интегрированный стек1 ПО «РСК БазИС» для управления суперкомпьютерами и серверными фермами ЦОД.

Пока лидирует HP

Последний рекорд

Одним из недавних крупных проектов РСК стало обновление вычислительных ресурсов Межведомственного суперкомпьютерного центра Российской академии наук (МСЦ РАН) и Центра коллективного пользования «Сибирский суперкомпьютерный центр» (ЦКП ССКЦ) Сибирского отделения РАН. Суммарная пиковая производительность этих вычислительных комплексов теперь составляет около 1,1 петафлопс.

В МСЦ РАН установлены новые универсальные вычислительные шкафы «РСК Торнадо» с рекордной энергетической плотностью и системой прецизионного жидкостного охлаждения, сбалансированной для постоянной работы с высокотемпературным хладоносителем — до +63 °С на входе в вычислительный шкаф. Работа в режиме «горячая вода» позволила применить круглогодичный режим free cooling, используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °С, а также полностью избавиться от фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет меньше 1,06. То есть на охлаждение расходуется менее 6% всего потребляемого электричества — это выдающийся результат для суперкомпьютерной индустрии.

Как заметил представитель крупной американской компании, присутствовавший на презентации нового суперкомпьютера, «мы были бы счастливы, если бы обладали технологией жидкостного охлаждения, которую разработала компания РСК».