Который проводит фирма Gigabyte. Требовалось написать обзор корпуса 3D Aurora. Я сначала согласился, а потом, когда прикинул что к чему, призадумался. Ведь я же не профессиональный писатель обзоров, к тому же серийными корпусами не пользуюсь уже года как три, как минимум. И если честно и пристально посмотреть правде в глаза, становится кристально ясно – писать этот обзор совершенно неинтересно и, естественно, ужасно не хочется. Я уже хотел звонить и отказываться, но все откладывал и откладывал. Прошло какое-то время, и обещание самым естественным образом забылось.

Две недели назад до меня все же дошла очередь на получение корпуса. Я так "обрадовался", что дня три не открывал коробку. Но чувство долга в конце концов победило, и я заглянул внутрь. Скажу сразу: удивительно, но кейс мне понравился. Первое, что поразило, – это размеры: высота 54.5, глубина 51.5, а ширина обычная – 20.5 см.

Корпус выпускается в двух цветовых решениях, черном и серебристом. Мне достался черный вариант. Корпус позиционируется как high-end решение и не комплектуется блоком питания.

На меня эта черная громадина сразу произвела впечатление своим стильным, запоминающимся видом. Дизайнеры поработали на славу. Корпус хотя и большой, но легкий. Изготовлен почти целиком из алюминия. Покраска качественная, ровная, с шелковистым отблеском.

Доступ к пяти 5.25" отсекам и двум 3.5" открывает массивная алюминиевая дверка. Фиксируется дверка в закрытом положении магнитом. В качестве защиты от распоясавшихся злоумышленников эту дверку можно закрыть на ключ. Рядом с 3.5" отсеками расположены кнопки Power и Reset. Нажатие легкое, с приятным на слух легким щелчком.

Ниже дверки располагается выступающая панель, усыпанная вентиляционными отверстиями. За ней расположен 120-мм вентилятор с подсветкой. Воздух внутрь корпуса он втягивает через пылезащитный фильтр. Свет от вентилятора очень красиво пробивается сквозь вентиляционные отверстия.

Справа от этой панели, на боку, расположены два USB, один IEEE 1394 и пара mini-jack"ов: микрофон и наушники. Здесь же расположены и два светодиодных индикатора работы системного блока и активности HDD.

Вот внешний вид корпуса со снятой лицевой панелью

Алюминиевые боковые стенки имеют непривычное крепление. Для того чтобы их снять, стенки нужно не сдвигать, а немного оттянуть и приподнять вверх. Левая стенка для удобства оперативного снятия имеет ручку-защелку и еще один замок с ключом. Имеется в ней также и окно, но не традиционное, из акрилового стекла, а сетчатое, скорее даже дырчатое. Для дополнительной защиты внутренностей от пыли это окно ограждено изнутри еще более мелкой сеткой. Стоит корпус на четырех ножках, которые для устойчивости корпуса можно раздвинуть.

Шасси корпуса довольно крепкое благодаря большому количеству ребер жесткости и дополнительным усиливающим элементам. Нет ни намека на шаткость конструкции. Внутри корпуса много свободного пространства, особенно понравилось большое расстояние между материнской платой и отсеком блока питания.

Корпус рассчитан на безотверточную сборку. Дисководы устанавливаются с помощью пластиковых салазок. Заглушки слотов карт расширения не выламываемые, а съемные, и крепятся все одновременно специальным рычагом-ключом.

Отсек для жестких дисков расположен поперек корпуса. Комфортную температуру винчестерам обеспечивает обдув этого отсека 120-мм вентилятором. В этом же отсеке расположен черный пластиковый бокс, содержащий два переходника питания для SATA-устройств, набор пластиковых салазок для установки 5.25" и 3.5" устройств в корпус, два пластмассовых крепежа для проводов, два комплекта ключей (разных) для передней дверцы и боковой крышки и комплект крепежных винтов.

Провода, идущие внутри корпуса от вентиляторов и лицевой панели, прикреплены к корпусу и уложены в черную трубку. Трассировка довольно удачна.

А теперь о том, что привлекло мое внимание к этому корпусу. Это, как ни странно, задняя панель.

На ней расположены два 120-мм прозрачных вентилятора с подсветкой. Ниже находятся два отверстия, защищенных резиновыми заглушками с лепестками. Сделано это для установки системы водяного охлаждения 3D Galaxy, производства все той же Gigabyte. Вот эти вентиляторы и отверстия превратили скучную процедуру написания обзора в увлекательное занятие.

Когда я увидел эти два 120-мм вентилятора на задней стенке корпуса, то мне сразу вспомнилась давняя идея встроить самодельную фреоновую систему охлаждения в стандартный корпус. Хотелось не просто встроить систему в корпус, а сделать это красиво, интересно и по возможности оригинально. Но я все никак не мог найти подходящий корпус, большой и прочный. Как-никак, компрессор, конденсор и прочие медные трубки весят прилично. К тому же компрессор при работе вибрирует. И, конечно, кроме прочностных ограничений хотелось, чтобы кейс стильно выглядел. 3D Aurora как раз и отвечал всем этим требованиям.

Все фреоновые системы, которые мне встречались, строились как блок, на котором стоит стандартный корпус. В дне корпуса приходится прорезать отверстие под испаритель. Но при такой компоновке отверстие должно быть приличных размеров. Калечить качественный корпус не хотелось, а здесь почти готовое решение.

Сразу начали вырисовываться контуры системы. Если разместить снаружи корпуса, напротив вытяжных вентиляторов, конденсор, то он будет ими отлично охлаждаться, заодно вентилируя корпус. Через готовые отверстия, предназначенные для трубок водяного охлаждения, прекрасно можно пропустить медные соединительные трубки системы. Остается только компрессор. Куда поместить его?

Недавно, экспериментируя со своей целиком самодельной фреоновой системой...

Я с удивлением обнаружил, что прекрасно слышу шум помпы, установленной в системе водяного охлаждения чипсета материнской платы. До этого я, как человек, избалованный бесшумностью своего основного компьютера ...

Считал фреонки ужасно шумными устройствами. Обычными воздушными кулерами я тоже давненько не пользовался, поэтому сравнивать было не с чем. А тут оказалось, что сквозь шум от двух не самых слабых компрессоров отчетливо слышна помпа производительностью 700 л/ч. Выходит, компрессоры шумят не так уж и сильно!

Так почему бы тогда не расположить компрессор просто на крыше корпуса? Это улучшит его охлаждение. Как выяснилось, шум от компрессора не так уж и велик. Прочности корпуса от Gigabyte для такой цели более чем достаточно. И я приступил к осуществлению задуманного.

По решению представителей фирмы Gigabyte корпус одновременно является и призом победителю конкурса. Я, естественно, пока таковым не являюсь и должен возвратить изделие неповрежденным. Поэтому задача несколько усложнялась.

Из-за этих ограничений я прикрепил компрессор L57TN не к верхней крышке корпуса, а к алюминиевой платформе, потихоньку открученной от гладильной доски. (Потом пришлось объяснять супруге, что штукенция эта, скорее всего, отвалилась сама, упала на пол в кладовке и, естественно, куда-то завалилась. Потом она, конечно, найдется... Но не буду отвлекаться.) Платформу эту с установленным компрессором через прокладку из пенофола я и поставил на крышу корпуса. Заодно это должно снизить вибрацию от работающего компрессора.

Теперь о конденсоре. Конденсор, чтобы не мешать подключению устройств к материнской плате, должен быть не шире 120-мм вентилятора, а по высоте соответствовать двум таким вентиляторам. Готовый такой не подобрать, но можно попробовать сделать самому.

Простейший конденсор можно изготовить, намотав спиралью обычную медную трубку. Но спираль имеет большие габариты. Поэтому я сделал из дерева шаблон плоской спирали и уже на него намотал медную трубку диаметром 6 мм.

По бокам спирали припаял медную проволоку с крепежными колечками, соответствующими крепежным отверстиям вытяжных вентиляторов. После я прикинул, как это будет размещаться вживую.

Крепить испаритель и всасывающую трубку к системе я решил на развальцовке. Соединительные муфты легко проходят в отверстия корпуса.

Чтобы не повредить корпус горелкой я, что смог, спаял отдельно от корпуса. Капиллярную трубку смотал в бухту, а последнюю часть пропустил через всасывающую трубку в испаритель.

Испаритель я применил самодельный. Сделан он из половинки серийного кулера Volkano7+.

Так выполняется развальцовка:

В качестве всасывающей я применил обычную медную трубку диаметром 10 мм. Не стал применять сильфон из нержавейки из-за того, что размеры корпуса позволяют помещать в него материнскую плату и без сильного отгиба испарителя. Да и не известно, кто окажется первым в конкурсе – возможно, придется вернуть корпус. Поэтому нестись в магазин за сильфоном я посчитал неразумным.

Вот что получилось.

Чтобы точнее подогнать размеры трубки, пришлось поставить в корпус материнскую плату.

Система собрана, спаяна и опрессована – пора приступать к теплоизоляции. Испаритель я изолировал полосой 3-мм пенофола, приклеив его на двусторонний скотч.

Предварительно я прикрепил к испарителю датчик от электронного термостата Dixell XR20C. На этом же устройстве будет построена и автоматика включения компьютера. Фреоновой системе для охлаждения процессора до определенной величины нужно время, иначе прилично разогнанный процессор может просто перегреться. Вышеуказанное устройство и обеспечит автоматическое включение компьютера по достижении определенной температуры на испарителе, значение которой можно установить вручную.

Существует целый ряд подобных устройств. Для использования в качестве автоматики они требуют минимальной доработки. Я использовал простейшее устройство, содержащее только контакты управления компрессором.

Работает прибор следующим образом. После включения устройство самодиагностируется, после чего замыкает контакты, которые по замыслу конструкторов и включают компрессор. По достижении на датчике определенной температуры размыкают контакты, отключая тем самым компрессор. После того как температура повысится, цикл повторяется.

В нашем случае компрессор работает постоянно, и управлять им не нужно. И требуется не выключать, а включить компьютер по достижении определенной температуры. Для этого нужно инвертировать выход устройства. Люди, хорошо разбирающиеся в электронике, без труда сами могут составить такую схемку, например, на "логике". Я же покажу, как собрать подобную схему человеку, далекому от электроники.

Мне кажется, что проще всего это можно сделать на автомобильном реле.

У реле есть несколько контактов. Два контакта – контакты катушки электромагнита. При подаче напряжения на них электромагнит притягивает коромысло, которое и замыкает одну группу контактов, размыкая другую. В нашем случае нам нужны контакты, замкнутые при отключенном питании катушки электромагнита реле. Если включить реле подобным образом,

происходит следующее. При включении терморегулятор подает напряжение на реле. Контакты, отвечающие за включение компьютера, размыкаются и остаются разомкнутыми до момента, когда термодатчик зафиксирует температуру, необходимую для включения компьютера. Тогда контакты терморегулятора размыкаются, а в реле замыкаются.

Конденсатор с сопротивлением нужен для имитации работы кнопки включения компьютера. Работает эта цепь следующим образом. При замыкании контактов Power ON конденсатором в цепи потечет ток зарядки конденсатора – аналог нажатия кнопки Power ON. После зарядки конденсатора ток в цепи прекращается – аналог отпускания кнопки Power ON. Емкость конденсатора должна быть в пределах 200-400 мкФ, сопротивление 15-20 кОм.

Для работы такой автоматики необходим источник питания напряжением 12 вольт. Также для работы фреоновой системы необходим обдув конденсора вентилятором. А как они будут работать, если блок питания включится только после того, как система должна набрать заданный минус? Поэтому специально для автоматики и работы вентиляторов нужно ставить в корпус отдельный блок питания, выдающий 12 вольт постоянного тока. Назову его блоком питания дежурного режима. К нему и подключаются автоматика и вентиляторы.

Для данной системы я собрал самодельный блок питания, но можно было купить и готовый. Нужно только обратить внимание на максимальный ток нагрузки такого блока. Он в данном случае должен составлять не менее одного ампера.

Всю эту электрическую часть я поместил в корпус от Hardcano, заменив у того лицевую панель на обычную заглушку 5.25" отсека, выкрашенную в серебристый цвет. Все-таки в пластмассе вырезать отверстия гораздо проще, чем в алюминии.

На фотографии видно, что электромонтаж не закончен. Справа от терморегулятора расположен выключатель. С его помощью и включается компрессор, да и все остальное. После сборки устанавливаем блок в отсек и подключаем к нему все провода.

Монтируем все комплектующие в корпус. Под материнскую плату для теплоизоляции я поместил кусок листового пенофола. Толщину подобрал такую, чтобы винты, крепящие материнскую плату к шасси, немного сжали этот теплоизолятор. Между платой и пенофолом не должно быть воздушных пузырей, иначе из этого воздуха при работе системы охлаждения на плату может выпасть конденсат и замкнуть контакты платы. Для гарантированного исключения этого неприятного момента плату под прокладкой я промазал слоем технического вазелина.

По отпечатку термопасты примеряем прилегание испарителя к процессору. Испаритель к процессору я прижимаю с помощью резьбовых шпилек. Корпус, как уже говорил, сверлить нельзя, и пришлось прикрутить эти шпильки прямо к отверстиям в материнской плате. Тут приключилась пара неприятностей, о которых я расскажу в заключительной части статьи.

После этого заканчиваем теплоизоляцию. Осталось самое простое – теплоизоляция трубок. Берется трубчатый рубафлекс, разрезается вдоль ножницами, одевается на трубки и склеивается. Вот и все готово для заправки системы.

Заправляю систему фреоном марки R22. Подробнее о заправке и вакуумировании написано уже более чем достаточно, поэтому не буду отнимать время и описывать эту процедуру еще раз. Напомню только, что в системе использовался компрессор марки L57TN, длина капилляра 2.9 метра. Заправляю систему до промерзания всасывающей трубки до входа в компрессор.

Система без нагрузки выдает температуру -43.8°C.

Выключаю систему. Проверяю еще раз прилегание испарителя к процессору, оказавшееся не слишком плотным. Всасывающая трубка имеет приличную жесткость и немного пружинит. К тому же теплоизоляция на испарителе немного ниже самого испарителя. Сделано это для исключения попадания воздуха в щели теплоизоляции. Притягивать же сильно испаритель к процессору я боюсь. Шпильки-то прикручены не к шасси корпуса, а к материнской плате, и есть риск выломать их из платы.

Отпечаток термопасты получается несколько "однобоким", а верхний левый угол испарителя почти не касается процессора. Но что делать, будем пробовать как есть.

Включаю систему. По достижении температуры на испарителе –20 включается сам компьютер. Автоматика отработала успешно, операционная система загружается – все нормально.

Конфигурация установленного железа такова:

• процессор – AMD Athlon 64 3200+;
• материнская плата – DFI Lan Party UT nF4 SLI-D;
• видеокарта – Leadtek PX7800GT;
• память – Digma DDR500;
• жесткий диск – Seagate 160 Gb;
• блок питания – Hiper R type 480 W;
• термопаста – КПТ-8.

Первым делом проверяю систему на разгон процессора.

Но тут началась чертовщина. Дальше процессор почему-то гнаться отказался. Я снизил частоту опять до 3100 MHz, но Windows перестал грузиться. Еще более понизил частоту – опять то же самое. И тут я попробовал рукой прижать испаритель к процессору. Система загрузилась. Тогда я еще немного подтянул крепежные гайки. Система снова загрузилась при 3100 MHz, но тест S&M не проходила. Тогда я заглянул в BIOS. Там в разделе мониторинга температура процессора прыгала как гимнаст на батуте: то –14, то +14. Все ясно, причина в плохом прижиме испарителя к процессору. Видимо, от вибрации контакт процессор–испаритель меняется, и, как следствие, скачет температура, что и сказывается на стабильности работы системы.

Дальше подтягивать гайки уже откровенно страшно. Существует большая вероятность выдрать шпильки вместе с текстолитом платы. Но прижим все равно недостаточен. Выход только один: сверлить отверстия в шасси компьютера и сжимать процессор уже не между платой и испарителем, а между металлическим шасси и испарителем, без риска повреждения материнской платы. А сверлить корпус нельзя. Очень жаль, но придется остановиться на этом.

Теперь несколько слов о личных впечатлениях о работе системы. Плохой прижим испарителя – легко устраняемый дефект. Можно прямо по месту просверлить отверстия и закрепить все как следует. И если даже при плохом контакте операционная система загружается с частотой процессора 3100 МГц, то, скорее всего, при нормальном охлаждении этот результат увеличится. Теплоизоляция прекрасно справляется со своей задачей. Никаких следов конденсата не было обнаружено.

О шуме. Компрессор работает очень тихо. Если наклониться над ним и прислушаться, то слышен небольшой шелест. Основной шум исходит из открытого корпуса. Видимо, по нагнетающей трубке и через станину компрессора вибрация передается корпусу, и он издает низкочастотный гул. Я вначале был поражен, что шум идет не от компрессора, а из корпуса. Но потом разобрался, в чем дело. Судя по всему, для комфортной эксплуатации оклеивание корпуса виброшумоизоляцией обязательно.

Неплохо было бы привернуть ручки на верхнюю крышку корпуса. Вес корпуса за счет системы охлаждения увеличился, и передвигать его стало сложно. К тому же взяться не за что.

Также из-за размещения компрессора на верхней крышке корпуса центр тяжести системного блока поднялся. Поэтому теперь даже с разложенными ножками корпус немного неустойчив. Неплохо бы утяжелить нижнюю часть корпуса каким-нибудь балластом. Это поможет и снизить вибрацию корпуса.

Желательно укрепить верхнюю крышку корпуса – виброшумоизолировать и прикрепить компрессор непосредственно к ней. Также необходимо увеличить толщину резиновых прокладок, через которые конденсатор крепится к корпусу, и попробовать сделать амортизаторы между витками конденсора. Все это должно дополнительно снизить шумность системы. Хотя и в таком виде самым шумным компонентом системы является вентилятор видеокарты.

Если суммировать все вышесказанное, то мы получили удобный, качественный корпус с прекрасной вентиляцией и с возможностью встраивания не только водяной, но и фреоновой системы охлаждения. Можно сказать, мечта оверклокера. Когда смотришь на этот корпус, не оставляет чувство, что перед тобой солидная, добротная и вместе с тем красивая и стильная вещь.

Похоже, Россия становится не только "родиной слонов" и великих комбинаторов, но и местом рождения остроумных технических решений для современных высокопроизводительных вычислительных систем.

В начале двадцатого века паровозы доставляли пассажиров из Москвы в Санкт-Петербург за десять часов. При этом их КПД не превышал семи процентов. То есть использовалась только одна четырнадцатая часть энергии дров и угля, а остальные тринадцать обогревали атмосферу. Конструкторы тех лет придумывали самые изощренные способы, дабы сохранить тепло. Процессоры в современных серверных стойках тоже обогревают атмосферу, однако в данном случае конструкторы преследуют диаметрально противоположную цель - отвести от чипа как можно больше избыточного тепла.

Современные высокопроизводительные процессоры греются не хуже ламп накаливания; "топовые" модели производят до 130 Вт тепла, а порой и больше. Теперь представьте, что в одном сервере толщиной в один юнит (1,75 дюйма, около 4,4 см) может находиться два таких процессора, а юнитов в стойке - до сорока двух штук. Количеству выделяемых стойкой калорий позавидует иная тепловая пушка, обогревающая производственные помещения.

Но это не все трудности, встающие на пути инженеров-разработчиков высокопроизводительных систем. Вторая проблема - малый размер процессоров. Чтобы отвести тепло с небольшой площади радиатора, необходимо обдувать его очень большим количеством воздуха, а значит, вентиляторы должны быть высокопроизводительными и, как следствие, шумными.

Компания Cray - всемирно известная своими суперкомпьютерами, пошла по иному пути. Например, в модели ETA-10 была применена система охлаждения процессоров жидким азотом, что позволило вдвое повысить производительность. С эффективностью такой системы не поспоришь, однако ее цена заставляет задуматься даже военные ведомства. Так что применение этой технологии пока остается уделом сверхплотных и сверхпроизводительных систем стоимостью несколько сот тысяч и даже миллионов долларов.

Другой способ - закрытые кондиционированные шкафы, куда подается уже сильно охлажденный воздух. Но и здесь есть свои трудности. Во-первых, стоимость подобных шкафов и затраты на их эксплуатацию хоть и в разы меньше, чем у системы на азоте, тем не менее весьма высоки. Несмотря на кажущуюся простоту, приходится искать решения множества технологических задач, таких как равномерное распределение холодного воздуха в стойке, интенсивный отвод теплого воздуха, герметичность. Становится очень важным правильное распределение (не всегда совпадающее с желаемым) серверов внутри стойки и прочие тонкости. Да и КПД такой системы охлаждения тоже оказывается не на высоте: получается тройная передача тепловой энергии - сначала охлаждается фреон, который затем охлаждает воздух, а воздух, в свою очередь, охлаждает процессоры.

Специалисты российской компании Kraftway, изучив проблему, подумали: а зачем вообще нужен воздух в этой системе "теплых взаимоотношений"? И решили охлаждать процессоры сразу фреоном кондиционера.

Однако не все так просто. Подумайте, легко ли конфигурировать систему, насквозь пронизанную трубками с фреоном?! Поэтому было решено охлаждать не сами процессоры, которые располагаются в разных серверах по-разному, а сначала отводить тепло от раскаленных невероятной вычислительной мощностью ядер тепловыми трубками. То есть один ее конец располагается на самом процессоре, отбирая тепло, а другой - выводится на заднюю стенку сервера. Тем самым упрощается не только конструкция охладителя, но и процесс замены серверов: достаточно отвинтить тепловую трубку и вынуть корпус из стойки, не останавливая и не разбирая всю систему охлаждения.

Устройство тепловой трубки тоже заслуживает упоминания. Как известно, в них применяются самые разные теплоносители (вода, эфир, фреон). Однако большинство из них не обладают достаточной производительностью. Даже вода, несмотря на свою впечатляющую теплоемкость, не может справиться с той скоростью отвода тепла, которая требуется для современных процессоров. [Главная проблема - скорость циркуляции. Есть, однако, примеры и удачного применения воды. Компания Icebear System построила систему водяного охлаждения для стоек. Мне, правда, не приходилось встречать сообщений о ее реальных применениях. К тому же прототип этой системы был предназначен только для машин на базе процессоров Opteron]. Есть и другой момент: представьте, что трубка вдруг начнет протекать... это явно не обрадует электрические схемы материнской платы.

Применение фреона позволяет добиться необходимой производительности и безопасности. В случае протечки он тут же улетучивается, а теплоемкость его испарения сравнима с водой. Устроена трубка следующим образом. Жидкий фреон по капиллярной губке направляется к процессору, там, испаряясь, поднимается к "утюжкам" (рис. 2), прикрепленным к постоянно охлаждаемой металлической колонне (о ней будет рассказано ниже), в которых он охлаждается и, конденсируясь, стекает вниз в горизонтальную часть трубки, где благодаря капиллярному эффекту попадает обратно к ядру процессора. Далее - по кругу. Надежность такой замкнутой и герметичной системы очень высока.

Однако выведя процессорное тепло наружу, мы решили только половину задачи. Ведь его все равно нужно каким-то образом передать дальше, "на улицу". Тут и выступает на сцену вышеупомянутая колонна, к которой прикреплены горячие "утюжки" тепловых трубок. Несмотря на свой заурядный вид, она вовсе не является копией морозилки бытового холодильника.

Внутри этой прямоугольной тепловой колонны расположена медная трубка с массой мельчайших отверстий [Как утверждают разработчики, для их изготовления пришлось применить лазерное сверление, ведь диаметр отверстий не превышает нескольких десятков микрон], в которую специальная помпа подает хладагент [Используется опять же фреон, однако любителям природы не стоит волноваться, - применяется безопасная для озонового слоя марка хладона (HFC R142b)]. Протекая по трубке, фреон через отверстия разбрызгивается на внутреннюю поверхность колонны. Испаряясь на ней, он отбирает тепло у "утюжков" и уходит по трубке к основному компрессору [Вообще, "теплый конец" - это стандартный внешний блок сплит-системы кондиционирования воздуха], который может быть расположен далеко за пределами стойки (например, на улице вместе с радиатором охлаждения хладагента). Дополнительная помпа (рис. 1) понадобилась для того, чтобы регулировать нагрузку: стойка с серверами может быть заполнена только частично, и охлаждать колонну целиком - пустая трата энергии. С другой стороны, основной компрессор кондиционера работает на постоянных оборотах, и снижать их недопустимо, так как он может просто-напросто сгореть (можно вспомнить частые случаи перегорания компрессоров холодильников в сельской местности из-за пониженного напряжения). Поэтому оказалось рациональнее (хоть это немного и усложнило конструкцию) поставить дополнительную помпу непосредственно в стойке и управлять уже ее оборотами. Таким образом, инженеры продолжают бороться за общее повышение КПД системы.

Итак, получается двойная, а не тройная система охлаждения. Сначала нагревается непосредственно фреон, минуя воздушную стадию (нагревом корпуса трубок можно пренебречь), и уже он отдает тепло окружающему воздуху, причем далеко за пределами серверной стойки.

Если мы избавились от воздушного охлаждения процессоров, то нет необходимости в большом количестве вентиляторов внутри каждого сервера. По утверждению разработчика, для охлаждения всех оставшихся схем, включая жесткий диск и блок питания, достаточно лишь одного вентилятора на корпус. Это радикально снижает шум, что позволяет размещать такие стойки внутри рабочих комнат, не вынося их в специальные помещения.

Представители компании Kraftway очень неохотно отвечали на вопрос о возможной стоимости подобной системы. Ссылаясь на то, что пока существует только прототип и многие решения еще не вышли на стадию массового производства, говорить о конкретных расчетах слишком трудно. Однако мне удалось в приватной беседе выяснить, что ориентировочная стоимость в расчете на один процессор не должна превышать пятидесяти долларов (не забывайте, что речь идет о многопроцессорных системах с количеством чипов около сотни). Это, согласитесь, уже близко к цене обычных медных радиаторов и, разумеется, гораздо меньше стоимости систем на жидком азоте.

Похоже, Россия становится не только "родиной слонов" и великих комбинаторов, но и местом рождения остроумных технических решений для современных высокопроизводительных вычислительных систем. Возможно, недалек тот день, когда первые строчки знаменитого Top 500 будут занимать компьютеры, построенные именно у нас.

Из журнала "Компьютерра"

От редактора (ALT-F13): Так уж получилось, что статью мы смогли опубликовать аж через два месяца после ее написания. За это время автор не сидел, сложа руки, а двигался дальше в сторону более экстремального охлаждения. Сейчас Steff занимается сборкой самодельных phase-change direct-die систем, в просторечии - «фреонок». На момент написания этих строк, он продемонстрировал уже второй вариант своей системы. Впрочем, первый также прекрасно работал. Так что строки, с которых начинается текст этой статьи - «Экстремальными методами охлаждения компьютера я увлёкся совсем недавно, так что это - описание моего первого эксперимента в этой области» можно считать недействительными:)

Экстремальными методами охлаждения компьютера я увлёкся совсем недавно, так что это - описание моего первого эксперимента в этой области.

Водяное охлаждение я использовал на протяжении нескольких лет, но пришёл момент, когда захотелось большего. Можно было конечно купить готовую систему Asetek VapoChill или nVentiv Mach II (экс-Prometeia), но у фреонок есть свои недостатки. Во-первых это цена, во-вторых - способность охлаждать только один элемент системы. Для охлаждения, к примеру, видеокарты пришлось бы покупать еще одно устройство и серьезно заморачиваться с установкой.
Начинать свое знакомство с экстремальным охлаждением с постройки самодельной direct-die системы показалось мне достаточно сложной задачей, поэтому я выбрал другой путь.
Альтернативой direct-die охлаждения являются ватерчиллеры, то есть системы на базе водяного охлаждения с эффективным охлаждением хладагента, позволяющие достичь температур ниже окружающих.
Серийный ватерчиллер на сегодня есть только один, это достаточно неэффективная (около 0 градусов при загрузке 50-70Вт) и дорогостоящая ($330) система от Swiftech. Голландцы OC-Shop.com обещают начать продажи своего чиллера, но за последние полгода не слишком продвинулись к цели. Известна лишь цена продукта - 600 евро, что еще больше, нежели у продукта Swifttech.
По причине отсутствия эффективных серийных чиллеров, остаются два пути - сделать самому или купить чиллер, предназначенный для другого применения.
Существует два основных вида ватерчиллеров: на основе фазового перехода (phase-change) или с использованием модулей Пельтье. Первые представляют собой двухконтурную систему, где испаритель "фреонки" охлаждает хладагент в контуре жидкостного охлаждения. Во втором случае вода или другой хладагент проходит через ватерблок, охлаждаемый модулями Пельтье. Этот вид чиллеров компактнее и проще в изготовлении, но сильно проигрывает в температурах и соотношении "эффективность/потребляемая энергия". Так, 500Вт суммарной мощности модулей дают температуру жидкости чуть ниже нуля градусов при нагрузке около 100Вт...
Итак, решено - будем делать phase-change waterchiller с тремя охлаждаемыми элементами (процессор, северный мост, ядро видеокарты).

Компоненты системы

Проще всего собирать чиллер на базе бытового конциционера. Желательно найти кондиционер, который использует газ R22, а не R134а, так как R22 испаряется при низшей температуре. Для данных целей также подходит система от холодильника. Я использовал кондиционер 5000BTU, обычно в них устанавливаются компрессоры мощностью в 1/2 л.с.

В качестве резервуара подойдет любая ёмкость с теплоизоляцией, а в крайнем случае можно сделать самому. В моем случае - это изолированный бачок для холодной воды.

Главная головная боль тех, кто рискнул заниматься экстремальным охлаждением - теплоизоляция для предотвращения конденсата. Простых методов, описанных в статье "Теплоизоляция ватерблоков" перестанет хватать, если температура приблизится к нулю и ниже. Поэтому в ход пойдет "тяжелая артиллерия". Для теплообменников - монтажная пена-заполнитель и изолента, для трубок и шлангов - поролон с закрытыми порами. Обязательно использование диэлектрической смазки для мест установки ватерблоков (также можно использовать силиконовое покрытие, но его потом невозможно удалить с плат).

Собственно компоненты системы водяного охлаждения, ватерблоки и помпа. Мой комплект состоит из PolarFlo CPU waterblock, Danger Den Z-Chip block, Swiftech MCW50 VGA block и помпы Rio Aqua 1400.

Следующий вопрос - выбор хладагента. В данном случае я руководствовался двумя параметрами: жидкость не должна замерзать при низких температурах и иметь как можно большую теплопроводность. Для низких температур подходят антифриз (кто бы сомневался;)), водка или смесь вода+метанол. Я выбрал метанол: он ядовит (внимание!), но обладает наилучшей теплопроводностью. Один из самых простых способов его достать - купить в автомагазине жидкость для стеклоочистителя.

Сборка

Здесь фотографии помогут больше, чем длительное описание на словах.

Я начал с теплоизоляции ватерблоков. Блок заливался пеной, после высыхания ставилась изоляция на трубки и всё вместе закрывалось изолентой.

Таким образом я теплоизолировал все три ватерблока.

Осталось изолировать материнскую плату. Всё пространство вокруг сокета и чипсета намазал диэлектрической смазкой, тоже самое проделал с блоками, потом сделал прокладки из поролона. Аналогичным образом обработал заднюю сторону материнки и видеокарты, затем установил поролон и закрепил пластинами из акрила.

Когда блоки были готовы, занялся кондиционером. Полностью разобрал его, стараясь ничего не сломать.

Для легкого и безболезненного сгибания трубок в нужных местах рекомендую использовать инструмент под названием "pipe bender" (не знаю точного русского названия).

Комплексное экстремальное охлаждение процессора и видеокарты
Процессор и видеокарту было решено охлаждать с помощью «фреонок», но места в корпусе оказалось не так много, чтобы разместить 2 системы, поэтому пришлось задуматься о системе на одном компрессоре с двумя испарителями. О том, что у меня получилось, вы можете прочитать в этой статье.
Теория фреонового охлаждения

Так как информации о фреоновом охлаждении в русскоязычном Интернете не очень много, то я кратко опишу основные понятия и принципы работы. Сразу замечу, что я не профессионал, никакого специального образования в данной области не имею и, всё чему научился — из форумов и статей. Поэтому кое в чём могу ошибаться. Итак, приступим!

Основными компонентами простейшей системы фреонового охлаждения являются: компрессор, испаритель, конденсер, фильтр, капиллярная трубка. Также необязательным компонентом может быть глазок, ну и хладагент (рефрижерант, фреон). Все части образуют замкнутый контур, по которому движется фреон.

Капиллярная трубка разделяет контур на две области — область высокого давления и область низкого давления. Компрессор перекачивает газообразный фреон на сторону конденсера, создавая в этой области высокое давление. При высоком давлении фреон начинает отдавать тепло и переходить в жидкое состояние. Жидкий фреон проходит через фильтр/драер. Дальше по капиллярной трубке фреон попадает в испаритель, в зону низкого давления. При этом фреон начинает активно испарятся, забирая тепло из окружающей среды. Компрессор прокачивает этот испарившийся фреон на сторону конденсера и цикл повторяется.

Компоненты системы

Компрессор
От выбора компрессора будет зависеть производительность системы, поэтому нужно знать хотя бы некоторые характеристики герметических компрессоров.

• Мощность (л.с.). Подходят компрессоры от 1/8 до 1 л.с. Если неизвестна мощность в л.с., то желательно найти производительность в ваттах.
• Температурный режим. Компрессоры делятся на высокотемпературные (HBP-High Back Pressure), средне- (MBP-Medium Back Pressure) и низкотемпературные (LBP-Low Back Pressure). Иными словами, рассчитаны на работу в системе, которая обеспечивает определённую температуру. Так как в данном случае необходимо достичь минимальной температуры, то больше всего подходят низкотемпературные компрессоры.
• Тип хладагента. Компрессоры изготовляются с расчётом на определённый тип фреона — разныё типы требуют разного давления. В зависимости от типа фреона в компрессорах используется разное масло.

Конденсер
Конденсер — это тот же радиатор, изготовленный с расчётом на более высокие давления. Так как для данной системы важен размер, то конденсер должен быть как можно меньше и при этом обдуваться вентилятором.

Фильтр/драер

Как следует из названия, драер фильтрует входящую жидкость от влаги, частиц и пыли, предотвращая забивание капиллярной трубки и выхода из строя компрессора.

Испаритель

Испаритель — это обычно медный блок с испаряющимся фреоном. Испаритель крепится к процессору и забирает от него тепло. Конструкция испарителя имеет много общего с тем же водоблоком — нужно попытаться достичь максимального внутреннего объема и испарения фреона прямо над ядром процессора.

Xладагент

Все охладители идентифицируются буквой R (refrigerant) и порядковым номером. Основное различие между хладагентами состоит в температуре перехода из жидкого состояния в газ.
Вот только некоторые, подходящие для использования в данном случае — R134а, R22, R12, R404а, R507. Также следует учитывать цену — некоторые низкотемпературные хладагенты достаточно дорогие для экспериментов.
У меня был выбор между хладагентами R134а и R290. Я остановился на R290 из-за более низкой температуры кипения.

Капиллярная трубка

Капиллярная трубка не единственное устройство, обеспечивающее разделение системы на две области (работоспособность системы), но она является наиболее надёжным типом трубок. С одной стороны лучше найти капиллярную трубку малого внутреннего диаметра (потребуется меньшая длина), но при этом увеличиваются шансы забивания ее частицами. Чтобы предотвратить это нужно обязательно ставить фильтр перед капилляром. Я использую трубку с внутренним диаметром 0.7мм.

Инструмент

Для сборки фреонки кроме обычного инструмента понадобится:

• пропановый паяльник, а лучше ацетиленовый или с IMAPP GAS;
• обычный припой, оловянный не подходит. Лучше найти с 15% (или более) содержанием серебра;
• манометры — один из обязательных аксессуаров при настройке системы, так как необходимо следить за давлением на обеих сторонах контура;
• инструмент для резки и изгиба медных трубок;
• вакуумный насос — если нет специального насоса (они обычно достаточно дорогие) можно использовать другой компрессор для создания вакуума в системе;
• теплоизолирующий материал — пенорезина и пенорукава для того чтобы не допустить выпадение конденсата.
• течеискатель — желательно, если вы хотите собрать герметичную систему с первой-второй попытки, а не с десятой (прим. LaikrodiZ)

Сборка

В данной системе я использовал такие компоненты:

• компрессор Embraco EMI100hlc мощностью 1 л.с.
• конденсер — перепаянный из автомобильного
• фильтр
• испарители — так как у меня нет возможности сделать испаритель самому, то пришлось покупать. Выбор был не большой — Baker’s CPU evaporator и Baker’s GPU Evaporator.
• всасывающая трубка — можно использовать и медную, но желательно, чтобы она была гибкая. Поэтому я купил трубки из нержавеющей стали, которые используются для подключения газовых плит. (Трубка должна держать давление как минимум 10 атмосфер и оставаться гибкой при температурах около -50 по цельсию! Уточните перед покупкой так как не все газовые шланги держат такие давления и температуры — прим. LaikrodiZ)

Вот как выглядит эта часть контура вместе (в самом конце работы над проектом я немного изменил разделитель):

И наконец, капиллярная трубка и кое-что из необходимого инструмента:

Корпус я взял, серверный Yeong Yang Cube Server Case YY-0221. Для отвода тепла от конденсера сначала пришлось сделать жалюзи в верхней крышке:

Затем все компоненты крепятся внутри и паяется контур:

После пайки систему нужно проверить на герметичность, вакуум и высокое давление.

Изоляция и крепления

Трубки изолировались специальным поролоном, испарители я поместил в пластмассовые корпуса (части пластиковых бутылок) и залил монтажной пеной.

Система контроля

После готовности контура, пришло время подумать о системе контроля «фреонки». Я не смог найти контроллер подобный тому, что используется в Prometeia, поэтому все пришлось собирать по частям.

Для того чтобы включать компьютер и фреонку вместе, я купил такой Relay Switch. В инструкции он описывался как устройство для запуска насоса водянок:

Но, конечно, запускать компьютер при разогнанной системе пока температура на испарителях не упадёт — не очень хорошая идея, поэтому была куплена ещё одна схема — CPU Delay Timer Kit.

Он позволяет задержать загрузку компьютера (при этом вентиляторы в системе работают). Время перед загрузкой выставляется от 1 секунды до 1часа.

Для вывода информации о состоянии системы используется LCD-дисплей Matrix Orbital LK204-24-USB. Из основных характеристик стоит выделить:

• USB интерфейс;
• подключение до 6 температурных датчиков;
• подключение до 6 вентиляторов (PWM Mode);
• возможность подключать LED’s, неонки и другие подобные устройства;
• всё контролируется программно, я использовал программу LCDC.

Вот как выглядит собранная система:

Два датчика температуры закреплены на испарителях

Тестирование и разгон

Конфигурация:

• AthlonXP 2500+ “Barton”
• Abit NF-7 Rev 2.0
• Geil Golden Dragon 2x256Mb PC3500 DDR
• Radeon 9700 PRO

Сначала я протестировал систему без нагрузки. Результат: температура на обоих испарителях опустилась до -51С. Без разгона температура держалась на уровне -43С для видео и -44С для ЦПУ:

Максимальная частота, на которой система работает стабильно (проходит все тесты):

Процессор: 2630MHz (219x12)@2.1V
Видеокарта: 400/680 (core/memory), без вольтмодов

При этом температура на испарителях держится -35-36С без нагрузки и опускается до -34С при загрузке системы. Подсокетный датчик показывает температуру на процессоре +11С, которая при нагрузке поднимается до +16С.

Выводы

Данная система имеет свои плюсы и минусы.

Сначала о недостатках:

• производительность фреонки с двумя испарителями ниже, чем при использовании двух отдельных контуров;
• в корпусе осталось очень мало свободного места (один 5.25" отсек и возможность разместить не больше двух HDD);
• испаритель видеокарты закрывает несколько PCI слотов, свободными остаются всего 2, в остальных можно использовать только низкопрофильные карты.

Плюсы:

• комплексное экстремальное охлаждение процессора и видеокарты с возможностью работы в режиме 24/7;
• низкий шум при работе системы;
• эстетичность;
• полный контроль состояния системы;
• наибольшим плюсом является компактность (all-in-one дизайн), ради этого и затевался данный проект.

Надеюсь, данный материал поможет тем, кто интересуется «фреонками» начать свои собственные проекты.

Дополнительно

24.08.2016, СР, 14:42, Мск

От правильного выбора системы охлаждения ЦОДа напрямую зависит его ключевая характеристика – надежность. Существует несколько способов отвода тепла из дата-центра, но мы рассмотрим только два наиболее распространенных из них – это «фреоновые кондиционеры» (с воздушным охлаждением) и «водяные кондиционеры» (получающие холод от чиллеров). Итак, «фреон» или «вода»?

Как и любая сложная техническая область, тема теплоотвода в ЦОДах обросла большим количеством мифов и предубеждений.

Первая группа мифов говорит о том, что «вода представляет опасность для ИТ-оборудования».

Миф 1: водяное охлаждение – это когда вода внутри сервера

Это не совсем верно: существуют серверные платформы с прямым охлаждением при помощи воды, но это пока экзотика. Наиболее распространенный способ отвода тепла от ИТ-оборудования – при помощи принудительно прогоняемого через его радиаторы воздуха. Описанные выше способы отвода тепла описывают процесс на уровне ЦОДа в целом, а не на уровне единиц ИТ-оборудования.

Миф 2: вода в серверном помещении – это недопустимый риск

Существует множество технических решений по недопущению попадания воды в ИТ-оборудование при протечке. Для этого надо проработать возможные сценарии аварий и принять соответствующие проектные решения.

Вторая группа мифов: водяная система очень дорогая и сложная в эксплуатации, а фреоновая привычнее и эффективнее.

Миф 3: водяная система – это слишком сложно и дорого

Необходимо рассматривать конкретные случаи. Возможна ситуация, когда наоборот – фреоновая система будет слишком сложной и дорогой, особенно если рассматривать не только строительство ЦОД, но и его обслуживание.

Миф 4: водяное охлаждение – это для больших ЦОДов

Да, у вас может быть обычная серверная комната на 20 стоек. Но необходимо произвести оценку, ведь может оказаться, что для этой серверной потребуются 20 отдельных фреоновых кондиционеров, поэтому водяная система будет выгоднее при эксплуатации.

Третья группа мифов порождена незнанием устройства систем охлаждения.

Миф 5: водяная система питается от магистрали водоснабжения

Нет, водяные системы питаются от чиллера специально подготовленной очищенной охлажденной водой или водно-гликолевой смесью с добавлением ингибиторов коррозии.

Миф 6: можно использовать бытовой фреоновый кондиционер

Идея «дуть на оборудование холодом» от бытового кондиционера – следствие неправильного понимания задачи. Необходимо не просто подавать охлажденный воздух на оборудование, а отводить избыточное тепло, чтобы обеспечить соответствующие температурные условия эксплуатации. При этом охлажденный воздух выступает всего лишь в роли теплоносителя для перемещения определенного количества теплоты из помещения ЦОДа на улицу. Как известно из школьного курса физики, количество теплоты равняется удельной теплоемкости, помноженной на массу вещества и на разницу температур до нагрева и после нагрева. Если масса вещества (объем подаваемого из кондиционера воздуха) будет значительно меньше необходимого, то не спасет даже понижение температуры воздуха. Бытовые кондиционеры имеют в несколько раз меньшую производительность подачи воздуха, чем прецизионные. К этому можно добавить, что часть их мощности тратится на осушение воздуха (для создания комфортных условий для человека) и что они имеют малый ресурс (не предназначены для постоянной работы круглые сутки во все времена года).

Нам, людям третьего тысячелетия, ни к чему прозябать среди мифов и заблуждений. Мы можем оценить ситуацию в свете знаний. Ограничимся основными свойствами обоих вариантов, и рассмотрим их более внимательно.

Преимущества фреоновых систем

Относительная простота системы

По сути, фреоновый кондиционер, как и домашняя сплит-система, состоит из двух половинок: собственно кондиционера, устанавливаемого в охлаждаемом помещении, и внешнего блока, который размещается на улице. Обычно в самом кондиционере расположены вентиляторы, охлаждающий воздух теплообменник (испаритель), компрессор и управляющая электроника. Дополнительно в кондиционере могут быть пароувлажнитель, поднимающий влажность воздуха до требуемой, воздушные фильтры, и т. д. Внешний блок прецизионного кондиционера устроен совсем просто: только теплообменник, отдающий тепло в окружающий его воздух, вентилятор, и автоматика, этим вентилятором управляющая.

Соединяются кондиционер и его внешний блок парой медных трубок небольшого диаметра (обычно 15-20 миллиметров, редко больше), которые могут быть проложены даже в стесненных условиях.

Длительность монтажа одного кондиционера обычно не превышает двух-трех дней. Вне зависимости от мощности кондиционера принцип его действия не изменяется: и маленький потолочный аппарат на 7 кВт, и огромная 200-киловаттная машина устроены, в принципе, одинаково.

Полная независимость кондиционеров друг от друга

Если нужны несколько кондиционеров, они устанавливаются как независимые друг от друга агрегаты. Каждому кондиционеру – свой внешний блок с отдельными трубопроводами. Из этого свойства вытекают следующие дополнительные преимущества. Первое – высокая надежность резервированной системы: у нескольких кондиционеров, работающих в одном помещении, нет общих узлов и блоков, они полностью независимы, и, значит, нет единой точки отказа. Выход из строя одного кондиционера никак не влияет на работу остальных. Второе преимущество – простота расширения системы: во многих случаях для увеличения производительности системы в целом можно просто установить в этом же помещении еще один кондиционер.

Меньше начальные капитальные вложения

Как справедливый итог вышеперечисленных (и многих других) объективных свойств, фреоновая система оказывается и в закупке, и в монтаже, и в пуско-наладочных работах значительно (иногда – в два-три раза) дешевле, чем водяная с аналогичной производительностью. Простота прокладки медных труб и установки внешнего блока, полная независимость кондиционеров друг от друга и несложная процедура пусконаладки позволяют разворачивать системы охлаждения достаточно оперативно и сравнительно недорого.

Недостатки фреоновых систем

Сравнительно малая допустимая энергетическая плотность ЦОД

К сожалению, «удельная мощность одного кондиционера» получается не очень большой. Особенно, если рассматривать самый эффективный и популярный в настоящее время конструктив: компактные внутрирядные кондиционеры, устанавливаемые в рядах с серверными шкафами. Мощность в 15-20 кВт для корпуса шириной 600 мм (размером как обычный серверный шкаф) и не более 10-12 кВт для компактного 300-миллиметрового корпуса – практически предел для фреоновых машин. Есть отдельные экземпляры, мощность которых немного выше «средней по рынку», но это достигается уплотнением внутренней компоновки, как следствие – снижением ремонтопригодности аппарата.

В итоге высокая мощность системы может быть достигнута только установкой большого количества кондиционеров: каждый со своим внешним блоком, со своими трубопроводами… В следствие этого использование фреоновых кондиционеров в ЦОД средней плотности, с удельной нагрузкой на стойку от 7 до 10 кВт, представляется затруднительным, а при удельной нагрузке в 15 кВт и более – почти невозможным.

Каждому внутреннему блоку должен соответствовать отдельный внешний блок

Классический случай, когда достоинство оборачивается недостатком, переходя из количества в новое, но уже негативное, качество. Попробуйте представить, как будет выглядеть фасад вашего здания, если на нем повесить десять-пятнадцать внешних блоков (размер каждого, например, полтора на два метра). А шахта с тремя десятками труб? Комментарии к этой картине, пожалуй, излишни. Попытками «оптимизации» можно только усугубить проблему: существуют довольно жесткие ограничения по расстоянию от кондиционера до его внешнего блока. Типичное ограничение по длине трубок составляет 30-40 метров, редко больше, причем считается не настоящая длина, а «эквивалентная»: с учетом всех изгибов и поворотов. Поэтому равномерно распределить внешние блоки по большой площади не получится: они все равно будут создавать «толпу» около машинного зала ЦОДа.

Малая гибкость системы

В варианте охлаждения с подачей воздуха через фальшпол мощность одного кондиционера может достигать величин в 200 и более кВт, это уже довольно крупный агрегат, размером в несколько метров и весом в пару-тройку тонн. С мощностью порядок, но как ее регулировать? У фреоновой холодильной машины есть такой параметр, как минимальная нагрузка: если 100-киловаттный кондиционер заставить удалять из ЦОД всего 5 кВт тепла, то он просто не справится с этой задачей. Слишком маленькая тепловая нагрузка не сможет испарять то количество фреона, которое достаточно для нормальной работы цикла работы холодильной машины. Производители идут на разные ухищрения, чтобы побороть эту проблему, например, оснащают кондиционеры встроенными нагревателями, которые «донагружают» кондиционер дополнительным теплом. Получается абсурдная ситуация: чтобы охладить воздух – надо сначала нагреть воздух, потратив электричество не только на охлаждение, но и на нагрев. Что подводит нас к следующему недостатку фреоновых систем.

Низкая энергоэффективность

Грубо говоря – КПД любого кондиционера составляет 200 и более процентов: для того чтобы «сдуть» с оборудования, например, 100 кВт тепла, кондиционер потребляет от сети не более 50 кВт электричества, а зачастую и еще меньше. Однако на практике все не так хорошо: с учетом проблем регулирования мощности и некоторых «накладных расходов» на охлаждение оборудования фреоновыми кондиционерами вы потратите почти столько же электроэнергии, сколько потребляет само охлаждаемое оборудование. Но, как говорят в «магазине на диване», и это еще не все. Если мы попробуем построить график потребляемого тока во времени, то мы увидим, что электричество потребляется непостоянно, и неравномерно. На графике будут периоды времени, когда потребление мало (в эти моменты времени работают только вентиляторы, а фреоновый компрессор простаивает). Также на графике мы увидим периоды с «нормальным» энергопотреблением (работают и вентиляторы, и компрессор).

Кроме того, на графике будут кратковременные, но очень неприятные моменты с резкими и значительными бросками потребляемого тока. Это моменты включения компрессора после простоя, и броски эти называются «пусковой ток». Величина пускового тока обычно очень ощутима, и превышает номинальное значение в 10-15 раз. Это означает, что все составляющие в системе электропитания кондиционера должны выдерживать кратковременную, но значительную перегрузку. Например, если кондиционер питается от источника бесперебойного питания – этот ИБП должен выдержать перегрузку в 1000% в течение 5-15 секунд. Таких ИБП, к сожалению, не бывает, и для обеспечения работоспособности всей системы приходится использовать заведомо более мощный (переразмеренный) ИБП, который стоит «переразмеренных» денег. То есть фреоновая система предъявляет особые требования к смежной системе, значительно удорожая ее.

Отсутствие фрикулинга

Кроме того, что фреоновый кондиционер потребляет много электроэнергии – следует отметить тот факт, что он потребляет ее постоянно. Круглый год. А если на улице зима и кругом полным-полно «бесплатного» холодного воздуха – фреоновый кондиционер может потреблять еще больше электричества, потому что он вынужден подогревать свой внешний блок, «чтобы не замерз». Увы, нет никаких возможностей для экономии за счет природы.

Сложности ремонта

И о ремонте. Если из трубы капает вода, то труба обычно мокрая, а под трубой лужа. Это очень упрощает поиск места протечки: где лужа – там и течет. Фреон же течет только при давлении в десятки атмосфер, поэтому при малейшем повреждении трубы он просто незримо улетучивается. Поиск места протечки – занятие нетривиальное и занимает много времени. Для восстановления работы системы во многих случаях требуются остановка кондиционера, удаление хладагента и полная перезаправка после ремонта.

Преимущества водяных систем

Рассмотрев фреоновые кондиционеры, обратим свой взгляд на более сложный и дорогой вариант: водяную систему. Здесь уже трудно говорить об отдельных кондиционерах (представить себе одинокий водяной кондиционер можно, но сложно), будем рассматривать систему из нескольких аппаратов, работающих сообща. Начнем опять с преимуществ.

Фрикулинг и энергоэффективность

Основная причина существования водяных кондиционеров в ЦОДе – это, конечно же, высокая экономическая эффективность, обусловленная как высокой эффективностью системы в целом, так и возможностью «бесплатного» использования «уличного холода» в течение нескольких месяцев в году. В условиях средней полосы России даже типовая система с водяными кондиционерами, работающая в «обычном» температурном режиме и не «заточенная» специально под высокую энергоэффективность, позволяет «бесплатно» охлаждать ИТ-оборудование в течение 4-5 месяцев (когда температура воздуха на улице отрицательная). С применением некоторых технологических хитростей период работы фрикулинга можно увеличить до 7-8 месяцев. Потребление электроэнергии системой кондиционирования в режиме фрикулинга крайне невелико. Например, 100-киловаттная система будет потреблять около 1 кВт на насосы, перекачивающие теплоноситель, приблизительно 3 кВт на вентиляторы, обдувающие теплообменник на улице, и около 12 кВт съедят вентиляторы в кондиционерах. Итого, «условный КПД» составляет приблизительно 600%, а не 200, как у фреоновых систем.

Большая допустимая энергетическая плотность ЦОДа

В отличие от фреонового кондиционера, водяной устроен очень просто: у него внутри нет ни компрессора, ни сложной системы регулирования давления рабочего вещества, ни множества трубок и клапанов… По сути своей, водяной кондиционер – это просто теплообменник с вентиляторами, прокачивающими через него воздух. Освободившееся от сложной начинки место не пропадает даром: его занимает теплообменник, который заметно больше, чем во фреоновом аппарате. А чем больше теплообменник, тем мощнее кондиционер, при прочих равных. То есть в том же размере. Современный внутрирядный водяной кондиционер мощностью 60 кВт может быть собран в корпусе размером в половину серверного шкафа: шириной 300 мм. Благодаря такой компактности и высокой «удельной мощности» водяные кондиционеры позволяют строить «энергетически высокоплотные» ЦОДы с удельной нагрузкой на серверный шкаф в 15-20 кВт и выше, не занимая кондиционерами места больше, чем ИТ-оборудованием.

Возможность выбора

Вспомним, что является источником холода для водяного кондиционера: очень обобщенно говоря – это «труба с холодной водой» (кстати, хоть мы и говорим «вода», в нашем климате под этим словом обычно подразумевается незамерзающая смесь, антифриз). Если система построена правильно, от потребления воды одним аппаратом работа всех остальных кондиционеров никак не зависит. Следствием этого является принципиальная возможность организовать систему таким образом, чтобы «на одной трубе сидели» и мощные кондиционеры для машинного зала ЦОД, и менее производительные кондиционеры для зоны ИБП, и совсем небольшие аппараты для вспомогательных помещений – таких, как электрощитовая, коммутационная, и т. п.

Небольшое количество «внешних блоков»

А откуда в этой трубе, собственно, появляется холодная вода? Воду охлаждает холодильная машина, «чиллер». По принципу действия чиллер очень похож на фреоновый кондиционер, только охлаждает он не воздух, а жидкий теплоноситель. А сколько должно быть в системе чиллеров? Сколько угодно, начиная от одного. Да-да, если мощность холодильной машины достаточна для работы всех кондиционеров, то машина может быть всего одна на любое число кондиционеров. Правда, обычно чиллеров все-таки несколько. Это делается для повышения гибкости, надежности и обеспечения поэтапного развития системы. Но два, три, пять чиллеров – это не десяток, два, или более внешних блоков. ЦОД не похож на елку, увешанную игрушками – и это хорошо.

Нет ограничений по удалению чиллеров от кондиционеров

Одна из проблем фреонового кондиционера – это небольшое расстояние от кондиционера до его внешнего блока. А как далеко можно установить чиллер? Все определяется только производительностью насоса, перекачивающего теплоноситель, и «потерями холода» (нагревом воды «по дороге» от чиллера к кондиционерам) из-за неидеальной теплоизоляции. Но это преодолеваемые сложности, поэтому вполне возможна установка холодильных машин на кровле многоэтажного здания, в дальнем углу территории, и в любом другом удобном месте. Встречаются здания, в которых фреоновые кондиционеры установить в принципе нельзя, а водяные системы в таких условиях вполне работоспособны.

Простое обнаружение протечек и оперативный ремонт магистралей

Как можно обнаружить, что вода уходит из трубы? По падению давления в системе. А как найти место утечки? Визуально! В большинстве случаев не нужны приборы – течеискатели, нет необходимости отключать систему и проводить длительный поиск места утечки. Более того, при наличии оборудования аварийной подпитки водяная система кондиционирования при незначительных утечках может функционировать достаточно долго, чтобы ремонт из экстренного превратился в плановый. Методика ремонта, кстати, зависит от выбранного материала трубопроводов, и в некоторых случаях он возможен без отключения системы. А если предусмотреть резервные трубопроводы, то никакая протечка не станет губительной и не приведет к остановке ЦОДа. Да, в чиллере есть фреон, и он тоже может улетучиться. Но чиллер является комплектным устройством, которое приходит с завода заправленным фреоном и маслом, поэтому вероятность утечки не очень велика.

Недостатки водяных систем

Конечно же, ничего нельзя получить бесплатно. Даже если не упоминать такой недостаток водяной системы, как значительные капитальные затраты на первоначальном этапе (увы, стоимость оборудования и монтажных работ могут превышать аналогичные показатели для фреоновых систем в два и более раза), есть и другие проблемы. О которых конечно, нельзя не упомянуть.

Наличие воды в машинном зале ЦОД

На самом деле – вода в том или ином количестве присутствует в любом ЦОДе. Это и дренаж конденсата из кондиционеров, и отопление в смежных помещениях, есть также риск протечки крыши или водопровода, и т. д. Но в системе кондиционирования вода находится под давлением, которое хоть и невелико (обычно 2-3 атмосферы), но все-таки увеличивает риск протечки и ускоряет вытекание воды через поврежденный трубопровод. В ЦОДе с водяным кондиционированием обязательно нужно предусматривать дренаж воды из-под фальшпола и принимать усиленные меры по гидроизоляции перекрытий и даже стен.

Проблемы с работой на малой нагрузке

Чиллер является фреоновой холодильной машиной, и он, к сожалению, не избавлен от такого недостатка, как неспособность работать со слишком низкой нагрузкой. А поскольку чиллеры обычно довольно мощные – величина минимально допустимой тепловой нагрузки может быть весьма значительной. Поэтому новый ЦОД придется сразу нагружать хотя бы на 30% от мощности единичного чиллера… или запускать в работу осенью: в режиме фрикулинга проблем с минимальной мощностью нет.

Место для установки чиллеров

Обратной стороной малого числа чиллеров и их высокой мощности являются размер и вес. Фреоновый компрессор и вся его обвязка находятся не в кондиционере, а в чиллере, теплообменник для фрикулинга тоже частенько интегрирован в общий конструктив, в итоге даже 50-киловаттный агрегат весит почти полторы тонны. На стену такой агрегат не повесить – нужна площадка на земле либо на крыше. На условный 100-киловаттный ЦОД таких чиллеров нужно три (третий – резервный), в итоге площадка будет размером как автостоянка на три машины и нагружена она будет тоже «на три машины» - почти на пять тонн.

Расширение ассортимента эксплуатируемого оборудования

Ну и, конечно, гидравлика. Насосы, теплообменники, запорная арматура – все это приведет к тому, что в штате ЦОД кроме электрика, дизелиста, и холодильщика придется завести еще и сантеника-гидравлика. Кстати, все трубы придется делать сразу, и на полную мощность, каким бы ни был первый пусковой комплекс.

Как выбирать

Что же в итоге выбрать, «воду» или «фреон»? Поскольку это инженерная задача, ее следует решать, учитывая все параметры строящегося объекта. Вот экспертное мнение: для каждого из реальных случаев существует оптимальное решение, и нет единого рецепта для всех, поэтому выбору архитектуры системы охлаждения необходимо уделять особое внимание, проводя вариантную проработку с обязательным привлечением специалистов. Предварительную оценку «за» и «против» можно сделать при помощи таблицы, приведенной в таблице.

Чеклист для определения вектора выбора технологии

Условия	Ответ
Расчетная энергетическая плотность ниже чем 10 кВт на каждый ИТ-шкаф.	Да / нет
Количество ИТ-шкафов в серверной или ЦОДе не превышает 10 шт.	Да / нет
На расстоянии не более 25 м (по трассе) и на уровне ЦОДа (серверной), есть место для размещения внешних блоков (конденсаторов) кондиционеров.	Да / нет
Нет режима жесткой экономии электроэнергии.	Да / нет
В помещении машинного зала отсутствует возможность монтажа фальшпола.	Да / нет
Тепловая нагрузка в первые месяцы эксплуатации ЦОД будет менее 10% от полной мощности.	Да / нет
Существуют проблемы с правильной эксплуатацией систем отопления и водоснабжения.	Да / нет
Легче купить мощный ИБП, чем усложнять систему охлаждения?	Да / нет
Фрагментарное отключение системы кондиционирования не повлияет на работу основных систем ЦОД.	Да / нет
Нет четкого понимания, какими темпами будет развиваться ЦОД и как долго он будет эксплуатироваться до первого расширения?	Да / нет
Стоит задача уменьшения капиталовложений именно на первом этапе?	Да / нет

Если ответов «да» получилось значительно больше, чем «нет», то вашему ЦОД вполне подойдет фреоновая система. Если ответов «нет» получилось больше, чем «да», рекомендуем присмотреться к водяной системе. Однако точный рецепт все-таки подскажет специалист, когда увидит ваш ЦОД «вживую», его помощью ни в коем случае пренебрегать не стоит.

Олег Сорокин,
эксперт по направлению ЦОД компании ICL-КПО ВС