Внедрение лучших практик охлаждения центров обработки данных

Статья также доступна на украинском (перейти к просмотру).

Содержание:

• Принципы обеспечения эффективного охлаждения ЦОД
• Ограничения и условия
• Пошаговые рекомендации для специалистов ЦОД
  • Подготовительный этап
  • Первоочередные действия по улучшению управления воздухом
  • Сокращение количества охладителей
  • Повышение рабочей температуры
  • Расчет эффективности системы охлаждения
• Дополнительные меры по повышению эффективности охлаждающей системы

Несколько лет назад Американским обществом инженеров ASHRAE были приняты и утверждены ряд технологических принципов организации охлаждения центров обработки данных (ЦОД). Однако недавние исследования Институт безотказной работы показали, что их внедрение на местах столкнулось с рядом препятствий, в частности, из-за недостаточной осведомленности инженерно-менеджерского состава ЦОД по этим сложным вопросам. Выводы и рекомендации по устранению всех препятствий были изложены в работах «Reducing Bypass Airflow is Essential for Eliminating Computer Room Hotspots» та «How to Meet ‘24 by Forever’ Cooling Demands of Your Data Center» в 2004 и 2005 гг. соответственно. Попробуем здесь коротко передать сущность указанных научных работ. 

Принципы обеспечения эффективного охлаждения ЦОД

В документе, опубликованном ASHRAE, отправной точкой для усовершенствования систем охлаждения является использование повышенных рабочих температур. Использование диапазона более высоких температур на входе IT-Устройство позволяет увеличить температуру в помещении и применить различные способы «свободного охлаждения». 

Однако, как оказалось, в ЦОД не готовы к изменению рабочих температур из-за отсутствия опыта управления базовым потоком воздуха. Это делает невозможным использование новых методов охлаждения без изменения подходов к управлению воздушными массами. Например, по результатам проверки нескольких помещений ЦОД оказалось, что уровень избыточной мощности охладителей в среднем был в 2,6 раза больше, чем требовалось. Кроме того, выяснилось, что только около 40% охлаждающего воздуха реально работало на охлаждение. Все остальное распылялось по залу и бесследно утрачивалось, снижая эффективность работы системы охлаждения. 

Корректировка управления воздухом уменьшит количество так называемых «горячих точек» в помещении, а отключение лишних охлаждающих устройств снизит стоимость их обслуживания.

Ограничения и условия

Внесение изменений в любую рабочую среду должно происходить постепенно для обеспечения известных условий – стабильность, доступность и непрерывность обслуживания. И системы охлаждения не исключение.

Одно из основных ограничений, которое следует учитывать – это плотность потока воздушного охлаждения. Границей для воздушного охлаждения всегда считалось значение 7 кВт на одну стойку. Однако, следуя нашим рекомендациям по оптимизации системы охлаждения можно достичь значений значительно больше традиционных. Например, практикой проверено получение значений плотности более 10 кВт.

В случае использования стоек с плотностью более 6 кВт нами рекомендовано применение в помещение непрерывного охлаждения, что позволит избежать лишних проблем в дальнейшем при его эксплуатации. Это обусловлено наличием в области зарегистрированных температурных отклонений, при которых скорость изменения температуры превышает установленные ASHRAE допустимые значения.

Также следует отметить, что повышение значения рабочей Т помещение ЦОД может сократить время восстановления в случае кратковременного нарушения подачи охлаждающего воздуха.

При избрании рабочей Т для своего ЦОД следует руководствоваться рекомендациями, изложенными в текущей публикации ASHRAE, а также учитывать возможности установленного в ЦОД оборудования.  

Одним из перспективных решений является учет размещения IT-оборудование в пределах холодного и горячего проходчиков, по которым подается охлаждающий воздух и отводится горячо. Учет этого фактора позволит стабилизировать движение воздуха и сделать невозможным смешение двух потоков. 

Для более быстрого и безболезненного перехода на новые методы охлаждения рекомендуем сразу разработать стратегический план для помещения ЦОД, который, в частности, учитывал бы размещение систем питания, рядов компьютерного оборудования и их позиции в пределах одного ряда; размещение и количество охладителей. Это обезопасит вас в дальнейшем от лишних проблем.    

Пошаговые рекомендации для специалистов ЦОД

Для достижения указанных целей мы приводим несколько поэтапных шагов. Все шаги разбиты на три части:

• Подготовительный этап;

• Первоочередные действия по улучшению управления воздухом;

• Сокращение количества охладителей;

• повышение рабочей температуры;

• Расчет эффективности системы охлаждения.

Подготовительный этап

Подготовительный этап связан с фиксацией исходных данных и включает следующие шаги:

• Определить нагрузку на охлаждающие устройства;

• Осуществить измерения температуры в ключевых точках – на входе в ЦОД и в «горячих» точках;

• Измерить и зафиксировать мощность охлаждающих устройств;

• Зафиксировать ощутимую нагрузку на помещение ЦОД, состоящее из сумм нагрузок каждого из устройств охлаждения. Для этого необходимо измерить объем воздушного потока каждого охлаждающего устройства и зафиксировать Т подачи и Т возврат для каждого работающего IT-устройства;

• Запросить поставщика оборудования на ощутимую мощность всех блоков, просуммировать его и ввести в таблицу;

• получить соотношение рабочей мощности и охлаждающей нагрузки, для чего необходимо разделить общую ощутимую мощность охлаждения помещения ЦОД на ощутимую рабочую мощность;

• Определить  ТМакс на входе для новой рабочей среды;

• Создать рабочий план, в который внести все полученные на предыдущих этапах показатели контроля, а также план «отката» в случае возникновения непредвиденных обстоятельств.

Первоочередные действия по улучшению управления воздухом

После завершения работ на подготовительном этапе необходимо выполнить следующие первоочередные действия:

• Разместить перед каждой рабочей стойкой с оборудованием по одному блоку перфорированной плитки вместо сплошной; перед всеми другими (незадействованными) стойками разместить блоки только со сплошной плиткой;

• В случае использования обратных воздушных заборщиков убедиться, что обратные решетки расположены в направлении движения горячего воздуха;

• Предупредить потерю входящего охлаждающего воздуха через пустые стойки путем применения заглушек;

• Загерметизировать кабельные отверстия в полу, если они не задействованы;

• Проверить наличие отверстий в стенах и других частях помещения и в случае их наличия загерметизировать;

• Найти места потерь приточного воздуха вокруг всех охлаждающих устройств и загерметизировать их;

• Обеспечить наличие обратных клапанов для всех охлаждающих устройств;

• Предупредить любые потери воздуха через электрические панели или устройства на полу;

• Зафиксировать значения температуры во всех контрольных точках и сравнить их со значениями, полученными ранее;

• Выяснить изменилась ли температура на входе, при ее увеличении необходимо увеличить поток воздуха, в частности путем замены стандартного блока перфорированной плитки на блок с большей пропускной способностью.

Сокращение количества охладителей

Следующие шаги позволят оптимизировать количество устройств для охлаждения помещения ЦОД 

• Определить устройства с наименьшей ощутимой нагрузкой;

• Произвести оценку необходимого количества устройств охлаждения (расчетное количество), разделив общую нагрузку на систему охлаждения на наименьшую ощутимую мощность одного устройства;

• Рассчитать нужный уровень избыточности системы охлаждения – для больших помещений рекомендуется установить уровень избыточности из расчета один лишний блок на шесть устройств, для малых – уровень избыточности должен быть больше;

• Определить количество избыточных охлаждающих устройств, поделив их расчетное количество на число шесть (для больших помещений) и округлить полученное значение до ближайшего целого;

• Получить общее количество необходимых охлаждающих устройств, для чего составить их расчетное количество и избыточные;

• При эксплуатации помещения необходимо каждую неделю выключать одно устройство для достижения количества, полученного нами в предыдущем пункте;

• Постепенно уменьшать количество блоков перфорированных плиток во время процесса, определенном в предыдущем пункте, что будет соответствовать уменьшенному потоку воздуха, подаваемого в ЦОД;

• Фиксировать температуру в контрольных точках перед каждым отсоединением охладителя и сравнивать с предыдущими значениями. В случае ее увеличения увеличить поступление воздуха в проблемное место путем перемещения плитки из области, в которой отсутствуют «горячие» точки;

• По окончании процесса зафиксировать мощность потребления системы охлаждения и сравнить ее с начальными значениями.

Повышение рабочей температуры

Укажем на необходимые шаги по повышению температуры в помещении ЦОД:

• Еженедельно увеличивать температуру на каждом охладителе на 1-2 градуса до тех пор, пока воздух на входе в серверное оборудование не достигнет стандартных значений (около 24 °С);

• Фиксировать значения температур перед каждым повышением и сравнивать с предыдущими значениями, чтобы выяснить, изменилась ли Т на вход. Регулировать процесс подачи воздуха можно при помощи блоков плиток.

Расчет эффективности системы охлаждения

На этом этапе определяется насколько улучшились показатели эффективности обновленной системы охлаждения. Для этого сравниваются действующие показатели с полученными на предварительном этапе.

К таким показателям, в частности, относятся:

• Общее энергопотребление охладителя;

• Соотношение рабочей мощности и погрузки;

• Температура на входе IT-устройства. 

На конечном этапе рассчитывается экономическая выгода из-за сокращения использования электрической энергии охлаждающей системой по результатам проведенной оптимизации. Производится оценка годовой экономии электроэнергии на основе средних значений ее стоимости.

Дополнительные меры по повышению эффективности охлаждающей системы

К таким мерам, в частности, относятся:

• внедрение приводов кулеров с изменяющейся частотой вращения вала;

• Регулировка притока воздуха;

• Повышение температуры охлаждающей жидкости в системах с жидкостным охлаждением.  

Применение указанных мер позволит обеспечить дополнительное снижение количества электрической энергии, потребляемой ЦОД.

Кстати, мы в дата-центре FREEhost.UA эти методики практикуем уже около 15 лет, они хорошо себя зарекомендовали и позволили поднять эффективность работы ЦОД. Будем рады разместить Ваш сервер в нашем дата-центре!

Подписывайтесь на наш телеграмм-канал https://t.me/freehostua, чтобы быть в курсе новых полезных материалов

Смотрите наш канал Youtube на https://www.youtube.com/freehostua.

Мы в чем ошиблись, или что-то пропустили?

Напишите об этом в комментариях, мы с удовольствием ответим и обсуждаем Ваши замечания и предложения.