Chłodzenie w Centrum Danych

Data Center
infrastruktura IT
Mariusz Gębala
14.03.2018 Mariusz Gębala

Każde Data Center mające ambicję zaistnieć na nie tylko ogólnopolskim rynku IT musi być przygotowane perfekcyjnie w przynajmniej kilku podstawowych aspektach:

  1. W 100% bezawaryjne zasilanie (więcej informacji w osobnym wpisie: Zasilanie Data Center).
  2. Stały dostęp do sieci internet, niwelujący przerwy serwisowe do minimum.
  3. Bezpieczeństwo przechowywanych danych, poprzez szereg ściśle określonych procedur, pozwalających na fizyczny dostęp do urządzeń znajdujących się w Data Center.
  4. Wykwalifikowany personel, potrafiący reagować na każde sytuacje, zarówno te awaryjne jak i spokojniejsze.
  5. Zapewnienie odpowiednich warunków atmosferycznych wszystkim urządzeniom znajdującym się w Data Center.

Z pewnością znalazłoby się jeszcze szereg innych bardzo ważnych elementów infrastruktury, jednakże gdyby przyjrzeć się powyższym punktom, w oczy rzucają się dwa punkty, bez których żadne Centrum Danych nie będzie w stanie funkcjonować. Chodzi oczywiście o punkt pierwszy i punkt ostatni. Tak się składa, że układ zapewniający chłodzenie nie będzie działał bez dostarczania energii elektrycznej, a układ energii elektrycznej nie będzie w 100% sprawnie funkcjonował bez układu zapewniającego chłód. Skoro o zasilaniu w Data Center już pisałem wcześniej, dziś zajmijmy się układami chłodzenia.

Serce układu chłodzenia – agregat chłodniczy


Skoro bezawaryjne zasilanie już mamy, wykorzystajmy je nie tylko do zasilania serwerów. Energia elektryczna ma to do siebie, że można ją wykorzystywać na wiele sposobów. Dlaczego zatem nie wykorzystać jej do „wytworzenia” chłodu? Oczywiście nie da się bezpośrednio, pstryknięciem palców zamienić prądu na chłód, ale jeśli wykorzystać do tego urządzenie, które potrafi taki chłód wyprodukować, jeśli dostarczymy mu prąd – okazuje się to całkiem możliwe.

Czego zatem nam brakuje? Samego urządzenia, znanego jako agregat chłodniczy, czy też zamiennie nazywanego chillerem. Agregat chłodniczy w dużym uproszczeniu działa w taki sposób, że dzięki kompresorom oraz czynnikowi chłodniczemu potrafi schłodzić ciecz (najczęściej woda z domieszką glikolu), która przez niego przepływa do zadanej temperatury.

agregat chłodzenie serwerownia

Następnie dzięki pompom czynnik ten jest podawany na dalsze elementy instalacji obiegu czynnika chłodniczego. Jaką temperaturę powinniśmy uzyskać dzięki agregatowi? To już zależy od tego, jakiej temperatury potrzebujemy. Trzeba brać poprawkę, że temperatura czynnika, wychodzącego z chillera, z pewnością będzie się różnić od tej, która panować będzie w komorze serwerowej. Różnica może sięgnąć do 10 stopni Celsjusza, oczywiście na plus w komorze.

Podsumowując, na chwilę obecną mamy urządzenie, które schłodzi czynnik w instalacji. Co jednak, kiedy takie urządzenie zgłosi awarię? Tak jak wszystkiemu w Data Center, musimy zapewnić redundancję – rezerwowy agregat, który przejmie na siebie rolę dyrektora, odpowiadającego za produkcję chłodu w serwerowni. Takich zapasowych agregatów może być więcej, ich ilość nie jest w żaden sposób ograniczona.

Ba, a co w przypadku, kiedy jeden agregat, pomimo wszelkich chęci nie będzie w stanie schłodzić czynnika do zadanej temperatury, bo komora jest już szczelnie wypełniona i produkuje dużą ilość ciepła? Wówczas z pomocą przyjdzie mu jego „rezerwowy” partner, który wspomoże w schładzaniu czynnika do takiej temperatury, jakiej sobie życzymy. Tym bardziej w takim przypadku przyda nam się tych chillerów więcej.

Warto w tym miejscu zastanowić się nad jeszcze jedną kwestią. Czy zimą, kiedy temperatury na zewnątrz nierzadko spadają poniżej zera, nie można tego jakoś wykorzystać do chłodzenia naszych komór? Otóż okazuje się, że jak najbardziej można. Zjawisko wykorzystywane do schładzania czynnika w instalacji przy pomocy temperatury zewnętrznej nazywane jest freecoolingiem.

Freecooling


Istnieją dwa rozwiązania tej metody – wyposażenie agregatu chłodniczego w opcję wykorzystywania freecoolingu lub wykorzystanie do tego dedykowanego sprzętu, który zajmuje się produkcją chłodu tylko wtedy, kiedy na zewnątrz jest zimno. Włączając go do obiegu, zaoszczędzamy mnóstwo energii elektrycznej, dzięki temu, że kompresory w agregacie nie muszą schładzać glikolu i wody, bo zajmuje się tym urządzenie dedykowane do pracy zimą.

Żeby nie pozostawić tego sprzętu bezimiennym, element taki nazywamy dry-coolerem. Jeśli chodzi o redundancję, zasada jest podobna jak w przypadku agregatów chłodniczych – większa ich liczba niż dwa nie zaszkodzi, jedynie może pomóc. Jednak w tym miejscu trzeba też mieć na uwadze, że w razie awarii dry-coolera jego rolę w 100% poprawnie przejmie chiller. Freecooling stosuje się po prostu w celu zmniejszenia zużycia energii elektrycznej na rzecz chłodzenia Data Center.

Podsumowując, mamy dwa rodzaje źródeł produkujących chłód dla Data Center. W zależności od pory roku, wykorzystujemy chiller latem lub dry-cooler zimą. Dodatkowo zapewniliśmy naszemu układowi redundantność, co znacząco zwiększa niezawodność w dostarczaniu tego chłodu tam, gdzie go najbardziej potrzeba – do komór serwerowych czy też rozdzielni elektrycznych. W jaki sposób zatem wykorzystać schłodzony glikol i wodę do chłodzenia tych pomieszczeń?

agregaty chłodzenie serwerownia

Co z czynnikiem chłodniczym?


Zanim odpowiemy na zadane pytanie w ostatnim wierszu poprzedniego akapitu, skupmy się jednak co dalej dzieje się z czynnikiem, który udało się schłodzić. Oczywistym jest fakt, że pompa chillera może nie wystarczyć do tego, aby cały ten czynnik rozprowadzić po, bądź co bądź, dość obszernym miejscu, jakim jest Centrum Danych.

Okazuje się więc, że najczęściej pompa agregatu chłodniczego służy do tego, aby dostarczyć schłodzony czynnik do miejsca, gdzie rzeczywiście nabierze on „prędkości”. Pomieszczenie przeznaczone dla sprzętu, odpowiedzialnego za rozprowadzanie czynnika do poszczególnych komór, często nazwane jest po prostu pompownią. Sama nazwa dość jasno deklaruje, co w takim pomieszczeniu jest najważniejsze. Poza hydrauliką, czyli ogromem dużej średnicy rur, przez które płynie czynnik chłodniczy, znajdują się tam dużej mocy pompy wodne. To właśnie one odpowiadają za to, aby czynnik został doprowadzony do komór z odpowiednią prędkością, a ściślej mówiąc, z odpowiednim ciśnieniem.

Aby tradycji stało się zadość, pompy mają zapewnioną redundancję w postaci swoich bliźniaczek, pracujących dokładnie na takiej samej zasadzie. Uszkodzenie jednej pompy nie spowoduje zatrzymania instalacji, ponieważ jej rolę przejmie pompa zapasowa. Rzecz jasna, nie tylko pompy są zdublowane w takim układzie, no bo idąc dalej, po drodze mogłaby pojawić się nieszczelność w rurach, uszkodzony zawór i szereg innych złośliwych przypadków.

Co zatem w takim przypadku zrobić? Zdublowaliśmy źródła chłodu, jak też element, który napędza czynnik, ale wciąż nie mamy pewności, że nie zawiodą nas pozostałe elementy infrastruktury. Nietrudno się domyślić, że taką instalację trzeba po prostu zdublować jeden do jednego, aby mieć pewność, że pojedynczy problem w instalacji nie spowoduje jej całkowitego zatrzymania. Zatem każda rura, każdy zawór i każda pompa ma w całej tej instalacji swojego bliźniaka, który będzie pracował dokładnie tak samo jak on, jednak w zupełnie niezależnym układzie chłodniczym.

Do tego wszystkiego dodajmy sterownik PLC, który będzie sterował układem w taki sposób, aby przez 24 godziny pracował jeden, a przez kolejne 24 drugi, w celu równomiernego zużycia wszystkich elementów, i mamy kolejny krok za sobą. Hydraulikę zostawmy hydraulikom, nie wchodząc w głębsze szczegóły takie jak rodzaje zaworów, wymienników ciepła, naczyń wzbiorczych czy buforów czynnika, wiemy już, jak ten czynnik niezawodnie rozprowadzić po całym Data Center. Pozostaje ostatnia kwestia…

pompownia chłodzenie serwerownia

Zaczynamy chłodzić!


Wróćmy zatem do pytania – w jaki sposób wykorzystać schłodzony glikol i wodę do chłodzenia tych pomieszczeń? Przecież nie wylejemy zimnej cieczy na serwery. Na szczęście, nie będziemy musieli tego robić. W każdej komorze zainstalujemy szafy klimatyzacji precyzyjnej. To właśnie dzięki nim wytworzymy chłodne powietrze, korzystając z czynnika chłodniczego.

Szafa ta dodatkowo pełnić będzie jeszcze jedną istotną rolę. Skoro możemy kontrolować temperaturę, dlaczego nie wykorzystać w pełni takiego urządzenia i nie kontrolować wilgotności powietrza? Okazuje się, że dzięki nawilżaczom i osuszaczom, w które takie szafy są wyposażone, jesteśmy w stanie to zrobić.

Jak zatem to działa? Zimne powietrze zostaje nawiewane przez wentylatory szafy klimatyzacji precyzyjnej pod podłogę techniczną. W komorze znajduje się swego rodzaju box, wyposażony w szafy RACK i obudowany z każdej strony w taki sposób, aby nie dostawało się do niego ciepłe powietrze wytwarzane przez sprzęt zamontowany w szafach. Na tę chwilę mamy zimne powietrze pod podłogą, i zabudowany box, który na zewnątrz wyrzuca ciepłe powietrze. Jak zatem dostarczyć to zimne powietrze spod podłogi? Wystarczy wewnątrz tego boxa zastąpić kafle podłogi technicznej kratami, przez które zimne powietrze swobodnie zostanie dostarczone na front całego sprzętu zainstalowanego w szafach RACK.

Szafy klimatyzacji precyzyjnej pozwalają na ustalenie temperatury powietrza, jakie ma być nawiewane do boxa. Oczywiście nie będzie ono niższe niż temperatura czynnika ustalona wcześniej w agregacie, ale pozwala tę temperaturę wyregulować na tyle, żeby dobrać odpowiednie parametry dla danej komory. Ciepłe powietrze jest zasysane przez te same szafy klimatyzacji precyzyjnej, a następnie „podgrzany czynnik” znów jest transportowany do agregatu chłodniczego lub dry-coolera, gdzie znów jest schładzany do zadanej temperatury. Łatwo zgadnąć, że w każdym pomieszczeniu znajdują się co najmniej dwie szafy klimatyzacji precyzyjnej.

chłodzenie serwerownia

Podsumowanie


W taki oto sposób zapewniliśmy odpowiednie warunki atmosferyczne naszym i nie tylko naszym serwerom, które znajdują się na Data Center. Układ, ze względu na swoją wielokrotną redundancję zapewnia nam dostępność w każdej sekundzie roku, umożliwiając nam uniknięcie przegrzania sprzętu, a co najważniejsze, spełnia jeden z najważniejszych warunków, którego można wymagać od każdego szanującego się Data Center – odpowiednią temperaturę w komorze. Z takimi podstawami, jakie mamy w bezawaryjnym zasilaniu i całodobowym chłodzeniu możemy zacząć się skupiać na mniejszych, ale nie mniej istotnych fundamentach, jakie powinno zapewniać Data Center.

Mariusz Gębala
Mariusz Gębala mariusz.gebala@dataspace.pl Chief Maintenance Engineer. Kierownik działu utrzymania infrastruktury Data Center i serwerów dedykowanych.
Newsy
Nowy sposób wzmacniania ataku DDoS
Infrastruktura IT
Zabezpieczenia serwerowni od A do Z
   /   Infrastruktura IT   /   Chłodzenie w Centrum Danych