Zabezpieczenia serwerowni od A do Z

bezpieczeństwo
Data Center
Krzysztof Surgut
21.03.2018 Krzysztof Surgut

Zabezpieczenie serwerowni to nie tylko ochrona przed nieautoryzowanym wejściem, lecz zdecydowanie więcej wątków i tematów, co do których należy podejmować decyzje. Pisałem wcześniej o zabezpieczeniach przeciwpożarowych, teraz czas na przegląd innych zagadnień w tym temacie zabezpieczenia serwerowni.

Zabezpieczenie fizyczne serwerowni

Podstawowym elementem bezpieczeństwa jest kwestia ograniczenia i kontroli dostępu do samego pomieszczenia. Z jednej strony serwerownia musi być dobrze zabezpieczona przed włamaniem czy nieautoryzowanym dostępem, a z drugiej strony przepisy prawne, obowiązujące w Polsce, nakładają szereg wymogów, które utrudniają to zadanie. Główne zagrożenia serwerowni znajdują się jednak całkiem gdzie indziej. Ale o tym za chwilę.

Otwory w serwerowni

Naturalnym, pierwszym elementem, który przychodzi na myśl i wymaga zabezpieczenia, są drzwi oraz okna. Ale na tym nie koniec – należy przyjrzeć się, czy do pomieszczenia serwerowni nie prowadzą jakieś inne drogi dostępu. Szczególnie dotyczy to wentylacji, a także wszelkich przepustów w ścianach i stropach pomieszczenia.

Warto zwrócić uwagę na tego typu otwory, jakie znajdować się mogą pod podłogą techniczną (https://dataspace.pl/blog/podloga-techniczna-w-serwerowni-dlaczego-nie-mozna-jej-lekcewazyc/) – to miejsce, gdzie rzadko się zagląda, a może istnieć z tej strony jakieś zagrożenie nieautoryzowanym dostępem. To samo dotyczy sufitu podwieszanego. Warto zrobić inspekcję co jakiś czas i pozaglądać w te mało odkryte miejsca.

Winda

Pewnym wyzwaniem są szyby windowe – przylegające do pomieszczenia serwerowni. To zagadnienie, którym zająć musi się specjalista od projektów budowlanych, ponieważ ingerencja w szyby windowe wymaga sporej wiedzy o obowiązujących przepisach.

Generalnie odradzam usytuowanie serwerowni w pomieszczeniu, do którego przylega szyb windowy. Wydawać by się mogło, że szyb windy – czy drzwi wejściowe bezpośrednio z windy do serwerowni – to znaczne ułatwienie. W praktyce z szybami wind jest więcej problemów, niż się wszystkim wydaje.

Po pierwsze, łatwo zatrzymać windę na poziomie serwerowni i ręcznie otworzyć drzwi kabiny windy, dostając się do pomieszczenia serwerowni. Zabezpieczenie przed taką ewentualnością poprzez dowiązania do windy systemu kontroli dostępu może być dość karkołomnym zadaniem.

Po drugie, nawet jeżeli nie ma bezpośredniego wyjścia z windy do serwerowni, szyb windy jest szczególnie traktowany w momencie pożaru – to tędy najczęściej przenosi się pożar między piętrami. W ten sposób ściany serwerowni od strony szybu windowego powinny być dodatkowo wzmocnione ogniowo.

Po trzecie, dźwig windy to urządzenie mechaniczne, które wytwarza drgania. Do tego problemu jeszcze wrócę w drugiej części tego artykułu.

Krótko mówiąc, umieszczenie serwerowni w bezpośredniej bliskości szybu windowego to nienajlepszy pomysł.
Osobnym wątkiem jest kwestia zabezpieczenia drzwi i okien.

Okna w serwerowni

Zacznijmy od okien. Z założenia, w serwerowni nie powinno być żadnych okien. Latem okna przepuszczają bardzo dużo ciepła i podnoszą temperaturę w serwerowni. W dodatku okna stanowią potencjalne zagrożenie, ponieważ wystarczy, że ktoś umyślnie wrzuci przez okno butelkę z płynem łatwopalnym i zniszczy nam serwerownię.

Okna są również potencjalnym sposobem na nieautoryzowane wejście do serwerowni – nawet na ostatnim piętrze biurowca nie będzie problemu z opuszczeniem się na linie i wejściem przez okno do serwerowni. Praktycznie nikt z przechodniów nie zwraca uwagi na ludzi opuszczających się na linach, więc oczekiwanie, iż ktoś zadzwoni na policję jest raczej mało prawdopodobne. Co więc zrobić w sytuacji, gdy nie można pozbyć się okien?

Najczęściej instaluje się kraty we wszystkich oknach. Stanowi ona jakieś pasywne zabezpieczenie, choć w przypadku pożaru okna stanowią idealną drogę do dostarczania tlenu (szyby pękają pod wpływem temperatury). Również systemy gaszenia gazem wymagają braku okien, ponieważ duże ciśnienie wtłaczanego gazu najczęściej wypycha szyby w oknach i tym samym mocno zaburzany jest efekt gaszenia gazem. W mojej praktyce zdarzało mi się zamurowywać okna, nawet w taki sposób, że z zewnątrz budynku pozostała rama okienna z szybami, natomiast w pomieszczeniu stawiany był mur, zamykający światło okna. Można co najwyżej na takim wewnętrznym murze, od strony okna nakleić fototapetę, aby z okolicznych budynków nie wyglądało to jakoś dziwnie.

Drzwi w serwerowni

Drzwi do serwerowni to kolejne wyzwanie. Pierwszy wymóg to przepisy przeciwpożarowe. Drzwi do serwerowni muszą spełniać odpowiednią klasę odporności przeciwpożarowej, tym samym nie mamy zbyt dużego wyboru co do producenta i modelu drzwi. Najczęściej są to drzwi stalowe o odporności EI-60, choć ostatecznie decydować powinien o tym projektant, mając na uwadze odporność ogniową wszystkich płaszczyzn budowlanych pomieszczenia serwerowni. To, na co warto zwrócić uwagę, to odpowiednia szerokość drzwi do serwerowni – im szersze tym lepiej. Ułatwia to transport dużych elementów do i z serwerowni.

Rygiel w drzwiach serwerowni to kolejny element zabezpieczenia przed nieautoryzowanym dostępem. Powinien on działać w taki sposób, aby wchodząc do serwerowni wymagana była weryfikacja praw dostępu, natomiast przy wychodzeniu z serwerowni wyjście było nieograniczone. Bywają serwerownie, gdzie również wyjście z serwerowni wymaga autoryzacji systemem dostępu, jednak przy takim scenariuszu wyjścia z serwerowni ważne jest, aby system autoryzacji powiązany był z systemem przeciwpożarowym. W przypadku zarejestrowania pożaru, system przeciwpożarowy powinien wymuszać automatyczne odblokowanie takich drzwi, aby umożliwić ewakuację znajdujących się wewnątrz pracowników. Dotyczy to nie tylko systemu przeciwpożarowego serwerowni, ale także systemu przeciwpożarowego całego budynku (jeżeli taki istnieje).

Elementem niezbędnym w drzwiach serwerowni jest samozamykacz, czyli urządzenie mechaniczne, które automatycznie będzie domykać drzwi. Ten prosty przyrząd nie tylko ogranicza dostęp dla osób nieautoryzowanych, ale pozwala też na poprawną pracę systemu chłodu w serwerowni. Niedomknięte drzwi potrafią, latem, podnieść temperaturę w pomieszczeniu o parę stopni.

”Obcy” w serwerowni

Osobnym zagadnieniem, a właściwie problemem, są gryzonie. Budując lub adaptując pomieszczenie na serwerownie warto przypilnować, aby wszelkie otwory (również te małe), były odpowiednio zabezpieczone. Dotyczy to szczególnie wszelkich przepustów kablowych. Poprzez każdy z takich otworów potrafią dostać się gryzonie. Serwerownia to dość przyjazne dla nich miejsce – latem jest chłodno, a zimą dużo cieplej niż na zewnątrz budynku. Nie ma co liczyć na to, iż gryzonie nie mają co jeść w takiej serwerowni. Szczególnie szczury są w tym temacie mało wybredne. Potrafią przegryźć osłonę każdego kabla, aby sprawdzić, czy pod nią nie ma czegoś do zjedzenia. Poza tym każdy gryzoń to zagrożenie nie tylko zniszczenia mechanicznego, ale także zagrożenie pożarowe – zwarcie elektryczne z udziałem gryzonia to zjawisko dość częste.

serwerownia kontrola dostepu

Rury, rurki, rureczki

Na koniec zostały otwory, które są najbardziej trudne do zabezpieczenia. Chodzi o wszelkiego rodzaju rury i instalacje hydrauliczne, a także instalacje gazowe. Z założenia, w pomieszczeniu serwerowni nie powinny znajdować się żadne rury czy instalacje hydrauliczne – dotyczy to szczególnie rur wodociągów, instalacji centralnego ogrzewania, czy rur kanalizacji sanitarnej. Jednak zdarza się, że nie mamy wyboru. Co w takim wypadku?

Wbrew pozorom, nie wolno takich instalacji zabudowywać – w przypadku instalacji gazowych taki zakaz jest uregulowany przepisami. Jeżeli przez serwerownię przebiegają rury instalacji gazowej, niezbędnym wyposażeniem jest montaż czujnika gazu – najlepiej, aby był więcej niż jeden czujnik, zamontowany w różnych przestrzeniach (osobny dla przestrzeni pod podłogą techniczną, osobny dla przestrzeni sufitu podwieszanego, i osobny w dla pozostałej przestrzeni). Gaz często gromadzi się w różnego typu nieckach, gdzie jego stężenie bardzo szybko rośnie, tworząc bardzo wybuchową mieszaninę.

Co jeszcze? Robiąc adaptację pomieszczenia, przez które przebiega instalacja wodna lub kanalizacyjna, warto:

  • Zastosować podłogę podniesioną w serwerowni (o takiej podłodze pisałem we wcześniejszym artykule);
  • Zastosować taki spad na podłodze pomieszczenia serwerowni, aby wszelkie płyny grawitacyjnie spływały w wyznaczone miejsce – albo do specjalnie przygotowanego odpływu, albo w kierunku drzwi, skąd płyn będzie miał możliwość rozlania się na większej powierzchni. Istotne, aby nie dopuścić do tego, aby płyn (np. woda lub płyny z jakiejś instalacji) gromadziły się w jakimś miejscu pomieszczenia serwerowni, bez wiedzy obsługi. Zbyt duża wilgotność w pomieszczeniu serwerowni grozi skraplaniem się wody na płytkach elementów elektronicznych, co może prowadzić co zwarcia a nawet pożaru;
  • Zamontować czujnik wilgoci w okolicach, z których może potencjalnie dojść do wycieku;
  • Osłona ciągów rur powinna być tak skonstruowana, aby ograniczyć rozprysk płynu po serwerowni, a jednocześnie pozwolić na szybki przegląd i ewentualną naprawę usterki (zabudowanie budowlane instalacji wodnej, w przypadku uszkodzenia, wymagać będzie brudnych prac budowlanych w serwerowni, co nie przysłuży się ani filtrom klimatyzacji, ani serwerom).

Jeżeli w pomieszczeniu serwerowni wykorzystujemy także wentylację grawitacyjną, warto przewidzieć scenariusz, w którym woda dostaje się również tym otworem.

Bywają „burze stulecia”, które obnażają wszelkie niedociągnięcia budowlane, wówczas różnymi otworami woda opadowa dostaje się do wnętrza budynku. Jedną z takich „dróg wodnych” bywają ciągi wentylacji grawitacyjnej.

Zadbaj o dach serwerowni

W przypadku umieszczenia serwerowni bezpośrednio pod dachem budynku, warto pokryć sufit serwerowni specjalną powłoką wodoodporną, która spowoduje, że ewentualny przeciek pokrywy dachu nie wprowadzi wody bezpośrednio na urządzenia w serwerowni.

Zainteresowanie sufitem serwerowni powinno mieć miejsce już na etapie projektowym, nawet w przypadku, gdy pomieszczenie serwerowni nie jest zlokalizowane bezpośrednio pod dachem. Dlaczego? Gdy strop pomieszczenia serwerowni zbudowany jest z łatwo przepuszczalnych elementów (np. małych bloczków, osadzonych na prowadnicach), możemy mieć w przyszłości spory problem. W takim przypadku awaria instalacji wodnej na wyższej kondygnacji budynku, cała woda lub ścieki z kanalizacji, przeciekają bezpośrednio do pomieszczenia serwerowni – i to w ciągu parunastu minut. Warto przewidzieć taki scenariusz i na etapie projektowo-budowlanym rozważyć specjalną powłokę na suficie serwerowni, aby przeciekająca woda czy inna ciecz spływała co najwyżej po ścianach serwerowni, a nie bezpośrednio na szafy serwerów.

Zabezpieczenie fizyczne – podsumowanie

Budując serwerownie warto zainteresować się wszelkimi otworami, jakie znajdują się w takim pomieszczeniu. Istotna jest nośność podłogi, o czym pisałem we wcześniejszym artykule. Istotne jest też zabezpieczenie pomieszczenia od różnych niespodzianek, jakie przynosi życie. Warto przewidzieć takie zagrożenia, zanim one wystąpią, a projektując pomieszczenie zastanowić się nad niwelowaniem takich zagrożeń lub ograniczeniu ich wpływu na poprawną pracę serwerowni. W drugiej części tego wpisu opiszę kolejne elementy zabezpieczeń serwerowni.


Zagrożenia związane z częścią fizyczną instalacji systemów IT w serwerowniach to nie jedyne wyzwania, przed jakimi stoją posiadacze własnych systemów informatycznych.

Do poprawnej i długookresowej pracy sprzętu IT wymagane są trzy podstawowe parametry:

  • Ciągłość zasilania;
  • Utrzymanie właściwych warunków klimatycznych;
  • Zagwarantowany dostępu do światowych zasobów internetu.

W wyjątkowych sytuacjach ten ostatni parametr może być odmienny. Dotyczy to przypadków, gdy system informatyczny nie jest podłączony do internetu, ale wykorzystywany wyłącznie na potrzeby wewnętrzne przedsiębiorstwa. Taka sytuacja ma miejsce np. w fabrykach, gdzie w serwerowni znajdują się systemy IT nadzorujące wyłącznie linie produkcyjne. Takich systemów nie powinno się podłączać do internetu. Przyjrzyjmy się pierwszemu wątkowi, czyli kwestii bezpieczeństwa zasilania serwerowni.

serwerownia kontrola dostepu

 

Ciągłość zasilania

Czasy, gdy przerwy w zasilaniu burzyły rytm pracy tylko wybranym pracownikom, np. księgowym, już dawno minęły.
Dawniej antidotum na takie zdarzenia stanowiły proste UPS-y, do których dołączane były komputery PC pracowników. W dodatku system Windows był wyposażony w funkcję, która w przypadku zaniku zasilania otrzymywała komunikat z UPS-a i informowała użytkownika o potrzebie zamknięcia systemu operacyjnego lub po upływie ustawionego czasu samoczynnie wyłączała komputer. W ten sposób udawało się uchronić efekty godzin pracy danego pracownika i zdążyć zapisać wyniki jego wysiłku, zanim komputer został pozbawiony prądu.

Współczesne systemy IT są zdecydowanie bardziej wymagające w tym zakresie. Najczęściej są to rozbudowane aplikacje informatyczne, które wymagają powiązania szeregu złożonych urządzeń (serwerów, macierzy, systemów backupu, itd.). W ich przypadku zanik zasilania oznacza przerwanie trwających w danej chwili procesów. Przerwanie niektórych z procesów może oznaczać duże kłopoty w przywróceniu ich stanu do tego sprzed zaniku zasilania.

Konstrukcja współczesnego oprogramowania zakłada, że systemy informatyczne mają zagwarantowaną ciągłość zasilania energią elektryczną. Ten wymóg nakłada specyficzne wymagania na serwerownię.

Współcześnie wątek zasilania jest dość prosty do realizacji – przynajmniej w teorii. Na pytanie o ciągłość zasilania, większość administratorów IT odpowiada, że wystarczy kupić UPS-a. Pod tak prostą odpowiedzią kryje się jednak dużo bardziej skomplikowane zagadnienie.

Filtrowanie

Zadaniem współczesnych systemów podtrzymania energii nie jest wyłącznie zapewnienie mechanizmu bardzo szybkiego przełączania źródła energii (np. w przypadku zaniku zasilania z sieci energetycznej) na zasilanie z akumulatorów.
Drugim, nie mniej ważnym zadaniem, jest filtrowanie zakłóceń, jakie rozchodzą się w sieciach energetycznych.
Niewiele osób wie, ale w sieciach energetycznych rozchodzi się coś więcej niż tylko energia elektryczna. Sam pamiętam, jak na zajęciach z kompatybilności elektromagnetycznej na Politechnice Wrocławskiej, słuchaliśmy radia z Austrii, Hiszpanii czy Rosji. Źródłem sygnału tych stacji radiowych było… gniazdo elektryczne.

O ile sygnały radiowe stacji radiowych, telewizyjnych czy sieci GSM to raczej ciekawostka, o tyle dla urządzeń informatycznych dużo groźniejsze są efekty przepięć. Każde przepięcie w sieci elektrycznej czy energetycznej wywołuje powstanie tak zwanego „stanu nieustalonego”. Takie zaburzenie rozchodzi się po przewodach elektrycznych i wędruje w świat. W przypadku urządzeń IT szczególnie groźne są bardzo krótkie impulsy, powszechnie zwane „szpilkami”.
Takie zaburzenia potrafią przenikać przez wszelkie filtry i tłumiki, docierając do modułów zasilania serwerów, a potem przechodzić do układów elektronicznych urządzenia IT. Efektem takich zakłóceń potrafi być zmiana ustawień w pamięci komputerów. Taka zmiana zakłóca poprawność pracy aplikacji informatycznych, ponieważ zmienia zapisane dane, a czasami potrafi naruszyć ich integralność.

W dodatku takie zaburzenia przychodzące po sieci mają także negatywny wpływ na kondycję samych dysków. Zbyt duża ilość takich zaburzeń potrafi znacząco skrócić żywotność zarówno pamięci jak i samych dysków.

Dlatego też tak dużą uwagę przywiązuje się do tego, aby oczyścić energię elektryczną z wszelkiego rodzaju zakłóceń i zaburzeń. Udaje się to w 99,9%, ponieważ zawsze pewna część zakłóceń przenika dalej. W przypadku Data Center, w dobrze zaprojektowanej instalacji elektrycznej, rozróżnia się obwody z „czystą” i „brudną” energią. Ta „czysta” przeznaczona jest do urządzeń informatycznych, a jej „czystość” to wynik pracy rozbudowanych filtrów, zatrzymujących zakłócenia. Podobnie powinno być w przypadku serwerowni.

Agregat prądotwórczy

Poprawne zaprojektowanie obwodów energii elektrycznej w serwerowni to zadanie dla doświadczonego w tym zakresie projektanta. Musi on posiadać nie tylko wiedzę o przepisach w zakresie stopniowania zabezpieczeń w sieciach elektrycznych, ale także spore doświadczenie w urządzeniach UPS.

Sprawa dodatkowo komplikuje się, gdy decydujemy się do kompletu zasilania dostawić generator prądu. Taki agregat używany jest w przypadkach dłuższego zaniku dostaw energii. Podtrzymanie na UPS-ach wystarcza średnio na 10-15 minut pracy. Rzadko stosuje się układy UPS, które potrafią zagwarantować dostawę energii przez 30 minut.

Jeżeli chcemy mieć gwarancję ciągłości zasilania w serwerowni, same akumulatory UPS-a nie wystarczą. W takim wypadku niezbędne jest zastosowanie agregatu prądotwórczego, który zostanie uruchomiony w momencie zaniku dostaw prądu, np. po 5 minutach od zaniku zasilania.

Agregat to urządzenie, które składa się z silnika spalinowego (najczęściej typu diesel) sprzężonego z generatorem prądowym. Silnik napędza generator, który wytwarza potrzebną energię elektryczną. Przez cały czas, gdy agregat pracuje poprawnie, mamy do dyspozycji swoją własną, małą elektrownię.

serwerownia agregat zasilanie

Jednak sam agregat to nie jest urządzenie, które jest tanie i proste w eksploatacji. Problemy zaczynają się już na etapie projektowania miejsca posadowienia takiego agregatu. Po pierwsze, musi on stanąć w pobliżu serwerowni. Po drugie, musi posiadać odpowiednio zaprojektowaną drogę dla spalin, wydostających się z silnika. A do kompletu należy dokładnie zająć się kwestią wyciszenia pracy takiego silnika. Pracujący agregat generuje spory hałas, który może zakłócać spokój okolicznych mieszkańców. Zwłaszcza, gdy przyjdzie taki moment, że będzie pracował przez 24h.

W swoim doświadczeniu miałem przygodę z instalacją dużego agregatu prądotwórczego w starej kamienicy w centrum miasta, w której były także zwykłe mieszkania. Ilość zagadnień związanych z zaprojektowaniem czerpni powietrza, wyrzutu spalin, wytłumienia hałasu, a także drgań od pracującego silnika, była niezłą szkołą zarówno od strony technicznej jak i formalnej.

A to dopiero początek problemów z agregatami. Zanik dostaw energii to zdarzenia niezaplanowane. Bywają sytuacje, gdy dostawca energii wykonuje jakieś prace na linii zasilającej i informuje wyprzedzająco większych odbiorców o wyłączeniu, na jakiś określony czas, dostaw energii. Jednak 99% zaników dostaw energii to wyniki awarii czy zdarzeń losowych, których nikt nie przewidzi. Taki stan rzeczy oznacza, że agregaty prądotwórcze muszą być gotowe do pracy przez 24h na dobę.

Gotowość oznacza w praktyce regularne testy, czy proces uruchomienia agregatu następuje prawidłowo. Takie testy mają za zadanie uniknąć niespodzianek, kiedy zaniknie dostawa energii, a UPS-y podtrzymają zasilanie przez 15 minut. To zdecydowanie za mało czasu na jakieś naprawy czy regulacje. A trzeba jeszcze pamiętać, że agregat potrzebuje paru minut, aby ustabilizować obroty i dopiero po tym czasie może zostać przyłączony do systemu zasilania serwerowni.

Dodatkowo w polskiej strefie klimatycznej należy pamiętać o niskich temperaturach. Silniki diesla „nie lubią” mrozów. Po pierwsze, w niskich temperaturach wytrąca się parafina z oleju napędowego, która zatyka drogę przepływu paliwa do silnika (najczęściej filtry). Po drugie, w niskich temperaturach silniki diesla są bardzo krnąbrne, próba ich uruchomienia w ujemnych temperaturach często nie jest taka prosta. Z uwagi na te „wady” silników diesla należy przewidzieć odpowiednie zabezpieczenie przed takimi sytuacjami. Stosuje się np. systemy dogrzewające agregaty, które uruchamiają się automatycznie, gdy temperatura otoczenia spadnie poniżej zaprogramowanej wartości.

System przełączania

System przełączania to kolejny ważny i newralgiczny element. Często wchodzi w skład systemów UPS, choć przy dużych instalacjach stanowi odrębny moduł. Zadaniem takiego systemu przełączania jest „oszukanie” odbiorników prądu w taki sposób, aby „nie zorientowały się”, że otrzymują energię z innego źródła. Tym „innym źródłem” są zarówno akumulatory, jak i agregat prądotwórczy. Czas przełączenia musi być bardzo krótki, aby nie nastąpiło zbyt duże wahnięcie poziomu zasilania na serwerach, co w praktyce oznaczałoby samoczynny restart urządzeń informatycznych. Z uwagi na to, że cały system pracuje z prądem przemiennym, kolejnym problemem jest potrzeba synchronizacji mocy z danego źródła. Poprawne zaprojektowanie takiego systemu oraz jego konfiguracja wymaga doświadczonego projektanta.

serwerownia zasilanie UPS

Akumulatory

Do kompletu problemów z podtrzymaniem zasilania w serwerowni dochodzi jeszcze kwestia akumulatorów. Po pierwsze, trzeba je kupić, a nie jest o niski koszt. Po drugie, trzeba regularnie monitorować, czy stan naładowania akumulatorów jest na odpowiednim poziomie. W dodatku co jakiś czas wymagane jest kontrolowane rozładowanie akumulatorów i ponowne ich naładowanie energią. Tego wymaga nie tylko karta gwarancyjna, ale także „natura techniczna” tego typu ogniw elektrycznych.

Trwałość akumulatorów liczona jest na okres 4-6 lat. Po tym okresie należy wymienić akumulatory na nowe. Zdarza się, że taka informacja zaskakuje wiele zarządów przedsiębiorstw, które dostają od działów IT zapotrzebowanie na spore sumy, gdzie największą pozycją wydatków jest zakup nowych akumulatorów.

Ciągłość zasilania – podsumowanie

Własna serwerownia to nie tylko pomieszczenia, w których ustawione zostaną szafy z serwerami, macierzami czy innymi urządzeniami IT. To nie tylko pomieszczenie, do którego dostęp powinien być odpowiednio chroniony. Serwerownia to także kwestia zapewnienia bezpieczeństwa w zakresie ciągłości dostaw energii elektrycznej.

Zagwarantowanie, że w serwerowni zawsze będzie energia elektryczna, to temat, który zaczyna się komplikować wraz z wielkością serwerowni. Dla małych serwerowni można pokusić się o zakup gotowego systemu UPS. Przy większych obiektach wymagany jest profesjonalny projekt, uwzględniający wiele zagadnień związanych z filtrowaniem energii czy szybkością przełączenia na źródło zapasowe. A w przypadku krytycznych aplikacji nie obejdzie się bez potrzeby uwzględnienia agregatu prądotwórczego.

Jednak często niewiele osób weryfikuje, jakie są późniejsze koszty utrzymania własnej serwerowni. A w przypadku tematu ciągłości zasilania koszty potrafią co jakiś czas zaskakiwać, choćby potrzebą wymiany wszystkich akumulatorów, przeglądami agregatów, wymianą oleju czy zużytymi elementami (np. filtrami).

Pytanie tylko, czy to wszystko ma sens, skoro można swój sprzęt IT umieścić w dedykowanym, wyspecjalizowanym Data Center?

Po opisie problemów i wyzwań w zakresie zapewnienia ciągłości zasilania serwerowni czas zająć się kolejnym wątkiem, jakim jest utrzymanie właściwych warunków klimatycznych w serwerowni.

Warunki klimatyczne w serwerowni

Czego nie lubią serwery?

Serwery to urządzenie elektroniczne, które do realizacji swoich zadań wykorzystują komponenty półprzewodnikowe (układy scalone, procesory, diody, itd.). Z fizycznego punktu widzenia półprzewodniki to materiał, który bardzo nie lubi wysokich temperatur. Wynika to z natury fizycznej półprzewodników, które pracując w zbyt wysokiej temperaturze zaczynają samoczynnie się nagrzewać, aż do ich spalenia.

Producenci kluczowych półprzewodnikowych elementów znają ten problem i w strukturach swoich produktów przewidzieli specjalne obwody, których zadaniem jest wyłączanie elementu z pracy w przypadku wystąpienia niekorzystnych warunków. W praktyce oznacza to, że np. procesory samoczynnie wyłączają się, aby uchronić się przed samozniszczeniem. Wyłączenie się procesorów w serwerach jest równoznaczne z zaprzestaniem ich pracy, i choć do takich serwerów dociera zasilanie, w praktyce nie wykonuje on żadnych operacji. Wszystko po to, aby uchronić urządzenie przed zniszczeniem. W momencie, gdy temperatura otoczenia pracy spadnie do bezpiecznego poziomu, wszystko wraca do normy i rozpoczyna się normalna praca serwerów.

Powyższa cecha układów półprzewodnikowych wymaga, aby serwery miały zapewnione odpowiednie warunki klimatyczne do swojej pracy.

Czego jeszcze nie lubią serwery? Zbyt dużej wilgotności. Nie chodzi tylko o to, aby nie wylewać niczego na pracujące serwery. Nie tylko wilgoć w postaci widocznego płynu jest groźna – także płyn w postaci rozproszonej jest groźny. Mam tutaj na myśli zbyt dużą wilgotność powietrza.

Drobinki wody w powietrzu, przy pewnym stężeniu, bardzo szybko osadzają się na płaszczyznach, tworząc małe krople. Pod wpływem siły grawitacji krople przemieszczają się i łączą w coraz większe krople. Spadając na płytkę z elementami elektronicznymi, taka kropla może doprowadzić do zwarcia i fizycznego uszkodzenia.

Osobnym zagadnieniem jest także kwestia rozchodzenia się ładunku elektrostatycznego po powierzchniach urządzeń. Wilgoć ułatwia przeskakiwanie iskry, co także może mieć konkretne konsekwencje w postaci uszkodzenia sprzętu.

serwerownia zabezpieczenia klimatyzacja

Czego nie powinno być w serwerowni?

Serwerownia, jak każde zamknięte pomieszczenie ogranicza przepływ powietrza. W takich zamkniętych pomieszczeniach powietrze porusza się w wyniku zjawisk fizycznych. Ciepłe powietrze unosi się do góry, a chłodniejsze opada.
Odrębnym problemem jest kwestia zanieczyszczenia powietrza, które niesie w sobie różnego rodzaju drobiny, np. kurzu czy pyłu. Zbyt duże stężenie pyłów w powietrzu tworzy mieszankę wybuchową. W takich warunkach przeskok iskry stanowi wyzwalacz zapłonu, który potrafi zamienić się w eksplozję zdolną rozsadzić ściany czy zabić znajdującego się w pomieszczeniu człowieka.

Wszystkie z powyższych problemów wymagają zastosowania systemu, który będzie dbał o zapewnienie odpowiednich warunków pracy serwerów.

Klimatyzacja

Dla niektórych może się wydawać to dziwne, ale serwery wymagają zastosowania klimatyzacji. Tak jak latem, każdy podczas upału marzy, aby znaleźć się w pomieszczeniu schłodzonym przez klimatyzację – tak samo serwery wymagają utrzymywania temperatury otoczenia poniżej pewnej wartości. Zbyt duża temperatura sprawi, że uruchomiony zostanie proces automatycznego wyłączenia elementów półprzewodnikowych w serwerach.

W dodatku przy dużej ilości serwerów czy innych urządzeń IT wymaga się, aby klimatyzacja potrafiła regulować temperaturę otoczenia bardzo precyzyjnie. Ta precyzja wynika z faktu, iż zbyt niska temperatura pochłania dużą ilość energii elektrycznej. Zbyt duża bezwładność w reagowaniu na wzrost temperatury może skutkować samoczynnym wyłączeniem się części serwerów czy urządzeń IT.

Dlatego też stosuje się specjalne systemy klimatyzacyjne, których zadaniem jest utrzymywać temperaturę otoczenia w serwerowni w pewnych ustalonych granicach. W przypadku małych serwerowni wykorzystuje się bardzo proste klimatyzatory. Problem geometrycznie urasta wraz ze zwiększaniem się ilości szaf wypełnionych sprzętem IT.

W dodatku należy się zastanowić, co stanie się latem, gdy system klimatyzacji serwerowni ulegnie awarii. Odpowiedź na to pytanie decyduje o tym, że należy zbudować klimatyzację zapasową, aby móc zareagować na taką awaryjną sytuację. Na tego typu scenariusze awaryjne muszą być przygotowane serwerownie, od których wymaga się wysokiej niezawodności.

Filtrowanie ma znaczenie

Zadaniem klimatyzacji jest nie tylko obniżenie temperatury powietrza w pomieszczenia. System klimatyzacji ma także dwa inne ważne zadania. Pierwszym jest utrzymanie wilgotności na odpowiednim poziomie. Nie może być zbyt wilgotno, ale zbyt suche powietrze również nie jest pożądane. W zbyt suchym powietrzu szybko generuje się ładunek elektrostatyczny, który może prowadzić do pojawienia się iskry. Jeżeli wyładowanie nastąpi pomiędzy płytą układu elektronicznego a obudową, wówczas dojść może do fizycznego uszkodzenia płyty układu elektronicznego i awarii.

Drugim zadaniem klimatyzacji jest oczyszczanie powietrza z drobin zawieszonych w powietrzu. Dotyczy to powietrza zasysanego z zewnątrz, chłodzonego i wtłaczanego do klimatyzowanego pomieszczenia serwerowni. Także powietrze wyciągane z pomieszczenia powinno podlegać filtrowaniu, aby wychwytywać wszelkiego typu drobiny zawieszone w powietrzu, np. wniesione na butach przez pracowników obsługi.

Wszystkie powyższe funkcje filtrowania i utrzymywania temperatury otoczenia serwerów realizowane są przez różnego rodzaju moduły systemu klimatyzacji. Na rynku istnieje szereg różnych rozwiązań, które mają różne sposoby zapewnienia odpowiednich warunków pracy serwerów. Nie bez znaczenia są także kwestie ekonomiczne. Odpowiednio zaprojektowany i dobrany system klimatyzacji będzie miał niższe koszty utrzymania niż system nieobjęty optymalizacją lub nieposiadający specjalnych rozwiązań obniżających koszty.

Problemy z klimatyzacją

Instalacje systemów klimatyzacji mają na celu rozwiązywać dwa podstawowe problemy:

  • Zapotrzebowanie na moc elektryczną;
  • Umieszczenie wymiennika ciepła wraz ze skraplaczem.

Szczególnie skraplacz jest kłopotliwy, ponieważ w wyniku jego pracy powstaje woda, którą należy gdzieś odprowadzić. Jeżeli o to nie zadbamy to woda ze skraplacza może nam zalać ścianę lub pomieszczenie.

Pobór mocy także nie zawsze jest mały. Im większa serwerownia, tym większe zapotrzebowanie na energię elektryczną. Tutaj pojawia się drugi problem – podtrzymania dostaw energii dla systemów klimatyzacji. Jeżeli latem zaniknie dostawa energii z sieci publicznej, przestanie działać również klimatyzacja. Jeżeli zadbamy wyłącznie o podtrzymanie dostaw energii dla serwerów, w przypadku dłuższych letnich awarii może się okazać, że temperatura w serwerowni wzrośnie do takiego poziomu, że serwery same się wyłączą.

Nawet jeśli będziemy posiadali agregat prądotwórczy, który zasili nam serwery w energię elektryczną, na niewiele to się zda, jeżeli temperatura otoczenia serwerów będzie zbyt wysoka. Jeżeli chcemy zabezpieczyć się przed takim scenariuszem, musimy uwzględnić potrzeby systemu klimatyzacji w bilansie systemu podtrzymania zasilania.

Warunki klimatyczne – podsumowanie

Utrzymanie odpowiednich warunków temperaturowych pracy serwerów to podstawowe wyzwanie z zakresu bezpieczeństwa serwerowni. W przeciwnym wypadku dochodzić może do takich sytuacji, gdy serwery przestaną działać. A w skrajnym przypadku może dojść do pożaru.

Nie bez znaczenia jest dbanie o wilgotność i odpowiednio niski poziom zanieczyszczenia powietrza serwerowni. Dbałość w tym zakresie odwdzięcza się dużo mniejszą ilością awarii urządzeń elektronicznych.
Całość zagadnienia sprowadza się do wyposażenia serwerowni w dobrze zwymiarowany i zainstalowany system klimatyzacji. System, który powinien mieć także zagwarantowaną ciągłość dostaw energii, na wypadek awarii w sieci energetycznej. Tego typu wymóg dość drakońsko podnosi koszty wybudowania systemu gwarancji ciągłości zasilania. Jeżeli dołożymy do tego potrzebę posiadania redundantnego systemy chłodzenia na wypadek awarii, koszty rosną geometrycznie.

Pozostał jeszcze jeden, nie mniej ważny element każdego miejsca z serwerami – dostęp do światowych zasobów internetu.

 

Dostęp do internetu

Każda serwerownia wymaga, aby serwery mogły komunikować się nie tylko między sobą, ale także z innymi systemami informatycznymi, dołączonymi do światowych zasobów internetu. Najprostszym „obcym” systemem informatycznym potrafi być komputer, laptop czy smartfon użytkownika aplikacji zainstalowanej na serwerze.

Zadaliśmy sobie trud, by serwery miały zagwarantowane dostawy energii, a ich warunki pracy były optymalne, ale awaria łącza internetowego może wszystkie te zabiegi zniweczyć.

Ciągłość internetu

Pierwszym warunkiem jest zapewnienie ciągłej „widoczności” w internecie systemów informatycznych zainstalowanych w serwerowni. Najprostszą metodą jest zakup usługi dostępu do światowych zasobów internetu od dwóch niezależnych operatorów ISP. Tyle teoria. W praktyce ten wątek jest zdecydowanie bardziej skomplikowany.

Samo istnienie dwóch niezależnych operatorów ISP wcale nie daje gwarancji zapewnienia ciągłości usługi dostępu do internetu. Warto sprawdzić, czy sieci obu operatorów ISP nie mają jakichś odcinków, na których przebiegają w tym samym miejscu. Takie miejsce styku obu sieci operatorów ISP to najsłabsze ogniwo. Wystarczy nieostrożny operator koparki, który podczas kopania przerwie oba kable. W takiej sytuacji, pomimo wykupienia usługi u dwóch operatorów, serwerownia traci kontakt z internetem.

Analiza przebiegu sieci operatorów ISP w terenie daje wiele informacji o potencjalnych miejscach, w których awaria może odciąć naszą serwerownię od internetu. Szczególnie przejścia przez rzeki i inne cieki wodne są krytyczne. Polska cierpi na zbyt małą ilość przepraw rzecznych, w efekcie czego bardzo wiele sieci operatorów ISP zbiega się na trasie tej samej przeprawy przez rzekę. W przypadku remontu czy innego zdarzenia, które może uszkodzić biegnące pod mostem kable, sieci wszystkich operatorów ISP tracą ciągłość na tym odcinku. W Polsce znany jest wypadek pożaru Mostu Łazienkowskiego w Warszawie, podczas którego spaleniu uległy wszystkie kable biegnące pod tym mostem. W wyniku tej awarii blisko pół Polski miało ograniczony dostęp do internetu. Okazało się, że bardzo wiele sieci szkieletowych ogólnopolskich operatorów ISP zbiega się w tym miejscu.

Dlatego też warto zainteresować się nie tylko ceną i przepływnością łącza internetowego, ale także fizyczną trasą przebiegu sieci operatora ISP, który nam taką usługę oferuje. Im bardziej krytyczne dla serwerowni jest zapewnienie ciągłości dostępu do internetu, tym więcej czasu trzeba poświęcić na analizę i wykrycie potencjalnych punktów wspólnych sieci operatorów ISP, z których usług chcemy skorzystać.

Brzeg sieci

Gwarancja dostępu do internetu w sieci operatora ISP to dopiero jeden koniec tego problemu. Drugim jest zadbanie o architekturę sieci komputerowej w samej serwerowni. Błędy w tym temacie mszczą się bardzo szybko. Cóż z tego, że serwerownia ma prąd, klimatyzacja działa, a operatorzy ISP mają sprawne łącza internetowe, jeśli nasze urządzenia na brzegu sieci serwerowni ulegną awarii. To kolejny ważny punkt w architekturze serwerowni.

Warto poświęcić trochę czasu i przeanalizować, co zrobi administrator w przypadku awarii routera, do którego podłączamy łącza operatorów ISP. Czy mamy zapasowy router? Jak przepniemy te łącza do zapasowego routera? Jak długa będzie przerwa w usłudze i czy warto wdrożyć mechanizmy automatycznego przełączania? Jak monitorujemy zaistnienie przerwy w działaniu urządzeń czy łączy internetowych? Jaką drogą i kogo powiadamiamy o wszelkich awariach i problemach z dostępem do internetu? To zagadnienie jest wyzwaniem samo w sobie i warto poświęcić czas, aby optymalnie zaprojektować brzeg sieci serwerowni.

serwerownia zabezpieczenia internet

Cyberbezpieczeństwo

W obecnych czasach już nie wystarczy zadbać o zapewnienie ciągłości podstawowych parametrów do poprawnej pracy serwerów.

Całkiem nowym wątkiem jest zapewnienie bezpieczeństwa całej serwerowni ze strony ataków z internetu. Obecna gama możliwości hakerów, w zakresie ataku, obejmuje praktycznie każdy aktywny element serwerowni. Począwszy od samych serwerów, przez urządzenia aktywne sieci komputerowej serwerowni, skończywszy na łączach internetowych.

Ataki na serwery mają na celu zarówno kradzież znajdujących się tam danych, jak również chęć zaszyfrowania tychże danych. Po zaszyfrowaniu, hakerzy żądają okupu za przesłanie haseł do programów odkodowujących.

Ponadto serwery mogą być wykorzystane do innych ataków lub też do kopania kryptowalut. W obu wypadkach tracimy kontrolę nad serwerami w serwerowni i „użyczamy” ich za darmo hakerom. Raczej nikt nie jest zainteresowany tym, aby zakupiony sprzęt informatyczny, który generuje stałe, comiesięczne koszty utrzymania, za darmo udostępniać hakerom.

Także łącza internetowe stanowią cel ataków. Cała gama ataków DDoS służy do tego, aby zalać łącza internetowe pakietami z całego świata. A wszystko po to, aby powstały natłok pakietów uniemożliwił komunikację serwerów z internetem.

Również urządzenia sieciowe nie są bezpieczne. Istnieje całkiem spora gama ataków, których celem jest przejęcie kontroli nad infrastrukturą serwerowni i wykorzystania jej do własnych celów, lub po prostu jej uszkodzenie. Scenariuszy do nieautoryzowanego wykorzystania sprzętu informatycznego w serwerowni także jest całkiem sporo.

Mając powyższe na uwadze, należy bardzo dobrze przemyśleć politykę bezpieczeństwa sieciowego serwerowni. Dobranie odpowiedniej architektury sieci wewnątrz serwerowni, aktywnych urządzeń monitorujących ruch czy urządzeń służących do obrony przed atakami (tzw. firewalle) to problem do rozwiązania, z którym nie każdy informatyk potrafi sobie poradzić.

Ludzie, procedury, kontrola

Ostatnim elementem bezpieczeństwa serwerowni są… ludzie. Na nic zdadzą się te wszystkie zabezpieczenia, jeżeli zawiodą pracownicy obsługujący serwerownie.

To kolejne wyzwanie dla właściciela serwerowni. Po pierwsze, musi zadbać o edukację własnego personelu. Po drugie, stworzyć – i wdrożyć – całą gamę procedur, których przestrzeganie gwarantuje ciągłość i bezpieczeństwo pracy serwerowni.

A na koniec warto stworzyć procedury kontrolne, które sprawdzą, czy pracownicy przestrzegają przygotowanych dla nich procedur.

Dopiero wdrożenie powyższych wątków daje pewność, że serwerownia spełni swoje zadanie i gwarantować będzie ciągłą i niezawodną pracę serwerów. Pozostaje tylko pytanie: czy warto o to wszystko zabiegać, skoro można zakupić gotową usługę w Data Space? Czy warto wdrażać opisane zabezpieczenia, skoro to wszystko można otrzymać w pakiecie wraz z dobraną i zwymiarowaną do bieżących potrzeb usługą?

Na to pytanie zawsze musi sobie odpowiedzieć właściciel lub zarząd przedsiębiorstwa. Warto tylko, aby wiedział o dostępnych na rynku rozwiązaniach.

Krzysztof Surgut
Krzysztof Surgut krzysztof.surgut@dataspace.pl Przez ostatnie 15 lat współrealizował zaawansowane, ogólnopolskie projekty telekomunikacyjne i informatyczne (m.in. w Dialog, HAWE). Ekspert z zakresu systemów transmisji danych, VoIP, IPTV, systemów bezpieczeństwa oraz systemów radiowych. Współtwórca pierwszego w Polsce Scrubbing Center.
Infrastruktura IT
Chłodzenie w Centrum Danych
Infrastruktura IT
Nie stosuj RAID1 HW, to nic nie daje.
   /   Infrastruktura IT   /   Zabezpieczenia serwerowni od A do Z