Wybór platformy serwera dedykowanego pod procesory Intel Skylake

Intel
procesory
serwery dedykowane
Marcin Kowalski
01.02.2018 Marcin Kowalski

Procesory Intel Skylake (DP, XEON) dostępne są na rynku od lipca 2017 r. Praktycznie nie istnieją w ofertach dostawców serwerów dedykowanych. Adopcja została opóźniona zarówno przez czynniki biznesowe jak i techniczne, problemy z dostępnością, zupełnie nową architekturę, częściowo potwierdzone obawy o błędy, jak też bardzo mały wzrost wydajności w stosunku do ceny. Intel zaczyna wygaszać procesory na gnieździe LGA2011-3, więc nie pozostaje nam nic innego jak przesiadka na LGA 3647.

Brak adopcji nie jest spowodowany tylko opisanymi powyżej czynnikami. Obok zmieniają się standardy storage oraz pełznie rewolucja 10GBase-T. Standardy storage wymuszają decyzje co formatu fizycznego dysków NVMe. 2,5 cala to gęstość SSD, z kolei 3,5 cala to możliwość stosowania pojemnościowych dysków SATA.

Na to wszystko oczywiście nakłada się cena, rozmiar (który chcemy jak najmniejszy) oraz możliwości rozbudowy (gniazda RAM, gniazda PCIe, porty U.2, porty SATA, porty SAS). Montaż karty graficznej byłby mile widzianą opcją, ale nie jest możliwe osiągnięcie tego jedną płytą.

Obudowa – nowe procesory mają wyższy pobór mocy, musimy więc zastosować nowe obudowy z wydajniejszymi zasilaczami i mocniejszymi wiatrakami. Obudowy muszą być małe (1U), pojemne (maks. 12-24 HDD), mieć sloty U.2, umożliwiać samodzielne składanie i rozkładanie na części, pozwalać na montaż kart GPU. Trzy obudowy (1U, 2U 4U) to minimum, prawdopodobnie potrzebna jest jeszcze jedna obudowa na GPU.

10Gbase-T ma problemy z przebiciem się do usługowych centrów danych. Po pierwsze, znakomita większość klientów nie potrzebuje takiej prędkości. Po drugie, switche 10GBase-T kosztują tyle samo co switche SFP+, a dodatkowo potrafią mieć większy pobór prądu. Po trzecie, przejście na miedź wymaga lepszego planowania dystansów i stosowania lepszego okablowania. Zwykle granica pomiędzy kablem budżetowym a jakościowym była też zmianą medium z miedzi na optykę, co bardzo ułatwiało logistykę. Po czwarte, problemy z odległościami. Jeżeli do SFP+ stosowano wkładkę, na SR (short range) od razu dostępne było 300 m długości. Pomyłka powodowała wymianę optyki na lekko droższą, z czego robiło się 10 km, co w skali Centrum Danych jest kosmiczną wręcz odległością. Przy miedzi źle policzone dystanse pomiędzy dwiema komorami powodują bardzo duży problem. Po piąte, wszystkie urządzenia agregacyjne działają na SFP+, więc dodanie 10GBase-T to rewolucja, a nie ewolucja.

GPU – stosowanie kart graficznych, akceleratorów obliczeń, kart FPGA. Te karty z punku widzenia wnętrza obudowy łączy kilka problemów: duży rozmiar (FHFL), wysoka produkcja ciepła (a więc i duży apetyt na zasilanie), potrzebne dodatkowe okablowanie zasilające (a czasami wręcz specjalne mocowania), organizacja przepływu powietrza w obudowie (więcej wiatraków). Im dalej zagłębiamy się w temat, tym lepiej stosować inne obudowy do GPU i nie próbować łączyć światów.

Storage – HDD, SSD, SATA, SAS NVMe, 3,5”, 2,5”, NVMe w PCIe, NVMe w U.2, M.2, Intel Ruler, Samsung Ruler, JBOD, JBOF w serwerze – to wszystko i jeszcze więcej można też podłączyć po sieci. Wybór storage jest kilkukrotnie bardziej skomplikowany od doboru RAM (określić ilość GB), CPU (wybrać jeden odpowiedni z listy), czy sieci (wybrać prędkość i medium). W wypadku dysków wybór może przyprawić o prawdziwy ból głowy, a i tak nie przewidzi się, co będzie wybierane za np. 5 lat. Istnieją platformy umożliwiające zastosowanie praktycznie wszystkiego – 12 slotów (do wyboru SATA, SAS, NVMe w U.2), sporo miejsca na karty, żeby włożyć NVMe w PCIe, miejsce na dwa M.2, ale ekonomicznie nie są one uzasadnione.

Pokazaliśmy już, co bierzemy pod uwagę wybierając zestaw ‘obudowa + płyta’ pod Skylake: cena, wielkość, możliwości podłączenia sieci, storage, możliwości rozbudowy o karty PCIe i RAM. Nie wspomniałem jeszcze o jednym czynniku: modułowość, czyli możliwość rozebrania platformy, wymiany płyty na nowszą lub inną, łatwość serwisu, itp. Pierwszy klient będzie zadowolony z wyboru, ale pamiętajmy, że za 5 lat klient będzie miał inne, ale dla nas tak samo ważne oczekiwania.

Segmenty, w jakich poruszamy się, wydają się na tyle dobrze narysowane, że czas wybrać odpowiednie platformy. Oto wymagania co do zestawów ‘obudowa + płyta’:

  • Zestaw budżetowy – 4 dyski, być może 1 karta i nic więcej, ma być tanio
  • Zestaw z NVME – min. 4 dyski NVME, 256+ GB RAM, mile widziana możliwość użycia dysków 3,5”
  • Zestaw typu storage na 24 HDD
  • Zestaw typu “po trochę wszystkiego” – dla heavy userów – NVMe, 256+ GB RAM, 8+ dysków, wiele kart
  • Platforma do GPU – do 4 kart obliczeniowych

 

Zestaw budżetowy


Kandydat 1:

6019P-MT

Opis: 4 dyski, 1 zasilacz, do 256 (8*32) GB RAM.
Plusy: Cena, prostota
Znaki zapytania: Czy ta karta sieciowa będzie wspierana poprawnie we wszystkich konfiguracjach?
Minusy: Tylko 1 dodatkowa karta PCIe
Wnioski: Solidny kandydat. Największą wadą jest konieczność przesiadki na diametralnie inną konfigurację w przypadku chęci rozbudowy.

Kandydat 2:

6019P-WT

Opis: 4 dyski, 1 zasilacz, 384 (12*32) GB RAM, 3 sloty na karty 1U
Plusy: Ta sama płyta do zastosowania w 2U. Możliwość włożenia 3 kart PCIe. Slot M.2 SAS3
Znaki zapytania: Czy wykorzystując RAM i sloty PCIe nie będzie za mało miejsca na storage?
Minusy: Niestandardowy format płyty – nie wiadomo, czy będzie używany w przyszłości
Wnioski: Dobra platforma do ogólnych zastosowań, duża elastyczność oznacza wyższą cenę
Cena platformy z pakietem dla klienta:
– SYS-6019P-MT – 372 zł
– SYS-6019P-WT – 330 zł

42 zł miesięcznie samo w sobie jest niską sumą, jednak 10% ceny to już znaczna jej część. Prawda o rynku serwerów dedykowanych wynajmowanych na krótki okres jest brutalna i cena jest bardzo ważnym wyznacznikiem wyboru dostawcy. Platformy -MT, choć dużo bardziej korzystna dla wielu klientów, spowoduje utratę zbyt wielu zamówień. Zmiana jest możliwa, jeżeli większa liczba klientów zacznie zamawiać sprzęt wyposażony w 10 Gbit/s na SFP+ oraz kartę RAID. W kolejnej generacji bardzo prawdopodobne jest przejście na 10 Gbit/s na miedzi.

 

Platforma z NVMe


Ze sprzętem od Supermicro do NVMe jest jeden zasadniczy problem – większość bardziej skomplikowanych modeli ma bardzo nieładną adnotację na stronie:

Due to the complexity of integration, this product is sold as a completely assembled system only (with minimum 2 CPU and 4 DIMMs). Please contact your Supermicro sales rep for special requirements.

Dla takiej firmy jak Data Space, która składa wszystkie serwery na miejscu, konieczność zamówienia serwera w całości jest co najmniej kłopotliwa. Powodowane to jest takimi czynnikami, jak problemy z serwisem, zmianą konfiguracji, konieczność zmiany oprogramowania śledzącego ruch części oraz umowy serwisowe na części. W interesie serwerowni jest składać sprzęt na miejscu z jak największej liczby komponentów.

W związku z powyższym wybór jest mocno ograniczony:

1029P-WTRT
6029P-WTRT

Serwer 1U na 8 dysków (w tym 2 NVMe) i serwer 2U na 12 dysków. Biorąc pod uwagę, że dość często budżet wymusza wymieszanie w jednym serwerze dysków 3,5” z NVMe, decyzja jest raczej prosta. Zmienia się to jednak, gdy spojrzymy na ceny:
– 1029P-WTRT – 434 zł
– 6029P-WTRT – 611 zł

Jeżeli wcześniej 42 zł to było dużo, tak 177 zł jest kwotą wręcz kosmiczną. W takiej kalkulacji platforma staje się najdroższym elementem serwera. Obie platformy są budowane na tej samej płycie głównej. Po zastanowieniu się najlepszą metodą staje się platforma dla heavy userów.

Platforma dla heavy userów


6029P-WTRT

Brakuje jej tylko wsparcia dla dysków Optane, natomiast cała reszta jest – do 12 dysków SAS3, porty 10 Gbit/s 10 Base-T, miejsce na 4 dyski NVMe w U.2, do 7 kart rozszerzeń (tyle nawet nie widziałem jeszcze w serwerze), do tego 2 zasilacze.

Cena: 6029P-WTRT – 611 zł

Mamy już 3 zestawy: SYS-6019P-WT oraz płyta X11DPL do składaków , 1029P-WTRT, 6029P-WTRT.

Platforma storage


Omówmy teraz platformę na storage. Nasze aktualne rozwiązanie to: SuperStorage Server 6047R-E1R24N

Server 6047R-E1R24N

Wybraliśmy ją ze względu na stosunek ceny do ilości TB, jaką można w niej umieścić. Warto zwrócić uwagę na ryzyko powstające przy umieszczeniu zbyt wielu dysków w jednej obudowie. Klienci wybierają dyski od 4 TB do 14 TB. Przy największej pojemności uzyskać można do 300 TB przestrzeni RAW. Moc obliczeniowa i zastosowany rodzaj procesora nie grają tutaj roli z użytkowego punktu.

Obecnie nie widzimy sensu wprowadzenia platformy z nowej linii. Przy cold storage SAS3 nie jest potrzebny, wąskim gardłem natomiast jest w tym wypadku przepustowość sieci, a nie dysków.

 

Platforma na GPU


Na koniec omówmy jeszcze problemy z platformami na GPU. Pierwszy, identyczny jak w przypadku platform dla NVMe, to próba sprzedaży gotowych serwerów ze wszystkimi komponentami przez producenta. Drugi – ilość ciepła i gęstość. Serwery 1U z zasilaczami 2000W wygląda fajnie. Szafa 47U, która wypluwa z siebie 45 kW ciepła, wygląda bardzo niefajnie. Serwerownia daje możliwość wychłodzenia 20 kW na szafę, ale to nie to samo co wychłodzenie 45 kW. Problem trzeci to możliwość włożenia desktopowych kart graficznych. Bądźmy szczerzy – 95% klientów na GPU wykorzystuje tańsze karty desktopowe. Z punktu widzenia budowy serwerów, kartę desktopową od serwerowej odróżnia miejsce montowania zasilania. Serwerowa mieści się w 3U (FHFL), desktopowa troszeczkę wystaje. I nie ma jak jej zmieścić. Zostaje więc tylko jedna platforma:

SYS-7049GP-TRT

Sama platforma jednak kosztuje: SYS-7049GP-TRT – 1019 zł

Z drugiej strony, więcej pewnie będą kosztować karty graficzne i inne dodatki. Weźmy jednak po uwagę, że jest to bardziej stacja graficzna, a nie pełnoprawny serwer, na ten moment nie wprowadzamy jej więc do oferty. Plotki na rynku mówią, że Supermicro niedługo wprowadzi całą gamę platform – zarówno dedykowanych do kopania (miejsce na 11 GPU podłączanych po PCIe x1), jak i wyspecjalizowanych do konkretnych obliczeń. Na pewno wrócimy wtedy do tego typu rozwiązań.

 

Podsumowanie


Wybraliśmy trzy platformy, na bazie których będziemy oferować usługi na dwuprocesorowych Skylake. Tanią – SYS-6019P-WT, NVMe – 1029P-WTRT, oraz dużą – 6029P-WTRT. W późniejszym okresie dodamy platformę 1U z możliwością montażu trzech kart rozszerzeń – SYS-6019P-MT. Samo dołożenie uzależnione jest od popularyzacji sieci 10 Gbit/s. Jednocześnie, przy większych zamówieniach dobieramy platformę wedle potrzeb klienta, optymalizując ją w całości pod wybrane zastosowanie.

Marcin Kowalski
Marcin Kowalski marcin.kowalski@dataspace.pl Od ponad 10 lat pomagam administratorom i klientom. Serwery, urządzenia sieciowe, kolokacja, rozwiązywanie problemów i tworzenie nowych produktów.
General
Przerwa serwisowa w Data Center - nieunikniony obowiązek dostawców usług
General
Dlaczego samodzielnie budujemy serwery dedykowane
   /   General   /   Wybór platformy serwera dedykowanego pod procesory Intel Skylake