Infrastruktura i administracja IT dla playdlawosp.pl – case study

administracja IT
infrastruktura IT
środowisko IT
Data Space
20.02.2019 Data Space

Akcja Play dla WOŚP 2019 była wydarzeniem o ogólnopolskim zasięgu. Przygotowanie infrastruktury IT wymagało rozwiązania szeregu kwestii typowo inżynierskich, ponieważ w okresie WOŚP spodziewaliśmy się skokowego wzrostu obciążenia ruchu sieciowego. Rozwiązanie, które wprowadził Michał Gliński, Senior Network Administrator w Data Space, zapewniło sprawne i bezproblemowe działanie usług podczas całej akcji.

Charakterystyka środowiska Klienta

Agencja Plej posiada dedykowany wielowęzłowy system oparty o Proxmox ze storage osadzonym na CEPH, sieć publiczną o przepływności 1 Gb/s oraz sieć wewnętrzną o przepustowości 10 Gb/s.

Główne wyzwanie

Spodziewamy się ruchu sieciowego powyżej 1 Gb/s. Jak zmieścić ruch sieciowy o wolumenie ponad 1 Gb/s na serwerach, które posiadają fizyczny interfejs o przepływności 1 Gb/s?

Rozwiązanie

Problem ten rozwiązaliśmy poprzez zastosowanie dwóch mechanizmów – round robin DNS oraz programowego load balancera pod postacią HaProxy. Domena playdlawosp.pl rozwiązywała się na wiele adresów IP. Każdy z nich zaterminowany był na innej maszynie fizycznej będącej hostem wirtualizatora, co pozwalało stabilnie zwiększać dostępne pasmo. Z kolei każda z tych trzech maszyn wirtualnych znajdowała się na innym fizycznym serwerze.

W efekcie wielokrotnie zwiększyliśmy dostępne pasmo na czas trwania akcji i wprowadziliśmy mechanizm, który pozwala na dalsze skalowanie. HaProxy było połączone poprzez sieć wewnętrzną o przepływności 10 Gb/s z maszynami wirtualnymi, w których znajdowała się sama aplikacja.

Środowisko zostało tak przygotowane, aby w razie potrzeby dołożyć kolejne serwery aplikacyjne, które zrównoważyłyby obciążenie.

Poboczny problem

Dużym wyzwaniem jest charakterystyka ruchu sieciowego (aplikacja www), w której to występuje bardzo wiele pakietów o małym rozmiarze. Taki ruch sieciowy generuje bardzo dużo przerwań dla procesora. Dla eliminacji tego wąskiego gardła zostało ręcznie skonfigurowane SNP affinity, zarówno dla maszyn fizycznych, jak i wirtualnych. Z poziomu maszyn wirtualnych było to możliwe poprzez dodanie kolejek do kart sieciowych.

Dzięki takiemu rozwiązaniu duży ruch sieciowy (wysoka ilość pakietów) mógł być obsługiwany przez zadaną ilość rdzeni procesora – np. maszyna wirtualna posiadająca 4 vCPU, 2 z nich obsługują ruch sieciowy, a 2 pozostałe odpowiadają za nginxa.


Sprawdź też opis innej naszej realizacji dla agencji Plej:

Chmura prywatna dla agencji Plej – case study

Data Space
Data Space kontakt@dataspace.pl Naszą misją jest być najlepszym wyborem dla firm, które muszą być online bez względu na wszystko, przez 24 godziny, 7 dni w tygodniu, 365 dni w roku. Dostarczamy im platformę składającą się z najbardziej zaawansowanych rozwiązań z zakresu infrastruktury IT.
Case study
Serwery dedykowane dla Voicetel Communications S.A. - case study
Poradniki
Migracje do Data Center - rodzaje migracji IT