Výpadek služeb – chybějící informace
Dobrý den,
bude někde oficiálně vysvětlen dnešní výpadek služeb (který mimo jiné zasáhl i vaše vlastní stránky) na hc1-wd19, 84, 83, 80, 79, 71, 72, 64, 34, 56, 18 a 55?
Není příjemné zvedat telefon zákazníkům a nemít se o co opřít, když mi vytýkají nefunkční stránky a ani stránky poskytovatele nefungují..
Děkuji
1 Odpověď
Dobrý den,
omlouváme se za vzniklé komplikace. Včera (21.07.2020) v 18:18 začal útok na náš web wedos.cz. Nejednalo se o nijak důmyslný DDoS útok. Prostě se někdo rozhodl, že nám pomocí botnetu přetíží webové stránky.
Na grafu vidíte celý průběh útoku. Jedná se o počet přístupů na web během 60 vteřinových intervalů.
Ve špičce to bylo 294.183 přístupů za minutu, tedy nějakých 4903 za vteřinu. Nic co by naše WMS a WordPress nezvládl. Naše weby (mimo administraci a další kritické systémy) fungují v podstatě na prototypu WMS.
Problém se však objevil na proxy serverech, které se jevily přetížené. Tyto proxy patří do stejné skupiny, kterou využívají i další webservery s NoLimit. Proto docházelo k problémům a částečným výpadkům.
Okamžitě jsme začali jednat a rozhodli se všechny naše weby ihned oddělit na vyhrazený proxy server. Za toto se velmi omlouváme. Vzhledem k tomu jak jsme „oblíbení“, jsme měli podobnou situaci předvídat a oddělit vše už na začátku.
Tento proces trval delší dobu, než jsme původně předpokládali.
Když jsme se ujistili, že služby zákazníků jsou v pořádku, tak jsme se pustili do detailnější analýzy útoku. V té době už provoz začal odbavovat nový vyhrazený proxy server. WMS fungovalo po celou dobu bez problému.
Na grafu vidíte 5 minutové intervaly provozu webu wedos.cz. Šedivě je odbavený provoz přes proxy, zeleně jsou stavové kódy 200 a červeně stavové kódy 50X, tedy kdy se WMS zadýchalo.
Za celou dobu útoku ze všech 193.645.704 requestů pouze 714 skončilo chybou 50X (resp. 503 kvůli přetížení). A to jsou jen statistiky webu wedos.cz. Na stejném WMS jede i help.wedos.cz, kb.wedos.cz, blog.wedos.cz a ostatní jazykové mutace wedos.cz a pár dalších menších podpůrných projektů.
Nedostupnost u našeho webu tedy byla způsobena tím, že nestíhal požadavky odbavovat proxy server. Pokud bychom si vytvořili další a rozložili zátěž, tak by zvládl dalších 290 tisíc přístupů za minutu. Případně třetí, čtvrtý atd. Tohle všechno umíme u WMS.
Tato situace by však nastat správně neměla. Jednalo se o škodlivý provoz a ten by měl být filtrován na IPS/IDS ochraně a ne spotřebovávat serverové prostředky. WMS s našimi projekty má však na IPS/IDS pár výjimek a proto k této situaci vůbec došlo.
Na běžném webhostingu NoLimit anebo WMS by tedy proti tomuto zasáhla IPS/IDS ochrana.
Ještě jednou se omlouváme za způsobené komplikace.