Vyřešeno — vlákno je tím uzavřené a další odpovědi do něj nepřibývají.
Používám nástroj Ahrefs pro analýzu webu, který ale vrací chybu při procházení webu. Zjišťuji, co je možný problém a jedním z nich je blokace IP adresy jejich robota k prohlížení stránek. V CMS (wordpress) ji nemám blokovanou, je nějaké nastavení webhostingu / domény, kde by se dala povolit IP adresa k procházení webu? Nebo nic takového není?
Dobrý den,
řeším nyní naprosto stejný problém u cca 10 hostovaných webů u Wedosu. Přímo na ahrefs.com mají list IP adres jejich crawlerů:
54.36.148.0/24
54.36.149.0/24
195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24
Můžete to prosím prověřit?
Díky
Dobrý den,
díky za rychlou reakci. Vidím zatím pouze změnu v tom, že na některých webech (např. weby na serveru 4919.w19 beze změny) se audit Ahrefu tváří jako Complete(dříve Failed), ale při procházení hned první stránky to hodí Timeout error a dál se nedostane. Chyba stránek by tohle být neměla, děje se to na čistých HTML webech i WordPressech. Testoval jsem 2 weby mimo Wedos a oba proběhly bez problému, z 8 testovaných na webů na Wedosu 8 errorů (failed/timeout).
Díky.
Dobrý den,
je možné, že k blokaci dochází na naší ochraně.
Nicméně pro prověření povahy požadavků a zda-li jsou blokovány potřebujeme konkrétní /32 adresu ze které požadavek neprošel, jinak to bohužel nedohledáme.
U webhostingu můžete případně zkusit aktivovat accesslogy a zadat požadavek. Tím by jste mohl zjistit konkrétní IP, ze kterých požadavek neprojde.
Dobrý den,
zkušebně jsme rozsahy těchto crawlerů povolili. Změna nastavení by již měla být propsána a aktivní.
Tohle vlákno je uzavřené a odpovídat už v něm nejde. Když vám odpověď nestačí nebo se vás týká něco jiného, položte vlastní dotaz — odkaz na tohle vlákno do něj klidně vložte.
Přihlásit se a položit dotaz
