Blokuje wedos crawler bota od MOZ.com?

Vyřešeno158 zhlédnutíDedikované serverycrawlers MOZ MOZ.com
0

Dobrý den,

v současné době se snažím zprovoznit kampaň přes MOZ.com, nicméně jejich crawler botovi se stále nedaří indexovat mé stránky. Postupoval jsem dle jejich troubleshooting návodu: https://moz.com/help/moz-pro/getting-started/troubleshoot-campaign-setup, přičemž HTTP status je 301 a HTTPS 200 (OK), htaccess ani robots.txt neobsahují žádné další restrikce.

Jejich podpora, mne odkázala na vás, zdali nedochází k blokaci na serverové straně. Případně dokázali by jste mi s tímto problémem pomoci?

web: https://ondrejhromadko.com/

Předem mockrát díky za odpověď a pomoc.

S přátelským pozdravem,

OH.

Role: Zákazník
Otázka je uzamčena pro nové odpovědi.
MB313456 Vybral nejlepší odpověď 18. 4. 2024
0
3.06K Odpověď od WEDOS Internet, a.s. 0 Comments

Dobrý den,

obávám se, že takto rozsáhlé whitelistování nebude z naší strany možné. Pokud nějakou IP blokujeme, pak se tak děje z důvodu excesivního přetěžování cílových serverů desítkami dotazů za sekundu, neblokujeme (až na výjimky) regulérní provoz či IP adresy bezdůvodně. Pokud bychom alespoň věděli, z jakých IP adres dotazy probíhají, mohli bychom prověřit, zda by se u nich daly navýšit limity.

Role: Podpora
MB313456 Vybral nejlepší odpověď 18. 4. 2024
0
94.79K Odpověď od WEDOS Internet, a.s. 0 Comments

Dobrý den,

je to docela dobře možné, že rozsahy AWS blokujeme z důvodu nežádnoucího provozu. Můžete nám zjistit konkrétnější IP rozsah, který bychom měli whitelistovat, aby bot fungoval?

Role: Podpora Web: https://kb.wedos.com Vizitka: WEDOS Specialista na Znalostní bázi
MB313456 Odpověděl na otázku 3. 4. 2024
0

Zjistím. Dám vědět obratem. Zatím děkuji.

Role: Zákazník
MB313456 Změnil status na publikováno 3. 4. 2024
0

We do not use a static IP address or range of IP addresses, as we have designed our crawler to have a dynamic approach.

This means we use thousands of dynamic IP addresses which will change each time we run a crawl.

Dá se s tím něco dělat, nebo je to neřešitelné? (Tady je ještě link na guide k botovi: https://moz.com/help/moz-procedures/crawlers/rogerbot )

Díky za info

Role: Zákazník
MB313456 Změnil status na publikováno 4. 4. 2024