Facebook crawler nemá přístup a proto nefunguje share na facebook
Dobrý den,
řeším problém s Facebook crawlerem facebookexternalhit na webu https://airevue.cz.
Facebook Sharing Debugger:
https://developers.facebook.com/tools/debug/?q=https%3A%2F%2Fairevue.cz%2Fwireclaw-esp32-jako-ai-agent-ktery-prezije-vypadek-internetu
vrací:
– HTTP 403
– Response Code Reason:
„This response code could be due to a robots.txt block. Please allowlist facebookexternalhit on your sites robots.txt config to utilize Facebook scraping“
robots.txt ale crawler neblokuje:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
.htaccess také neobsahuje žádná pravidla blokující facebookexternalhit.
Současně běžný test přes curl s User-Agentem facebookexternalhit/1.1 vrací HTTP 200:
Open Graph metadata jsou na stránce přítomná a například X/Twitter crawler je načítá korektně.
Facebook debugger ale stále dostává HTTP 403 a nenačte správně OG metadata stránky.
Nejde nějak z logů zjisit, jestli jsou tyto crawlery blokovány?:
– facebookexternalhit
– Facebot
v rámci nějakého traffic filteringu?
Děkuji.
