Adresář článků
Baidu Spider zachycuje informace o diagnostické výjimce: Co mám dělat, pokud soket čte a zapisuje nesprávně?
Za předpokladu, že váš web nebyl zahrnut službou Baidu, musíte nejprve provést diagnostiku procházení pavouka na platformě zdrojů vyhledávání Baidu.
Co mám dělat, když prohledávač Baidu nedokáže prolézt diagnostické odkazy?
Pokud diagnostika prolézání Baidu několikrát selže, mohla prolézací program zablokovat brána firewall.
Platforma Baidu Search Resource Platform > Diagnostika procházení > Informace o výjimce procházení: Chyby čtení a zápisu soketu ▼
- Zejména při používání Cloudflare CDN je ve výchozím nastavení blokován.
- Na internetu se říká, že přidá IP adresu
xxx.xxx.xxx.xxx/24 - Zkusil to však bezvýsledně.
Neblokoval jsem pavouky Baidu na serveru, takže problém by měl být WAF Cloudflare!
Přihlaste se do Cloudflare → Zabezpečení → WAF → Pravidla brány firewall → Vytvořit pravidlo brány firewall
- Najděte pravidla WAF související s prohledávači na Cloudflare a najděte možnost „legitimní robotický prohledávač“ ▼
- Po vytvoření pravidel brány firewall počkejte 10 minut a poté uchopte diagnózu a všechna byla úspěšně zachycena!
Co je špatného na selhání procházení souboru Sitemap prohledávače Baidu a vypršení časového limitu připojení?
Pokud odešlete adresu souboru Sitemap na vyhledávací platformě Baidu, dojde k problémům, jako je selhání procházení a časový limit připojení ▼
Řešení selhání prohledávače Baidu získat mapu Sitemap
Přihlaste se do Cloudflare → Zabezpečení → WAF → Pravidla brány firewall → Vytvořit pravidla brány firewall ▼
- vyberte "User Agent"
- operátora, zvolte Obsahuje
- Přidejte nového uživatelského agenta, klikněte na poslední "Nebo"
- Hodnota, respektive zadejte následující uživatelský agent Baidu Spider UA:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Po dokončení otestujte načítání znovu a výsledek vrátí HTTP hlavičku 200, což znamená, že načítání bylo úspěšné▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Stejným způsobem se mohou hledat i uživatelští agenti jiných pavouků a prohledávačů.
Blog Hope Chen Weiliang ( https://www.chenweiliang.com/ ) sdílel „Diagnostika selhání procházení Baidu Spider Abnormální informace Co dělat, když vypršel časový limit připojení při čtení a zápisu soketu“, což je pro vás užitečné.
Vítejte u sdílení odkazu na tento článek:https://www.chenweiliang.com/cwl-29315.html
Vítejte na telegramovém kanálu blogu Chen Weiliang, kde získáte nejnovější aktualizace!
📚 Tento průvodce má obrovskou hodnotu, 🌟Toto je vzácná příležitost, nenechte si ji ujít! ⏰⌛💨
Sdílejte a lajkujte, pokud se vám líbí!
Vaše sdílení a lajky jsou naší neustálou motivací!