Artikelkatalog
Baidu Spider kryper och diagnostiserar onormal information: Vad ska jag göra om uttaget är läst eller skrivet?
Förutsatt att din webbplats inte har indexerats av Baidu, måste du först utföra en spindelkrypningsdiagnos på Baidu sökresursplattform.
Vad ska jag göra om Baidu-sökroboten inte lyckas genomsöka diagnoslänken?
Om Baidu-sökroboten misslyckas med att genomsöka och diagnostisera flera gånger, kan brandväggen ha blockerat sökroboten.
Baidu Search Resource Platform > Genomsökningsdiagnos > Genomsökning onormal information: socket läs/skrivfel ▼
- Speciellt när du använder Cloudflare CDN, som är blockerad som standard.
- På Internet pratar man om att lägga till en IP-adress
xxx.xxx.xxx.xxx/24 - Försökte dock utan resultat.
Jag blockerar inte Baidu-spindlar på servern, så problemet borde vara Cloudflares WAF!
Logga in på Cloudflare → Säkerhet → WAF → Brandväggsregler → Skapa brandväggsregel
- Letade efter sökrobotrelaterade WAF-regler på Cloudflare och hittade alternativet "Legal Robot Crawler" ▼
- Efter att ha skapat brandväggsreglerna, vänta i 10 minuter och ta sedan diagnosen, och alla är framgångsrika!
Baidu-sökrobotens webbplatskarta kunde inte genomsöka, anslutningen tog timeout?
Om webbplatskartans filadress skickas på Baidu sökresursplattform kommer det att uppstå problem med genomsökningsfel och anslutningstidsgräns ▼
Baidu-sökroboten kunde inte genomsöka kartlösningen för webbplatskarta
Logga in på Cloudflare → Säkerhet → WAF → Brandväggsregler → Skapa brandväggsregler ▼
- fältet, välj User-Agent
- operatör, välj "innehåller"
- Lägg till ny användaragent, klicka på "Eller" i slutet
- värde, ange följande Baidu Spider UA användaragent:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Efter slutförandet, testa och hämta igen, och resultatet returnerar HTTP-huvud 200, vilket indikerar att hämtningen har lyckats▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Användaragenter för andra spindlar och sökrobotar kan också söka efter sig själva på samma sätt.
Hope Chen Weiliang blogg ( https://www.chenweiliang.com/ ) delade "Baidu spider crawling fail to diagnose abnormal information socket read and write errors what to do about anslutning timeout", vilket är användbart för dig.
Välkommen att dela länken till denna artikel:https://www.chenweiliang.com/cwl-29315.html