Artikel Verzeechnes
Baidu Spider krabbelt an diagnostizéiert anormal Informatioun: Wat soll ech maachen wann de Socket gelies oder geschriwwe gëtt?
Unzehuelen datt Är Websäit net vu Baidu indexéiert gouf, musst Dir fir d'éischt eng Spider Crawling Diagnos op der Baidu Sichressource Plattform ausféieren.
Wat soll ech maachen wann de Baidu Crawler den diagnostesche Link net krabbelt?
Wann de Baidu Crawler e puer Mol net krabbelt an diagnostizéiert, kann d'Firewall de Crawler blockéiert hunn.
Baidu Sich Ressource Plattform > Crawl Diagnos > Crawl Abnormal Informatioun: Socket Lies- / Schreiffehler ▼
- Besonnesch wann Dir Cloudflare CDN benotzt, wat als Standard blockéiert ass.
- Um Internet gëtt geschwat, eng IP Adress derbäi ze ginn
xxx.xxx.xxx.xxx/24 - Allerdéngs probéiert ouni Erfolleg.
Ech blockéieren net Baidu Spannen um Server, also sollt de Problem dem Cloudflare säi WAF sinn!
Mellt Iech un Cloudflare → Sécherheet → WAF → Firewall Regelen → Firewall Regel erstellen
- Sich no Crawler-relatéierten WAF Reegelen op Cloudflare an hunn d'Optioun "Legal Robot Crawler" fonnt ▼
- Nodeems Dir d'Firewall-Regelen erstallt hutt, waart 10 Minutten, a gräift dann d'Diagnos, an all si sinn erfollegräich gegraff!
Baidu Crawler Sitemap konnt net krauchen, d'Verbindung ass ausgeschalt?
Wann d'Sitemap-Dateiadress op der Baidu Sichressourceplattform ofgeliwwert gëtt, ginn et Probleemer vum Crawl-Feeler a Verbindungs-Timeout ▼
Baidu Crawler huet d'Sitemap Kaart Léisung net gekrabbelt
Umellen op Cloudflare → Sécherheet → WAF → Firewall Regelen → Firewall Regelen erstellen ▼
- Feld, wielt Benotzer-Agent
- Bedreiwer, wielt "enthält"
- Füügt neie Benotzer Agent, klickt "Oder" um Enn
- Wäert, gitt de folgende Baidu Spider UA Benotzer Agent respektiv:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Nom Fäerdegstellung, testt an erëm erofzelueden, an d'Resultat gëtt HTTP-Header 200 zréck, wat beweist datt d'Erfaassung erfollegräich ass▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Benotzer Agenten vun anere Spannen a Crawler kënnen och fir sech selwer an déi selwecht Manéier sichen.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) gedeelt "Baidu Spann krabbelt Versoen fir anormal Informatiounssocket ze diagnostizéieren Lies- a Schreiffehler wat Dir maache musst iwwer d'Verbindungstimeout", wat Iech hëllefräich ass.
Wëllkomm de Link vun dësem Artikel ze deelen:https://www.chenweiliang.com/cwl-29315.html
Wëllkomm op dem Telegram Kanal vum Chen Weiliang säi Blog fir déi lescht Updates ze kréien!
📚 Dëse Guide enthält en enorme Wäert, 🌟 Dëst ass eng selten Geleeënheet, verpasst et net! ⏰⌛💨
Deelen a liken wann dir wëllt!
Är Deelen a Likes sinn eis kontinuéierlech Motivatioun!