Artikkelkatalog
Baidu Spider fanger opp diagnostisk unntaksinformasjon: Hva skal jeg gjøre hvis kontakten leser og skriver feil?
Forutsatt at nettstedet ditt ikke er inkludert av Baidu, må du først utføre en edderkoppgjennomgangdiagnose på Baidu-søkeressursplattformen.
Hva bør jeg gjøre hvis Baidu-søkeroboten ikke klarer å gjennomsøke diagnostiske koblinger?
Hvis Baidu-crawler-crawl-diagnosen mislykkes flere ganger, kan brannmuren ha blokkert crawler-programmet.
Baidu søkeressursplattform > Gjennomsøkingsdiagnose > Informasjon om gjennomsøkingsunntak: Socket lese- og skrivefeil ▼
- Spesielt når du bruker Cloudflare CDN, er det blokkert som standard.
- På Internett sies det å legge til IP-adressen
xxx.xxx.xxx.xxx/24 - Prøvde det imidlertid til ingen nytte.
Jeg blokkerte ikke Baidu-edderkopper på serveren, så problemet burde være Cloudflares WAF!
Logg på Cloudflare → Sikkerhet → WAF → Brannmurregler → Opprett brannmurregel
- Finn WAF-reglene relatert til robotsøkeprogrammer på Cloudflare, og fant alternativet "legitime robotsøkeprogram" ▼
- Etter å ha opprettet brannmurreglene, vent i 10 minutter, og ta deretter diagnosen, og alle ble fanget!
Hva er galt med Baidu Crawler Sitemap-gjennomsøkingsfeil og tidsavbrudd for tilkobling?
Hvis du sender inn adressen til Sitemap-filen på Baidu søkeressursplattform, vil det oppstå problemer som gjennomsøkingsfeil og tidsavbrudd for tilkobling ▼
Løsning på feilen til Baidu-søkeroboten med å ta tak i Sitemap-kartet
Logg på Cloudflare → Sikkerhet → WAF → Brannmurregler → Lag brannmurregler ▼
- feltet, velg "User Agent"
- operatør, velg Inneholder
- Legg til en ny brukeragent, klikk på den siste "Eller"
- Verdi, skriv inn henholdsvis følgende Baidu Spider UA-brukeragent:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Etter fullføringen, test hentingen på nytt, og resultatet returnerer HTTP-header 200, som indikerer at hentingen er vellykket▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Brukeragentene til andre edderkopper og crawlere kan også søke etter seg selv på samme måte.
Hope Chen Weiliang blogg ( https://www.chenweiliang.com/ ) delte "Baidu Spider Crawl Failure Diagnosis Abnormal Information What to Do if Socket Read and Write Error Connection Timeout", som er nyttig for deg.
Velkommen til å dele lenken til denne artikkelen:https://www.chenweiliang.com/cwl-29315.html