Artiklite kataloog
Baidu Spider salvestab diagnostilise erandi teabe: mida peaksin tegema, kui pesa loeb ja kirjutab valesti?
Eeldades, et Baidu pole teie veebisaiti kaasanud, peate esmalt Baidu otsinguressursside platvormil tegema ämbliku roomamise diagnostika.
Mida peaksin tegema, kui Baidu roomajal ei õnnestu diagnostilisi linke roomata?
Kui Baidu roomaja roomamise diagnostika ebaõnnestub mitu korda, võib tulemüür olla roomajaprogrammi blokeerinud.
Baidu otsinguressursside platvorm > Indekseerimisdiagnostika > Indekseerimisvea teave: sokli lugemis-/kirjutamisviga ▼

- Eriti kasutadesCloudFlare CDN-i kasutamisel on see vaikimisi blokeeritud.
- Internetis öeldakse, et lisage IP-aadress
xxx.xxx.xxx.xxx/24 - Siiski prooviti seda tulutult.
Ma ei blokeerinud serveris Baidu ämblikke, nii et probleem peaks olema Cloudflare'i WAF!
Logige sisse Cloudflare'i → Turvalisus → WAF → Tulemüürireeglid → Loo tulemüüri reegel
- Leidke Cloudflare'ist roomajatega seotud WAF-i reeglid ja leidsime valiku "õigustatud robotroomaja" ▼

- Pärast tulemüürireeglite loomist oodake 10 minutit ja seejärel haarake diagnoos ning kõik need jäädvustati edukalt!
Mis on valesti Baidu roomaja saidiplaani roomamise tõrge ja ühenduse ajalõpp?
Kui esitate saidiplaani faili aadressi Baidu otsinguressursside platvormil, ilmnevad sellised probleemid nagu roomamise tõrge ja ühenduse ajalõpp ▼

Lahendus Baidu roomaja ebaõnnestumisele saidiplaani kaardi haaramisel
Logige sisse Cloudflare'i → Turvalisus → WAF → Tulemüürireeglid → Loo tulemüürireeglid ▼

- väljal valige "Kasutajaagent"
- operaator, valige Sisaldab
- Lisage uus kasutajaagent, klõpsake viimast "Või"
- Väärtus sisestage vastavalt järgmine Baidu Spider UA kasutajaagent:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Pärast lõpetamist testige toomist uuesti ja tulemus tagastab HTTP päise 200, mis näitab, et toomine on edukas▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息: -
提交网址: https://www.etufo.org/sitemap_baidu.xml -
抓取网址: https://www.etufo.org/sitemap_baidu.xml -
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间: 2022-11-11 19:03:44 -
网站IP: 172.***.***.149 -
下载时长: 0.868秒 -
返回HTTP头:HTTP/2 200
Samamoodi saavad end otsida ka teiste ämblike ja roomajate kasutajaagendid.
Loodetavasti on teile abiks Chen Weiliangi blogis ( https://www.chenweiliang.com/ ) jagatud artikkel "Kuidas toime tulla sokli lugemis-/kirjutamisvigade ja ühenduse ajalõpudega" .
Jaga julgelt seda artikli linki: https://www.chenweiliang.com/cwl-29315.html
