Artiklite kataloog
Baidu Spider salvestab diagnostilise erandi teabe: mida peaksin tegema, kui pesa loeb ja kirjutab valesti?
Eeldades, et Baidu pole teie veebisaiti kaasanud, peate esmalt Baidu otsinguressursside platvormil tegema ämbliku roomamise diagnostika.
Mida peaksin tegema, kui Baidu roomajal ei õnnestu diagnostilisi linke roomata?
Kui Baidu roomaja roomamise diagnostika ebaõnnestub mitu korda, võib tulemüür olla roomajaprogrammi blokeerinud.
Baidu otsingu ressursiplatvorm > Roomamise diagnostika > Roomamise erandi teave: Pistikupesa lugemis- ja kirjutamisvead ▼
- Eriti Cloudflare CDN-i kasutamisel on see vaikimisi blokeeritud.
- Internetis öeldakse, et lisage IP-aadress
xxx.xxx.xxx.xxx/24 - Siiski prooviti seda tulutult.
Ma ei blokeerinud serveris Baidu ämblikke, nii et probleem peaks olema Cloudflare'i WAF!
Logige sisse Cloudflare'i → Turvalisus → WAF → Tulemüürireeglid → Loo tulemüüri reegel
- Leidke Cloudflare'ist roomajatega seotud WAF-i reeglid ja leidsime valiku "õigustatud robotroomaja" ▼
- Pärast tulemüürireeglite loomist oodake 10 minutit ja seejärel haarake diagnoos ning kõik need jäädvustati edukalt!
Mis on valesti Baidu roomaja saidiplaani roomamise tõrge ja ühenduse ajalõpp?
Kui esitate saidiplaani faili aadressi Baidu otsinguressursside platvormil, ilmnevad sellised probleemid nagu roomamise tõrge ja ühenduse ajalõpp ▼
Lahendus Baidu roomaja ebaõnnestumisele saidiplaani kaardi haaramisel
Logige sisse Cloudflare'i → Turvalisus → WAF → Tulemüürireeglid → Loo tulemüürireeglid ▼
- väljal valige "Kasutajaagent"
- operaator, valige Sisaldab
- Lisage uus kasutajaagent, klõpsake viimast "Või"
- Väärtus sisestage vastavalt järgmine Baidu Spider UA kasutajaagent:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Pärast lõpetamist testige toomist uuesti ja tulemus tagastab HTTP päise 200, mis näitab, et toomine on edukas▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Samamoodi saavad end otsida ka teiste ämblike ja roomajate kasutajaagendid.
Hope Chen Weiliangi ajaveeb ( https://www.chenweiliang.com/ ) jagas "Baidu Spider Crawl Failure Diagnosis Ebanormaalne teave Mida teha, kui pistikupesa lugemise ja kirjutamise tõrke ühendamine aegus", mis on teile abiks.
Tere tulemast selle artikli linki jagama:https://www.chenweiliang.com/cwl-29315.html
Tere tulemast Chen Weiliangi ajaveebi Telegrami kanalile, et saada uusimaid värskendusi!
📚 See juhend sisaldab tohutut väärtust, 🌟See on harukordne võimalus, ärge jätke seda kasutamata! ⏰⌛💨
Jaga ja like kui meeldib!
Teie jagamine ja meeldimised on meie pidev motivatsioon!