Artikulu direktorioa
Baidu Spider-ek diagnostiko salbuespenen informazioa jasotzen du: zer egin behar dut socketak gaizki irakurtzen eta idazten badu?
Zure webgunea Baidu-k sartu ez duelakoan, armiarma arakatzeko diagnostikoa egin behar duzu Baidu bilaketa-baliabideen plataforman.
Zer egin behar dut Baidu arakatzaileak diagnostiko estekak arakatzen huts egiten badu?
Baidu arakatzailearen arakatze-diagnostikoak hainbat aldiz huts egiten badu, baliteke suebakiak arakatzailearen programa blokeatu izana.
Baidu Search Resource Platform > Arakatze-diagnostikoa > Arakatze-salbuespenaren informazioa: Socket irakurketa eta idazketa erroreak ▼
- Batez ere Cloudflare CDN erabiltzen denean, lehenespenez blokeatuta dago.
- Interneten, IP helbidea gehitzen omen da
xxx.xxx.xxx.xxx/24 - Hala ere, alferrik saiatu zen.
Ez ditut Baidu armiarmak blokeatu zerbitzarian, beraz, arazoa Cloudflare-ren WAF izan beharko litzateke!
Hasi saioa Cloudflare → Segurtasuna → WAF → Firewall arauak → Sortu suebaki araua
- Aurkitu arakatzaileei lotutako WAF arauak Cloudflare-n eta aurkitu "legezko robot arakatzailea" aukera ▼
- Suebakiaren arauak sortu ondoren, itxaron 10 minutuz, eta, ondoren, hartu diagnostikoa, eta denak arrakastaz harrapatu ziren!
Zer gertatzen da Baidu arakatzailea Sitemap arakatze hutsarekin eta konexioaren denbora-mugarekin?
Baidu bilaketa-baliabideen plataforman Webgune-maparen fitxategiaren helbidea bidaltzen baduzu, arazoak izango dira arakatzean hutsegitea eta konexioaren denbora-muga ▼
Baidu arakatzaileak Gune-mapa harrapatzeko porrotaren konponbidea
Hasi saioa Cloudflare → Segurtasuna → WAF → Firewall arauak → Sortu suebaki arauak ▼
- eremuan, hautatu "Erabiltzaile-agentea"
- operadorea, hautatu Contiene
- Gehitu erabiltzaile-agente berri bat, egin klik azken "Edo"
- Balioa, hurrenez hurren, idatzi Baidu Spider UA erabiltzaile-agente hau:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Amaitu ondoren, probatu berriro eskuratzea eta emaitzak HTTP goiburua 200 itzultzen du, eskuratzea arrakastatsua dela adieraziz▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Beste armiarma eta arakatzaile batzuen erabiltzaile-agenteek ere beren burua bila dezakete modu berean.
Hope Chen Weiliang bloga ( https://www.chenweiliang.com/ ) partekatu du "Baidu Spider arakatzearen hutsegiteen diagnostikoari buruzko informazio anormala Zer egin entxufearen irakurketa eta idazketa errorea konexioa denbora-muga igarotzen bada", eta hori lagungarria zaizu.
Ongi etorri artikulu honen esteka partekatzera:https://www.chenweiliang.com/cwl-29315.html