Artikola Adresaro
Baidu Spider rampas kaj diagnozas nenormalajn informojn: Kion mi faru se la ingo estas legita aŭ skribita?
Supozante, ke via retejo ne estis indeksita de Baidu, vi unue devas fari aranean rampan diagnozon sur la Baidu-serĉa rimeda platformo.
Kion mi faru se la rampilo Baidu malsukcesas rampi la diagnozan ligilon?
Se la rampilo de Baidu malsukcesas plurfoje rampi kaj diagnozi, la fajroŝirmilo eble blokis la rampilon.
Baidu Serĉa Rimeda Platformo > Rampa Diagnozo > Rampa Nenormala Informo: eraro de legado/skriba de socket ▼
- Precipe kiam vi uzas Cloudflare CDN, kiu estas blokita defaŭlte.
- En Interreto oni parolas pri aldoni IP-adreson
xxx.xxx.xxx.xxx/24 - Tamen, provis senrezulte.
Mi ne blokas Baidu-araneojn sur la servilo, do la problemo estu la WAF de Cloudflare!
Ensalutu al Cloudflare → Sekureco → WAF → Fajromuraj Reguloj → Krei Fajrmuro-Regulon
- Serĉante WAF-regulojn pri crawler-rilataj sur Cloudflare kaj trovis la opcion "Leĝa Roboto-Crawler" ▼
- Post krei la regulojn de fajroŝirmilo, atendu 10 minutojn, kaj poste prenu la diagnozon, kaj ĉiuj ili estas sukcese kaptitaj!
Rampilo de Baidu Retemapo malsukcesis rampi, konekto elĉerpita?
Se la dosier-adreso de la retmapo estas sendita sur la platformo de serĉo de Baidu, estos problemoj pri malsukceso de rampado kaj tempo de konekto ▼
La rampilo de Baidu malsukcesis rampi la solvon de la mapo-mapo
Ensalutu al Cloudflare → Sekureco → WAF → Fajromuraj Reguloj → Krei Fajrmuro-Regulojn ▼
- kampo, elektu Uzanto-Agente
- operatoro, elektu "enhavas"
- Aldonu novan uzantan agenton, alklaku "Aŭ" ĉe la fino
- valoro, enigu la sekvan uzantan agenton de Baidu Spider UA respektive:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Post kompletigo, provu kaj alportu denove, kaj la rezulto resendas HTTP-kapon 200, indikante, ke la serĉado estas sukcesa▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Uzantaj agentoj de aliaj araneoj kaj crawlers ankaŭ povas serĉi sin en la sama maniero.
Hope Chen Weiliang Blogo ( https://www.chenweiliang.com/ ) dividis "Baidu araneo rampanta malsukceso diagnozi nenormalan informinformon legi kaj skribi erarojn kion fari pri konektotempo", kio estas helpema al vi.
Bonvenon dividi la ligon de ĉi tiu artikolo:https://www.chenweiliang.com/cwl-29315.html