pelrêça gotarê
Baidu Spider agahdariya îstîsna teşhîsê digire: Ger soket xelet dixwîne û dinivîse divê ez çi bikim?
Bihesibînin ku malpera we ji hêla Baidu ve nehatiye vegirtin, divê hûn pêşî li ser platforma çavkaniya lêgerînê ya Baidu teşhîsa xêzkirina spider bikin.
Ger Baidu crawler nekare girêdanên tespîtkirinê bigere ez çi bikim?
Ger teşhîsa crawlê ya Baidu çend caran têk biçe, dibe ku dîwarê agir bernama crawler asteng kiribe.
Platforma Çavkaniyê ya Lêgerînê ya Baidu > Teşhîskirina Crawl > Agahdariya îstîsna Crawl: Çewtiyên soketê yên xwendin û nivîsandinê ▼
- Bi taybetî dema ku Cloudflare CDN bikar bînin, ew ji hêla xwerû ve tê asteng kirin.
- Li ser Înternetê, tê gotin ku navnîşana IP-ê lê zêde bike
xxx.xxx.xxx.xxx/24 - Lêbelê, hewl da ku bê encam.
Min spiderên Baidu li ser serverê asteng nekir, ji ber vê yekê divê pirsgirêk WAF-a Cloudflare be!
Têkeve Cloudflare → Ewlekarî → WAF → Qaîdeyên Firewall → Rêzika Firewallê Biafirîne
- Li ser Cloudflare qaîdeyên WAF-ê yên ku bi xêzkeran ve girêdayî ne bibînin, û vebijarka "robotê meşrû" dîtin ▼
- Piştî afirandina qaîdeyên firewallê, 10 hûrdem bisekinin, û dûv re teşhîs bigrin, û hemî bi serfirazî hatin girtin!
Çi xeletiya Baidu crawler Nexşeya Malperê ya têkçûn û dema girêdanê heye?
Ger hûn navnîşana pelê Nexşeya Malperê li ser platforma çavkaniya lêgerînê ya Baidu bişînin, dê pirsgirêkên wekî têkçûna kêşanê û dema girêdanê hebin ▼
Çareseriya têkçûna Baidu crawler ku nexşeya Malperê bigire
Têkeve Cloudflare → Ewlekarî → WAF → Rêgezên Firewall → Rêgezên Firewallê biafirînin ▼
- zeviyê, "Agent Bikarhêner" hilbijêrin
- operator, Hilbijêre Contains
- Nûnerek bikarhênerek nû zêde bikin, "An" ya paşîn bikirtînin
- Nirx, bi rêzê ve nûnerê bikarhênerê Baidu Spider UA-ya jêrîn têkevin:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Piştî qedandinê, hilgirtinê dîsa biceribîne, û encam sernavê HTTP 200 vedigerîne, ku destnîşan dike ku hilanîn serketî ye ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Nûnerên bikarhêner ên spider û crawlerên din jî dikarin bi heman rengî li xwe bigerin.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) parve kir "Baidu Spider Crawl Failure Diagnostic Agahiyên Nenormal Çi Bikin Ger Dema Têkiliya Çewtiya Xwendin û Nivîsandinê ya Soketê Biqede", ku ji we re arîkar e.
Bi xêr hatî bo parvekirina girêdana vê gotarê:https://www.chenweiliang.com/cwl-29315.html
Hûn bi xêr hatin kanala Telegramê ya bloga Chen Weiliang da ku nûvekirinên herî dawî bistînin!
📚 Ev rêber nirxek pir mezin dihewîne, 🌟Ev derfetek kêm e, wê ji dest nede! ⏰⌛💨
Heke hûn hez dikin parve bikin û hez bikin!
Parvekirin û ecibandinên we motîvasyona meya domdar e!