Greinaskrá
Baidu Spider fangar upplýsingar um undantekningar greiningar: Hvað ætti ég að gera ef falsinn les og skrifar rangt?
Að því gefnu að vefsíðan þín hafi ekki verið tekin með af Baidu, verður þú fyrst að framkvæma köngulóarskriðgreiningu á Baidu leitarauðlindinni.
Hvað ætti ég að gera ef Baidu crawler tekst ekki að skríða greiningartengla?
Ef Baidu skriðgreiningin mistekst nokkrum sinnum gæti eldveggurinn hafa lokað skriðforritinu.
Baidu Search Resource Platform > Skriðgreining > Skriðundantekningarupplýsingar: lestur/skrifvilla í fals ▼
- Sérstaklega þegar þú notar Cloudflare CDN, sem er sjálfgefið læst.
- Á netinu er talað um að bæta við IP tölu
xxx.xxx.xxx.xxx/24 - Reyndi þó án árangurs.
Ég er ekki að loka fyrir Baidu köngulær á þjóninum, þannig að vandamálið ætti að vera WAF frá Cloudflare!
Skráðu þig inn á Cloudflare → Öryggi → WAF → Eldveggsreglur → Búðu til eldveggsreglu
- Finndu WAF reglurnar sem tengjast vefskriðum á Cloudflare og fann möguleikann á "lögmætum vélmennaskriðli" ▼
- Eftir að hafa búið til eldveggsreglurnar, bíddu í 10 mínútur og gríptu síðan greininguna og þær eru allar teknar!
Baidu crawler Veftré mistókst að skríða, tenging rann út á tíma?
Ef þú sendir inn heimilisfang vefkortsskrárinnar á Baidu leitarauðlindavettvanginum, verða vandamál eins og skriðbilun og tengingartími ▼
Baidu crawler mistókst að skríða Sitemap kortalausn
Skráðu þig inn á Cloudflare → Öryggi → WAF → Eldveggsreglur → Búa til eldveggsreglur ▼
- reit, veldu User-Agent
- símafyrirtæki, veldu Inniheldur
- Bættu við nýjum notendafulltrúa, smelltu á síðasta „Eða“
- Gildi, í sömu röð, sláðu inn eftirfarandi Baidu Spider UA notendaumboðsmann:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Eftir að þessu er lokið skaltu prófa og sækja aftur og niðurstaðan skilar HTTP haus 200, sem gefur til kynna að niðurhalið hafi tekist▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Umboðsmenn annarra köngulær og skriðdreka geta líka leitað að sjálfum sér á sama hátt.
Hope Chen Weiliang blogg ( https://www.chenweiliang.com/ ) deildi „Baidu Spider Crawl Failure Diagnosis Abnormal Information What to Do if Socket Read and Write Error Connection Time Out“, sem er gagnlegt fyrir þig.
Velkomið að deila tengli þessarar greinar:https://www.chenweiliang.com/cwl-29315.html