Greinaskrá
Baidu Spider fangar upplýsingar um undantekningar greiningar: Hvað ætti ég að gera ef falsinn les og skrifar rangt?
Að því gefnu að vefsíðan þín hafi ekki verið tekin með af Baidu, verður þú fyrst að framkvæma köngulóarskriðgreiningu á Baidu leitarauðlindinni.
Hvað ætti ég að gera ef Baidu crawler tekst ekki að skríða greiningartengla?
Ef Baidu skriðgreiningin mistekst nokkrum sinnum gæti eldveggurinn hafa lokað skriðforritinu.
Baidu leitarvettvangur > Greining á skrið > Upplýsingar um villu í skrið: Villa í lestri/skrifi í tengi ▼

- Sérstaklega að notaCloudflare Þegar CDN er notað er það sjálfgefið lokað.
- Á netinu er talað um að bæta við IP tölu
xxx.xxx.xxx.xxx/24 - Reyndi þó án árangurs.
Ég er ekki að loka fyrir Baidu köngulær á þjóninum, þannig að vandamálið ætti að vera WAF frá Cloudflare!
Skráðu þig inn á Cloudflare → Öryggi → WAF → Eldveggsreglur → Búðu til eldveggsreglu
- Finndu WAF reglurnar sem tengjast vefskriðum á Cloudflare og fann möguleikann á "lögmætum vélmennaskriðli" ▼

- Eftir að hafa búið til eldveggsreglurnar, bíddu í 10 mínútur og gríptu síðan greininguna og þær eru allar teknar!
Baidu crawler Veftré mistókst að skríða, tenging rann út á tíma?
Ef þú sendir inn heimilisfang vefkortsskrárinnar á Baidu leitarauðlindavettvanginum, verða vandamál eins og skriðbilun og tengingartími ▼

Baidu crawler mistókst að skríða Sitemap kortalausn
Skráðu þig inn á Cloudflare → Öryggi → WAF → Eldveggsreglur → Búa til eldveggsreglur ▼

- reit, veldu User-Agent
- símafyrirtæki, veldu Inniheldur
- Bættu við nýjum notendafulltrúa, smelltu á síðasta „Eða“
- Gildi, í sömu röð, sláðu inn eftirfarandi Baidu Spider UA notendaumboðsmann:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Eftir að þessu er lokið skaltu prófa og sækja aftur og niðurstaðan skilar HTTP haus 200, sem gefur til kynna að niðurhalið hafi tekist▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息: -
提交网址: https://www.etufo.org/sitemap_baidu.xml -
抓取网址: https://www.etufo.org/sitemap_baidu.xml -
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间: 2022-11-11 19:03:44 -
网站IP: 172.***.***.149 -
下载时长: 0.868秒 -
返回HTTP头:HTTP/2 200
Umboðsmenn annarra köngulær og skriðdreka geta líka leitað að sjálfum sér á sama hátt.
Vonandi verður greinin „Hvernig á að takast á við villur í lestri/skrifum í tengi og tímamörk tenginga“ sem er birt á bloggi Chen Weiliang ( https://www.chenweiliang.com/ ) gagnleg fyrir þig.
Deilið endilega tenglinum á þessa grein: https://www.chenweiliang.com/cwl-29315.html
