Directory artaigil
Bidh Baidu Spider a’ glacadh fiosrachadh eisgeachd breithneachaidh: Dè bu chòir dhomh a dhèanamh ma leughas agus a sgrìobhas an t-socaid gu ceàrr?
Leis nach eil an làrach-lìn agad air a thoirt a-steach le Baidu, feumaidh tu an-toiseach breithneachadh damhain-allaidh a dhèanamh air àrd-ùrlar goireas sgrùdaidh Baidu.
Dè a bu chòir dhomh a dhèanamh ma dh’ fhailicheas Baidu crawler ceanglaichean breithneachaidh a chraoladh?
Ma dh ’fhailicheas breithneachadh crawler Baidu grunn thursan, is dòcha gu bheil am balla-teine air casg a chuir air a’ phrògram crawler.
Àrd-ùrlar Goireasan Rannsachadh Baidu > Diagnosis Crawl > Crawl Fiosrachadh eisgeachd: Socaid leugh agus sgrìobh mearachdan ▼
- Gu sònraichte nuair a bhios tu a ’cleachdadh Cloudflare CDN, tha e air a bhacadh gu bunaiteach.
- Air an eadar-lìon, thathar ag ràdh gun cuir e an seòladh IP ris
xxx.xxx.xxx.xxx/24 - Ach, dh’ fheuch sin gun fheum.
Cha do chuir mi bacadh air damhain-allaidh Baidu air an fhrithealaiche, agus mar sin bu chòir gur e WAF Cloudflare an duilgheadas!
Log a-steach gu Cloudflare → Tèarainteachd → WAF → Riaghailtean Firewall → Cruthaich Riaghailt Balla-teine
- Lorg na riaghailtean WAF co-cheangailte ri crawlers air Cloudflare, agus lorg an roghainn “luchd-brathaidh robot dligheach” ▼
- Às deidh dhut na riaghailtean balla-teine a chruthachadh, fuirich airson 10 mionaidean, agus an uairsin faigh grèim air a ’bhreithneachadh, agus chaidh iad uile a ghlacadh gu soirbheachail!
Dè tha ceàrr air Baidu crawler Mapa-làraich fàilligeadh snàgadh agus ùine ceangail?
Ma chuireas tu a-steach seòladh an fhaidhle Mapa-làraich air àrd-ùrlar goireas sgrùdaidh Baidu, bidh duilgheadasan ann leithid fàilligeadh snàgail agus ùine ceangail ▼
Fuasgladh air fàilligeadh Baidu crawler grèim fhaighinn air mapa Mapa na Làraich
Log a-steach gu Cloudflare → Tèarainteachd → WAF → Riaghailtean Firewall → Cruthaich Riaghailtean Balla-teine ▼
- raon, tagh "User Agent"
- gnìomhaiche, tagh Contains
- Cuir àidseant cleachdaiche ùr ris, cliog air an "No" mu dheireadh
- Luach, fa leth cuir a-steach an neach-cleachdaidh Baidu Spider UA a leanas:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Às deidh an crìochnachadh, dèan deuchainn air an lorg a-rithist, agus tillidh an toradh bann-cinn HTTP 200, a’ nochdadh gu bheil am faighinn soirbheachail ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Faodaidh riochdairean luchd-cleachdaidh damhain-allaidh agus crawlers eile lorg dhaibh fhèin san aon dòigh.
An dòchas blog Chen Weiliang ( https://www.chenweiliang.com/ ) co-roinnte "Baidu Spider Crawl Failure Diagnosis Fiosrachadh Neo-àbhaisteach Dè a nì thu ma tha Socket Leugh agus Sgrìobh Ceangal Mearachd air a chuir a-mach", a tha cuideachail dhut.
Fàilte gus ceangal an artaigil seo a cho-roinn:https://www.chenweiliang.com/cwl-29315.html