Eolaire Eolaire
Déanann Baidu Spider eolas neamhghnácha a chraobhscaoileadh agus a dhiagnóisiú: Cad ba cheart dom a dhéanamh má léitear nó má scríobhtar an soicéad?
Ag glacadh leis nach bhfuil do shuíomh Gréasáin innéacsaithe ag Baidu, ní mór duit diagnóis crawling damhán alla a dhéanamh ar ardán acmhainní cuardaigh Baidu ar dtús.
Cad ba cheart dom a dhéanamh má theipeann ar an crawler Baidu an nasc diagnóiseach a chraobhscaoileadh?
Má theipeann ar Baidu crawler a crawl agus a dhiagnóiseadh arís agus arís eile, féadfaidh an balla dóiteáin bac a chur ar an crawler.
Ardán Acmhainní Cuardaigh Baidu > Diagnóis Crawl > Crawl Eolas Neamhghnách: earráid léite/scríofa soicéad ▼
- Go háirithe nuair a bhíonn Cloudflare CDN á úsáid agat, atá bacáilte de réir réamhshocraithe.
- Ar an Idirlíon, tá caint ar sheoladh IP a chur leis
xxx.xxx.xxx.xxx/24 - Mar sin féin, rinne sé iarracht gan leas a bhaint as.
Níl mé ag cur bac ar damháin alla Baidu ar an bhfreastalaí, mar sin ba chóir go mbeadh an fhadhb ag Cloudflare's WAF!
Sínigh isteach ar Cloudflare → Slándáil → WAF → Rialacha Balla Dóiteáin → Cruthaigh Riail Balla Dóiteáin
- Ag féachaint do rialacha WAF a bhaineann le crawler ar Cloudflare agus fuair siad an rogha "Dlíthiúil Robot Crawler" ▼
- Tar éis na rialacha balla dóiteáin a chruthú, fan ar feadh 10 nóiméad, agus ansin grab an diagnóis, agus déantar iad go léir a ghabháil go rathúil!
Theip ar léarscáil an tSuímh crawler Baidu, an nasc imithe i léig?
Má chuirtear seoladh comhaid léarscáil an láithreáin isteach ar ardán acmhainní cuardaigh Baidu, beidh fadhbanna ann maidir le cliseadh crawling agus teorainn ama an cheangail ▼
Theip ar Baidu crawler réiteach léarscáile an tSuímh a chraobhscaoileadh
Sínigh isteach ar Cloudflare → Slándáil → WAF → Rialacha Balla Dóiteáin → Cruthaigh Rialacha Balla Dóiteáin ▼
- réimse, roghnaigh Úsáideoir-Gníomhaire
- oibreoir, roghnaigh "tá"
- Cuir gníomhaire úsáideora nua leis, cliceáil "Nó" ag an deireadh
- luach, cuir isteach an gníomhaire úsáideora Baidu Spider UA seo a leanas faoi seach:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Tar éis é a bheith críochnaithe, déan tástáil agus faigh arís, agus seolann an toradh ceanntásc HTTP 200, rud a thugann le fios go n-éiríonn leis an ngabháil▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Is féidir le gníomhairí úsáideora damháin alla agus crawlers eile cuardach a dhéanamh dóibh féin ar an mbealach céanna.
Tá súil agam Blag Chen Weiliang ( https://www.chenweiliang.com/ ) shared "Teip crawling damhán alla Baidu chun soicéad faisnéise neamhghnácha a dhiagnóiseadh earráidí a léamh agus a scríobh cad atá le déanamh maidir le Teorainn ama nasctha", rud atá ina chuidiú duit.
Fáilte romhat nasc an ailt seo a roinnt:https://www.chenweiliang.com/cwl-29315.html
Fáilte chuig cainéal Telegram de bhlag Chen Weiliang chun na nuashonruithe is déanaí a fháil!
📚 Tá luach ollmhór sa treoir seo, 🌟 Seo deis annamh, ná caill é! ⏰⌛💨
Roinnigí agus más maith libh!
Is iad do chomhroinnt agus do thaitin ár spreagadh leanúnach!