Rakstu katalogs
Baidu Spider tver diagnostikas izņēmuma informāciju: kas man jādara, ja ligzda lasa un raksta nepareizi?
Pieņemot, ka jūsu vietni nav iekļāvusi Baidu, vispirms Baidu meklēšanas resursu platformā ir jāveic zirnekļa pārmeklēšanas diagnostika.
Kas man jādara, ja Baidu rāpuļprogrammai neizdodas pārmeklēt diagnostikas saites?
Ja Baidu rāpuļprogrammas pārmeklēšanas diagnostika vairākas reizes neizdodas, iespējams, ugunsmūris ir bloķējis rāpuļprogrammu.
Baidu meklēšanas resursu platforma > Rāpuļprogrammas diagnostika > Rāpuļprogrammas izņēmuma informācija: Socket lasīšanas un rakstīšanas kļūdas ▼
- Īpaši, izmantojot Cloudflare CDN, tas pēc noklusējuma ir bloķēts.
- Internetā tiek teikts, ka jāpievieno IP adrese
xxx.xxx.xxx.xxx/24 - Tomēr tas mēģināja bez rezultātiem.
Es nebloķēju Baidu zirnekļus serverī, tāpēc problēmai vajadzētu būt Cloudflare WAF!
Piesakieties pakalpojumā Cloudflare → Drošība → WAF → Ugunsmūra noteikumi → Izveidot ugunsmūra kārtulu
- Atrodiet WAF noteikumus, kas saistīti ar rāpuļprogrammām pakalpojumā Cloudflare, un atradu opciju "likumīga robotu rāpuļprogramma" ▼
- Pēc ugunsmūra noteikumu izveides pagaidiet 10 minūtes un pēc tam veiciet diagnozi, un tās visas tika veiksmīgi notvertas!
Kas vainas Baidu rāpuļprogrammas vietnes kartes rāpuļprogrammas kļūmei un savienojuma noildzei?
Ja iesniedzat vietnes kartes faila adresi Baidu meklēšanas resursu platformā, radīsies tādas problēmas kā pārmeklēšanas kļūme un savienojuma noildze ▼
Risinājums Baidu rāpuļprogrammas neveiksmei, lai satvertu vietnes kartes karti
Piesakieties pakalpojumā Cloudflare → Drošība → WAF → Ugunsmūra noteikumi → Izveidot ugunsmūra noteikumus ▼
- laukā atlasiet "Lietotāja aģents"
- operatoru, izvēlieties Satur
- Pievienojiet jaunu lietotāja aģentu, noklikšķiniet uz pēdējā "Vai"
- Vērtība, attiecīgi ievadiet šādu Baidu Spider UA lietotāja aģentu:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Pēc pabeigšanas vēlreiz pārbaudiet ienesi, un rezultāts atgriež HTTP galveni 200, norādot, ka ienešana ir veiksmīga.
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Tādā pašā veidā sevi var meklēt arī citu zirnekļu un rāpuļprogrammu lietotāju aģenti.
Hope Chen Weiliang emuārs ( https://www.chenweiliang.com/ ).
Laipni lūdzam kopīgot šī raksta saiti:https://www.chenweiliang.com/cwl-29315.html
Laipni lūdzam Chen Weiliang emuāra Telegram kanālā, lai saņemtu jaunākos atjauninājumus!
📚 Šajā rokasgrāmatā ir milzīga vērtība, 🌟Šī ir reta iespēja, nepalaidiet to garām! ⏰⌛💨
Dalies un patīk, ja patīk!
Jūsu kopīgošana un atzīmes Patīk ir mūsu nepārtraukta motivācija!