Direttorju tal-Artikoli
Baidu Spider jaqbad informazzjoni dwar l-eċċezzjoni dijanjostika: X'għandi nagħmel jekk is-sokit jaqra u jikteb ħażin?
Jekk wieħed jassumi li l-websajt tiegħek ma ġietx inkluża minn Baidu, l-ewwel trid twettaq dijanjosi tat-tkaxkir tal-brimba fuq il-pjattaforma tar-riżorsi ta 'tfittxija ta' Baidu.
X'għandi nagħmel jekk it-tkaxkir Baidu jonqos milli jitkaxkar links dijanjostiċi?
Jekk id-dijanjosi tat-tkaxkir tat-tkaxkir Baidu tfalli diversi drabi, il-firewall jista 'jkun imblokka l-programm tat-tkaxkir.
Pjattaforma tar-Riżorsi tat-Tiftix ta' Baidu > Dijanjosi tat-Tkaxkir > Informazzjoni dwar l-Eċċezzjoni tat-Tkaxkir: Żbalji tal-qari u tal-kitba tas-socket ▼
- Speċjalment meta tuża Cloudflare CDN, huwa mblukkat awtomatikament.
- Fuq l-Internet, huwa qal li żżid l-indirizz IP
xxx.xxx.xxx.xxx/24 - Madankollu, ippruvat dan għalxejn.
Ma imblukkajtx il-brimb Baidu fuq is-server, għalhekk il-problema għandha tkun il-WAF ta 'Cloudflare!
Idħol f'Cloudflare → Sigurtà → WAF → Regoli tal-Firewall → Oħloq Regola tal-Firewall
- Sib ir-regoli tal-WAF relatati mat-tkaxkir fuq Cloudflare, u sabet l-għażla ta' "robot crawler leġittimu" ▼
- Wara li ħoloq ir-regoli tal-firewall, stenna għal 10 minuti, u mbagħad aqbad id-dijanjosi, u kollha kemm huma nqabdu b'suċċess!
X'hemm ħażin fil-falliment tat-tkaxkir tal-Map tas-Sit tat-tkaxkir Baidu u l-ħin tal-konnessjoni?
Jekk tissottometti l-indirizz tal-fajl tal-Map tas-Sit fuq il-pjattaforma tar-riżorsi tat-tiftix Baidu, ikun hemm problemi bħal falliment tat-tkaxkir u timeout tal-konnessjoni ▼
Soluzzjoni għall-falliment tat-tkaxkir Baidu biex jaqbad il-mappa tal-Mappa tas-Sit
Idħol f'Cloudflare → Sigurtà → WAF → Regoli Firewall → Oħloq Regoli Firewall ▼
- qasam, agħżel "User Agent"
- operatur, agħżel Fih
- Żid aġent tal-utent ġdid, ikklikkja l-aħħar "Jew"
- Valur, rispettivament daħħal l-aġent tal-utent Baidu Spider UA li ġej:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Wara t-tlestija, ittestja l-ġbir mill-ġdid, u r-riżultat jirritorna l-header HTTP 200, li jindika li l-ġbir huwa suċċess▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
L-aġenti tal-utent ta 'brimb u crawlers oħra jistgħu wkoll ifittxu għalihom infushom bl-istess mod.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) qasmu "Tagħrif anormali tad-Djanjożi ta' Falliment tat-Tkaxkir ta' Baidu Spider X'għandek tagħmel jekk il-Konnessjoni ta' Żball Socket Read and Write Timed Out", li hija ta' għajnuna għalik.
Merħba biex taqsam il-link ta' dan l-artikolu:https://www.chenweiliang.com/cwl-29315.html
Merħba fil-kanal Telegram tal-blog ta' Chen Weiliang biex tikseb l-aħħar aġġornamenti!
📚 Din il-gwida fiha valur kbir, 🌟Din hija opportunità rari, titlifhiex! ⏰⌛💨
Share u like jekk togħġobkom!
Il-qsim u l-likes tiegħek huma l-motivazzjoni kontinwa tagħna!