ఆర్టికల్ డైరెక్టరీ
Baidu స్పైడర్ డయాగ్నస్టిక్ మినహాయింపు సమాచారాన్ని క్యాప్చర్ చేస్తుంది: సాకెట్ తప్పుగా చదివి, వ్రాసినట్లయితే నేను ఏమి చేయాలి?
మీ వెబ్‌సైట్‌ని Baidu చేర్చలేదని భావించి, మీరు ముందుగా Baidu శోధన వనరుల ప్లాట్‌ఫారమ్‌లో స్పైడర్ క్రాలింగ్ నిర్ధారణను తప్పనిసరిగా నిర్వహించాలి.
డయాగ్నస్టిక్ లింక్‌లను క్రాల్ చేయడంలో Baidu క్రాలర్ విఫలమైతే నేను ఏమి చేయాలి?
Baidu క్రాలర్ క్రాల్ నిర్ధారణ అనేక సార్లు విఫలమైతే, ఫైర్‌వాల్ క్రాలర్ ప్రోగ్రామ్‌ను బ్లాక్ చేసి ఉండవచ్చు.
Baidu శోధన రిసోర్స్ ప్లాట్‌ఫారమ్ > క్రాల్ డయాగ్నోసిస్ > క్రాల్ మినహాయింపు సమాచారం: సాకెట్ చదవడం మరియు వ్రాయడంలో లోపాలు ▼
- ముఖ్యంగా Cloudflare CDNని ఉపయోగిస్తున్నప్పుడు, అది డిఫాల్ట్‌గా బ్లాక్ చేయబడుతుంది.
- ఇంటర్నెట్‌లో ఐపీ అడ్రస్‌ని యాడ్ చేయమని చెబుతారు
xxx.xxx.xxx.xxx/24 - అయితే, ఆ ప్రయత్నం ఫలించలేదు.
నేను సర్వర్‌లో Baidu స్పైడర్‌లను బ్లాక్ చేయలేదు, కాబట్టి సమస్య క్లౌడ్‌ఫ్లేర్ యొక్క WAF అయి ఉండాలి!
క్లౌడ్‌ఫ్లేర్‌కి లాగిన్ చేయండి → సెక్యూరిటీ → WAF → ఫైర్‌వాల్ నియమాలు → ఫైర్‌వాల్ నియమాన్ని సృష్టించండి
- క్లౌడ్‌ఫ్లేర్‌లో క్రాలర్‌లకు సంబంధించిన WAF నియమాలను కనుగొనండి మరియు "చట్టబద్ధమైన రోబోట్ క్రాలర్" ఎంపికను కనుగొన్నారు ▼
- ఫైర్‌వాల్ నియమాలను సృష్టించిన తర్వాత, 10 నిమిషాలు వేచి ఉండి, ఆపై రోగ నిర్ధారణను పట్టుకోండి మరియు అవన్నీ విజయవంతంగా సంగ్రహించబడ్డాయి!
Baidu క్రాలర్ సైట్‌మ్యాప్ క్రాలింగ్ వైఫల్యం మరియు కనెక్షన్ గడువు ముగియడంలో తప్పు ఏమిటి?
మీరు Baidu శోధన వనరుల ప్లాట్‌ఫారమ్‌లో సైట్‌మ్యాప్ ఫైల్ చిరునామాను సమర్పించినట్లయితే, క్రాల్ చేయడంలో వైఫల్యం మరియు కనెక్షన్ గడువు ముగియడం వంటి సమస్యలు ఉంటాయి ▼
సైట్‌మ్యాప్ మ్యాప్‌ని పట్టుకోవడంలో Baidu క్రాలర్ వైఫల్యానికి పరిష్కారం
క్లౌడ్‌ఫ్లేర్‌కి లాగిన్ చేయండి → సెక్యూరిటీ → WAF → ఫైర్‌వాల్ నియమాలు → ఫైర్‌వాల్ నియమాలను సృష్టించండి ▼
- ఫీల్డ్, "యూజర్ ఏజెంట్" ఎంచుకోండి
- ఆపరేటర్, కలిగి ఉన్నవి ఎంచుకోండి
- కొత్త వినియోగదారు ఏజెంట్‌ని జోడించి, చివరి "లేదా" క్లిక్ చేయండి
- విలువ, వరుసగా క్రింది Baidu స్పైడర్ UA వినియోగదారు ఏజెంట్‌ని నమోదు చేయండి:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
పూర్తయిన తర్వాత, పొందడాన్ని మళ్లీ పరీక్షించండి మరియు ఫలితం HTTP హెడర్ 200ని అందిస్తుంది, ఇది పొందడం విజయవంతమైందని సూచిస్తుంది▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
ఇతర సాలెపురుగులు మరియు క్రాలర్ల యొక్క వినియోగదారు ఏజెంట్లు కూడా అదే విధంగా తమను తాము శోధించవచ్చు.
హోప్ చెన్ వీలియాంగ్ బ్లాగ్ ( https://www.chenweiliang.com/ ) "Baidu స్పైడర్ క్రాల్ ఫెయిల్యూర్ డయాగ్నసిస్ అసాధారణ సమాచారం సాకెట్ రీడ్ మరియు రైట్ ఎర్రర్ కనెక్షన్ సమయం ముగిసిపోతే ఏమి చేయాలి", ఇది మీకు సహాయకరంగా ఉంది.
ఈ కథనం యొక్క లింక్‌ను భాగస్వామ్యం చేయడానికి స్వాగతం:https://www.chenweiliang.com/cwl-29315.html
తాజా నవీకరణలను పొందడానికి చెన్ వీలియాంగ్ బ్లాగ్ యొక్క టెలిగ్రామ్ ఛానెల్‌కు స్వాగతం!
📚 ఈ గైడ్‌లో భారీ విలువ ఉంది, 🌟ఇది ఒక అరుదైన అవకాశం, దీన్ని మిస్ చేయకండి! ⏰⌛💨
నచ్చితే లైక్ చేసి షేర్ చేయండి!
మీ భాగస్వామ్యం మరియు ఇష్టాలు మా నిరంతర ప్రేరణ!