लेख निर्देशिका
Baidu स्पाइडर डायग्नोस्टिक अपवाद जानकारी कैप्चर करता है: यदि सॉकेट गलत तरीके से पढ़ता है और लिखता है तो मुझे क्या करना चाहिए?
यह मानते हुए कि आपकी वेबसाइट Baidu द्वारा शामिल नहीं की गई है, आपको पहले Baidu खोज संसाधन प्लेटफ़ॉर्म पर स्पाइडर क्रॉलिंग डायग्नोसिस करना होगा।
यदि Baidu क्रॉलर डायग्नोस्टिक लिंक क्रॉल करने में विफल रहता है तो मुझे क्या करना चाहिए?
यदि Baidu क्रॉलर क्रॉल डायग्नोसिस कई बार विफल हो जाता है, तो हो सकता है कि फ़ायरवॉल ने क्रॉलर प्रोग्राम को ब्लॉक कर दिया हो।
Baidu खोज संसाधन प्लेटफ़ॉर्म > क्रॉल निदान > क्रॉल अपवाद जानकारी: सॉकेट पढ़ने और लिखने में त्रुटियां ▼
- विशेष रूप से Cloudflare CDN का उपयोग करते समय, यह डिफ़ॉल्ट रूप से ब्लॉक हो जाता है।
- इंटरनेट पर इसे आईपी एड्रेस जोड़ने के लिए कहा जाता है
xxx.xxx.xxx.xxx/24 - हालांकि कोशिश की, कोई फायदा नहीं हुआ।
मैंने Baidu स्पाइडर को सर्वर पर ब्लॉक नहीं किया, इसलिए समस्या Cloudflare के WAF की होनी चाहिए!
Cloudflare → Security → WAF → फ़ायरवॉल रूल्स → क्रिएट फ़ायरवॉल रूल में लॉग इन करें
- Cloudflare पर क्रॉलर्स से संबंधित WAF नियम खोजें, और "वैध रोबोट क्रॉलर" का विकल्प मिला ▼
- फ़ायरवॉल नियम बनाने के बाद, 10 मिनट तक प्रतीक्षा करें, और फिर निदान को पकड़ें, और उन सभी को सफलतापूर्वक पकड़ लिया गया!
Baidu क्रॉलर साइटमैप क्रॉलिंग विफलता और कनेक्शन टाइमआउट में क्या गलत है?
यदि आप Baidu खोज संसाधन प्लेटफ़ॉर्म पर साइटमैप फ़ाइल का पता सबमिट करते हैं, तो क्रॉलिंग विफलता और कनेक्शन टाइमआउट ▼ जैसी समस्याएं होंगी
Baidu क्रॉलर द्वारा साइटमैप मैप प्राप्त करने में विफलता का समाधान
Cloudflare → Security → WAF → फ़ायरवॉल रूल्स → क्रिएट फ़ायरवॉल रूल्स ▼ में लॉग इन करें
- फ़ील्ड, "उपयोगकर्ता एजेंट" चुनें
- ऑपरेटर, शामिल है चुनें
- एक नया उपयोगकर्ता एजेंट जोड़ें, अंतिम "या" पर क्लिक करें
- मूल्य, क्रमशः निम्नलिखित Baidu स्पाइडर UA उपयोगकर्ता एजेंट दर्ज करें:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
पूरा होने के बाद, फ़ेचिंग का फिर से परीक्षण करें, और परिणाम HTTP हेडर 200 लौटाता है, यह दर्शाता है कि फ़ेचिंग सफल है▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
अन्य मकड़ियों और क्रॉलर के उपयोगकर्ता एजेंट भी उसी तरह स्वयं को खोज सकते हैं।
होप चेन वेइलियांग ब्लॉग ( https://www.chenweiliang.com/ ) "Baidu स्पाइडर क्रॉल विफलता निदान असामान्य जानकारी क्या करें यदि सॉकेट पढ़ने और लिखने में त्रुटि कनेक्शन का समय समाप्त हो गया है" साझा किया, जो आपके लिए उपयोगी है।
इस लेख का लिंक साझा करने के लिए आपका स्वागत है:https://www.chenweiliang.com/cwl-29315.html