लेख निर्देशिका
Baidu स्पाइडरले डायग्नोस्टिक अपवाद जानकारी क्याप्चर गर्छ: यदि सकेटले गलत तरिकाले पढ्छ र लेख्छ भने मैले के गर्नुपर्छ?
तपाईंको वेबसाइट Baidu द्वारा समावेश गरिएको छैन भनी मान्दै, तपाईंले पहिले Baidu खोज स्रोत प्लेटफर्ममा स्पाइडर क्रलिङ निदान प्रदर्शन गर्नुपर्छ।
यदि Baidu क्रलरले डायग्नोस्टिक लिङ्कहरू क्रल गर्न असफल भयो भने मैले के गर्नुपर्छ?
यदि Baidu क्रलर क्रल निदान धेरै पटक असफल भयो भने, फायरवालले क्रलर कार्यक्रम अवरुद्ध गरेको हुन सक्छ।
Baidu खोज स्रोत प्लेटफर्म > क्रल निदान > क्रल अपवाद जानकारी: सकेट पढ्ने र लेख्ने त्रुटिहरू ▼
- विशेष गरी Cloudflare CDN प्रयोग गर्दा, यो पूर्वनिर्धारित रूपमा अवरुद्ध हुन्छ।
- इन्टरनेटमा, यो आईपी ठेगाना थप्न भनिन्छ
xxx.xxx.xxx.xxx/24 - तर, त्यो प्रयास सफल भएन ।
मैले सर्भरमा Baidu स्पाइडरहरू ब्लक गरेको छैन, त्यसैले समस्या Cloudflare को WAF हुनुपर्छ!
Cloudflare मा लगइन गर्नुहोस् → सुरक्षा → WAF → फायरवाल नियम → फायरवाल नियम सिर्जना गर्नुहोस्
- Cloudflare मा क्रलरहरूसँग सम्बन्धित WAF नियमहरू फेला पार्नुहोस्, र "वैध रोबोट क्रलर" को विकल्प फेला पार्नुहोस् ▼
- फायरवाल नियमहरू सिर्जना गरेपछि, १० मिनेट पर्खनुहोस्, र त्यसपछि निदान लिनुहोस्, र ती सबै सफलतापूर्वक कब्जा गरियो!
Baidu क्रलर साइटम्याप क्रलिङ विफलता र जडान टाइमआउटमा के गलत छ?
यदि तपाईंले Baidu खोज स्रोत प्लेटफर्ममा साइटम्याप फाइलको ठेगाना पेस गर्नुभयो भने, त्यहाँ समस्याहरू हुनेछन् जस्तै क्रलिङ विफलता र जडान टाइमआउट ▼
साइटम्याप नक्सा कब्जा गर्न Baidu क्रलर को विफलता को समाधान
Cloudflare मा लगइन गर्नुहोस् → सुरक्षा → WAF → फायरवाल नियम → फायरवाल नियमहरू सिर्जना गर्नुहोस् ▼
- फिल्ड, "प्रयोगकर्ता एजेन्ट" चयन गर्नुहोस्
- अपरेटर, समावेश चयन गर्नुहोस्
- नयाँ प्रयोगकर्ता एजेन्ट थप्नुहोस्, अन्तिम "वा" क्लिक गर्नुहोस्
- मान, क्रमशः निम्न Baidu स्पाइडर UA प्रयोगकर्ता एजेन्ट प्रविष्ट गर्नुहोस्:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
पूरा भएपछि, फेचिङको पुन: परीक्षण गर्नुहोस्, र परिणामले एचटीटीपी हेडर 200 फर्काउँछ, फ्याचिङ सफल भएको संकेत गर्दछ ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
अन्य स्पाइडर र क्रलरहरूको प्रयोगकर्ता एजेन्टहरूले पनि त्यसै तरिकाले आफैलाई खोज्न सक्छन्।
आशा चेन वेइलियाङ ब्लग ( https://www.chenweiliang.com/ ) साझा गर्नुभयो "Baidu स्पाइडर क्रल विफलता निदान असामान्य जानकारी यदि सकेट पढ्ने र लेख्ने त्रुटि जडान समय समाप्त भयो भने के गर्ने", जुन तपाईलाई उपयोगी छ।
यस लेखको लिङ्क साझा गर्न स्वागत छ:https://www.chenweiliang.com/cwl-29315.html
नवीनतम अपडेटहरू प्राप्त गर्न चेन वेइलियाङको ब्लगको टेलिग्राम च्यानलमा स्वागत छ!
📚 यो गाइडले ठूलो मूल्य समावेश गर्दछ, 🌟यो दुर्लभ अवसर हो, यसलाई नछुटाउनुहोस्! ⏰⌛💨
मन परे लाइक र सेयर गर्नुहोस !
तपाइँको साझा र लाइक हाम्रो निरन्तर प्रेरणा हो!