Baidu स्पाइडर क्रल विफलता निदान असामान्य जानकारी सकेट पढ्ने र लेख्ने त्रुटि जडान टाइमआउट के गर्ने

Baidu स्पाइडरले डायग्नोस्टिक अपवाद जानकारी क्याप्चर गर्छ: यदि सकेटले गलत तरिकाले पढ्छ र लेख्छ भने मैले के गर्नुपर्छ?

तपाईंको वेबसाइट Baidu द्वारा समावेश गरिएको छैन भनी मान्दै, तपाईंले पहिले Baidu खोज स्रोत प्लेटफर्ममा स्पाइडर क्रलिङ निदान प्रदर्शन गर्नुपर्छ।

यदि Baidu क्रलरले डायग्नोस्टिक लिङ्कहरू क्रल गर्न असफल भयो भने मैले के गर्नुपर्छ?

यदि Baidu क्रलर क्रल निदान धेरै पटक असफल भयो भने, फायरवालले क्रलर कार्यक्रम अवरुद्ध गरेको हुन सक्छ।

Baidu खोज स्रोत प्लेटफर्म > क्रल निदान > क्रल अपवाद जानकारी: सकेट पढ्ने र लेख्ने त्रुटिहरू ▼

• विशेष गरी Cloudflare CDN प्रयोग गर्दा, यो पूर्वनिर्धारित रूपमा अवरुद्ध हुन्छ।
• इन्टरनेटमा, यो आईपी ठेगाना थप्न भनिन्छ xxx.xxx.xxx.xxx/24
• तर, त्यो प्रयास सफल भएन ।

मैले सर्भरमा Baidu स्पाइडरहरू ब्लक गरेको छैन, त्यसैले समस्या Cloudflare को WAF हुनुपर्छ!

Cloudflare मा लगइन गर्नुहोस् → सुरक्षा → WAF → फायरवाल नियम → फायरवाल नियम सिर्जना गर्नुहोस्

• Cloudflare मा क्रलरहरूसँग सम्बन्धित WAF नियमहरू फेला पार्नुहोस्, र "वैध रोबोट क्रलर" को विकल्प फेला पार्नुहोस् ▼

• • फायरवाल नियमहरू सिर्जना गरेपछि, १० मिनेट पर्खनुहोस्, र त्यसपछि निदान लिनुहोस्, र ती सबै सफलतापूर्वक कब्जा गरियो!

Baidu क्रलर साइटम्याप क्रलिङ विफलता र जडान टाइमआउटमा के गलत छ?

यदि तपाईंले Baidu खोज स्रोत प्लेटफर्ममा साइटम्याप फाइलको ठेगाना पेस गर्नुभयो भने, त्यहाँ समस्याहरू हुनेछन् जस्तै क्रलिङ विफलता र जडान टाइमआउट ▼

साइटम्याप नक्सा कब्जा गर्न Baidu क्रलर को विफलता को समाधान

Cloudflare मा लगइन गर्नुहोस् → सुरक्षा → WAF → फायरवाल नियम → फायरवाल नियमहरू सिर्जना गर्नुहोस् ▼

1. फिल्ड, "प्रयोगकर्ता एजेन्ट" चयन गर्नुहोस्
2. अपरेटर, समावेश चयन गर्नुहोस्
3. नयाँ प्रयोगकर्ता एजेन्ट थप्नुहोस्, अन्तिम "वा" क्लिक गर्नुहोस्
4. मान, क्रमशः निम्न Baidu स्पाइडर UA प्रयोगकर्ता एजेन्ट प्रविष्ट गर्नुहोस्:

पूरा भएपछि, फेचिङको पुन: परीक्षण गर्नुहोस्, र परिणामले एचटीटीपी हेडर 200 फर्काउँछ, फ्याचिङ सफल भएको संकेत गर्दछ ▼

अन्य स्पाइडर र क्रलरहरूको प्रयोगकर्ता एजेन्टहरूले पनि त्यसै तरिकाले आफैलाई खोज्न सक्छन्।