دليل المادة
يلتقط Baidu Spider معلومات استثناء التشخيص: ماذا أفعل إذا كان المقبس يقرأ ويكتب بشكل غير صحيح؟
على افتراض أن موقع الويب الخاص بك لم تتم فهرسته بواسطة Baidu ، يجب عليك أولاً إجراء تشخيص زحف العنكبوت على منصة موارد البحث Baidu.
ماذا أفعل إذا فشل برنامج Baidu crawler في الزحف إلى روابط التشخيص؟
إذا فشل تشخيص زاحف Baidu عدة مرات ، فقد يكون جدار الحماية قد منع برنامج الزاحف.
Baidu Search Resource Platform> تشخيص الزحف> معلومات استثناء الزحف: قراءة وكتابة أخطاء مأخذ التوصيل ▼
- خاصة عند استخدام Cloudflare CDN ، يتم حظره افتراضيًا.
- يُقال على الإنترنت لإضافة عنوان IP
xxx.xxx.xxx.xxx/24 - ومع ذلك ، حاولت ذلك دون جدوى.
لم أحظر عناكب Baidu على الخادم ، لذا يجب أن تكون المشكلة هي WAF لـ Cloudflare!
قم بتسجيل الدخول إلى Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rule
- ابحث عن قواعد WAF المتعلقة ببرامج الزحف على Cloudflare ، ووجد خيار "برنامج الزاحف الآلي الشرعي" ▼
- بعد إنشاء قواعد جدار الحماية ، انتظر لمدة 10 دقائق ، ثم احصل على التشخيص ، وتم التقاطها جميعًا بنجاح!
ما الخطأ في فشل الزحف لخريطة موقع زاحف بايدو وانتهاء مهلة الاتصال؟
إذا قمت بإرسال عنوان ملف Sitemap على منصة موارد البحث Baidu ، فستكون هناك مشكلات مثل فشل الزحف وانتهاء مهلة الاتصال ▼
حل لفشل برنامج تتبع ارتباطات Baidu في الاستيلاء على خريطة الموقع
تسجيل الدخول إلى Cloudflare ← الأمان ← WAF ← قواعد جدار الحماية ← إنشاء قواعد جدار الحماية ▼
- الحقل ، حدد "وكيل المستخدم"
- عامل التشغيل ، حدد يحتوي على
- أضف وكيل مستخدم جديدًا ، انقر على الزر "أو" الأخير
- القيمة ، أدخل وكيل مستخدم Baidu Spider UA التالي على التوالي:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
بعد الانتهاء ، اختبر الجلب مرة أخرى ، وستظهر النتيجة رأس HTTP 200 ، مما يشير إلى أن الجلب تم بنجاح ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
يمكن أيضًا لوكلاء المستخدم للعناكب والزواحف الأخرى البحث عن أنفسهم بنفس الطريقة.
مدونة Hope Chen Weiliang ( https://www.chenweiliang.com/ ) شارك "Baidu Spider Crawl Failure Diagnosis معلومات غير طبيعية ماذا تفعل إذا انتهت مهلة قراءة المقبس وكتابة خطأ الاتصال" ، وهو أمر مفيد لك.
مرحبا بكم في مشاركة رابط هذه المقالة:https://www.chenweiliang.com/cwl-29315.html
مرحبًا بك في قناة Telegram الخاصة بمدونة Chen Weiliang للحصول على آخر التحديثات!
📚 يحتوي هذا الدليل على قيمة كبيرة، 🌟هذه فرصة نادرة، لا تفوتها! ⏰⌛💨
شارك و اعجبك اذا اردت
مشاركتك وإعجاباتك هي دافعنا المستمر!