آرٽيڪل ڊاريڪٽري
Baidu Spider تشخيصي استثنا جي معلومات کي پڪڙي ٿو: مون کي ڇا ڪرڻ گهرجي جيڪڏهن ساکٽ غلط پڙهي ۽ لکي؟
فرض ڪيو ته توهان جي ويب سائيٽ Baidu پاران شامل نه ڪئي وئي آهي، توهان کي پهرين Baidu سرچ ريسورس پليٽ فارم تي اسپائڊر ڪرلنگ جي تشخيص ڪرڻ گهرجي.
مون کي ڇا ڪرڻ گهرجي جيڪڏهن Baidu ڪريلر تشخيصي لنڪس ڪريل ڪرڻ ۾ ناڪام ٿئي؟
جيڪڏهن Baidu ڪريلر ڪريال جي تشخيص ڪيترائي ڀيرا ناڪام ٿئي ٿي، فائر وال شايد ڪريلر پروگرام کي بلاڪ ڪيو هجي.
Baidu سرچ ريسورس پليٽ فارم > ڪريل تشخيص > ڪريل استثنا ڄاڻ: ساکٽ پڙهڻ ۽ لکڻ ۾ غلطيون ▼
- خاص طور تي جڏهن Cloudflare CDN استعمال ڪندي، اهو ڊفالٽ طرفان بلاڪ ڪيو ويو آهي.
- انٽرنيٽ تي، IP پتي کي شامل ڪرڻ لاء چيو ويندو آهي
xxx.xxx.xxx.xxx/24 - بهرحال، اها ڪوشش ڪئي وئي ته ڪو فائدو نه ٿيو.
مون سرور تي Baidu Spiders کي بلاڪ نه ڪيو، تنهنڪري مسئلو Cloudflare جي WAF هجڻ گهرجي!
Cloudflare ۾ لاگ ان ڪريو → سيڪيورٽي → WAF → فائر وال قاعدا → فائر وال قاعدو ٺاهيو
- Cloudflare تي ڪريلر سان لاڳاپيل WAF ضابطا ڳولھيو، ۽ "جائز روبوٽ ڪريلر" جو اختيار مليو ▼
- فائر وال جي ضابطن کي ٺاهڻ کان پوء، 10 منٽن لاء انتظار ڪريو، ۽ پوء تشخيص کي پڪڙيو، ۽ انهن سڀني کي ڪاميابي سان پڪڙيو ويو!
Baidu ڪريلر Sitemap جي ڪريلنگ ناڪامي ۽ ڪنيڪشن ٽائم آئوٽ سان ڇا مسئلو آهي؟
جيڪڏهن توهان Baidu سرچ ريسورس پليٽ فارم تي سائيٽ ميپ فائل جي ايڊريس جمع ڪرايو، اتي مسئلا پيدا ٿيندا جهڙوڪ ڪرلنگ ناڪامي ۽ ڪنيڪشن ٽائم آئوٽ ▼
Baidu ڪريلر جي ناڪامي جو حل Sitemap نقشي تي قبضو ڪرڻ لاء
لاگ ان ڪريو Cloudflare → سيڪيورٽي → WAF → فائر وال قاعدا → Create Firewall Rules ▼
- فيلڊ، چونڊيو "يوزر ايجنٽ"
- آپريٽر، چونڊيو Contains
- نئون يوزر ايجنٽ شامل ڪريو، آخري ڪلڪ ڪريو "يا"
- قدر، ترتيب وار ھيٺ ڏنل Baidu Spider UA يوزر ايجنٽ داخل ڪريو:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
مڪمل ٿيڻ کان پوء، ٻيهر آڻڻ جي جانچ ڪريو، ۽ نتيجو HTTP هيڊر 200 موٽائي ٿو، ظاهر ڪري ٿو ته آڻڻ ڪامياب آهي▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
ٻين مکين ۽ ڪرالرز جا استعمال ڪندڙ ايجنٽ به ساڳيءَ طرح پاڻ کي ڳولي سگهن ٿا.
اميد چن ويلانگ بلاگ ( https://www.chenweiliang.com/ "Baidu Spider Crawl Failure Diagnosis Abnormal Information ڇا ڪجي جيڪڏهن ساکٽ پڙهڻ ۽ لکڻ جي غلطي ڪنيڪشن جو وقت ختم ٿي ويو"، جيڪو توهان لاءِ مددگار آهي.
هن آرٽيڪل جي لنڪ کي حصيداري ڪرڻ لاء ڀليڪار:https://www.chenweiliang.com/cwl-29315.html
تازن تازه ڪاريون حاصل ڪرڻ لاءِ Chen Weiliang جي بلاگ جي ٽيليگرام چينل تي ڀليڪار!
📚 هي گائيڊ وڏي قيمت تي مشتمل آهي، 🌟 هي هڪ نادر موقعو آهي، ان کي نه وڃايو! ⏰⌛💨
پسند اچي ته شيئر ڪريو ۽ پسند ڪريو!
توهان جي حصيداري ۽ پسند اسان جي مسلسل حوصلا آهن!