مقالې لارښود
Baidu Spider د تشخیص استثنایی معلومات نیسي: زه باید څه وکړم که ساکټ په غلط ډول لوستل او لیکي؟
فرض کړئ چې ستاسو ویب پاڼه د Baidu لخوا نه ده شامله شوې، تاسو باید لومړی د Baidu لټون سرچینې پلیټ فارم کې د سپیډر کرینګ تشخیص ترسره کړئ.
زه باید څه وکړم که د Baidu کرالر د تشخیصي لینکونو کرال کولو کې پاتې راشي؟
که چیرې د Baidu کرالر کرال تشخیص څو ځله ناکام شي، نو فایروال ممکن د کرالر پروګرام بند کړی وي.
د Baidu د لټون سرچینې پلیټ فارم > د ځړولو تشخیص > د ځړولو تېروتنه معلومات: د ساکټ لوستلو/لیکلو تېروتنه ▼
- په ځانګړې توګه کارولCloudflare کله چې CDN کاروئ، دا په ډیفالټ ډول بند شوی وي.
- په انټرنیټ کې، ویل کیږي چې د IP پته اضافه کړئ
xxx.xxx.xxx.xxx/24 - په هرصورت، هڅه یې وکړه چې هیڅ ګټه ونه کړي.
ما په سرور کې Baidu spiders بند نه کړل، نو ستونزه باید د Cloudflare WAF وي!
Cloudflare ته ننوتل → امنیت → WAF → د فایروال قواعد → د فایروال اصول جوړ کړئ
- په Cloudflare کې د کرالرونو پورې اړوند د WAF قواعد ومومئ، او د "مشروع روبوټ کرالر" اختیار ومومئ ▼
- د فایر وال قواعد رامینځته کولو وروسته ، د 10 دقیقو لپاره انتظار وکړئ ، او بیا تشخیص ونیسئ ، او دا ټول په بریالیتوب سره نیول شوي!
د Baidu کرالر Sitemap کرول کولو ناکامۍ او د ارتباط وخت پای ته رسیدو کې څه ستونزه ده؟
که تاسو د Baidu لټون سرچینې پلیټ فارم کې د سایټ میپ فایل پته وسپارئ، نو ستونزې به وي لکه د کرال کولو ناکامي او د پیوستون وخت پای ▼
د Sitemap نقشه غصب کولو لپاره د Baidu کرالر د ناکامۍ حل
Cloudflare ته ننوتل → امنیت → WAF → د فایروال قواعد → د فایروال قواعد جوړ کړئ ▼
- په ساحه کې، "د کاروونکي ایجنټ" غوره کړئ
- آپریټر، شامل انتخاب کړئ
- یو نوی کارن ایجنټ اضافه کړئ، وروستی "یا" کلیک وکړئ
- ارزښت، په ترتیب سره لاندې Baidu Spider UA کارن اجنټ داخل کړئ:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
د بشپړیدو وروسته، د بیرته راوړلو ازموینه وکړئ، او پایله د HTTP سرلیک 200 بیرته راولي، دا په ګوته کوي چې راوړل بریالي دي▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
د نورو سپیډرونو او کرالرونو کارونکي اجنټان هم کولی شي په ورته ډول خپل ځان وپلټي.
هیله ده، د چن ویلیانګ په بلاګ ( https://www.chenweiliang.com/ ) کې شریک شوی مقاله "د ساکټ لوستلو/لیکلو غلطیو او د پیوستون وخت پای ته رسیدو سره څنګه معامله وکړو" به ستاسو لپاره ګټوره وي.
د دې مقالې لینک شریکولو لپاره وړیا احساس وکړئ: https://www.chenweiliang.com/cwl-29315.html