آرٹیکل ڈائرکٹری
Baidu Spider تشخیصی استثنیٰ کی معلومات حاصل کرتا ہے: اگر ساکٹ غلط طریقے سے پڑھتا اور لکھتا ہے تو مجھے کیا کرنا چاہیے؟
یہ فرض کرتے ہوئے کہ آپ کی ویب سائٹ Baidu کے ذریعہ شامل نہیں کی گئی ہے، آپ کو سب سے پہلے Baidu سرچ ریسورس پلیٹ فارم پر اسپائیڈر کرالنگ کی تشخیص کرنا ہوگی۔
اگر Baidu کرالر تشخیصی لنکس کو کرال کرنے میں ناکام ہو جائے تو مجھے کیا کرنا چاہیے؟
اگر Baidu کرالر کرال کی تشخیص کئی بار ناکام ہو جاتی ہے، تو فائر وال نے کرالر پروگرام کو بلاک کر دیا ہو سکتا ہے۔
Baidu سرچ ریسورس پلیٹ فارم > کرال تشخیص > کرال استثناء کی معلومات: ساکٹ پڑھنے اور لکھنے کی غلطیاں ▼
- خاص طور پر Cloudflare CDN استعمال کرتے وقت، یہ بطور ڈیفالٹ مسدود ہوتا ہے۔
- انٹرنیٹ پر کہا جاتا ہے کہ آئی پی ایڈریس شامل کریں۔
xxx.xxx.xxx.xxx/24 - تاہم کوشش کی کہ کوئی فائدہ نہیں ہوا۔
میں نے سرور پر Baidu spiders کو بلاک نہیں کیا، لہذا مسئلہ Cloudflare کے WAF کا ہونا چاہیے!
Cloudflare میں لاگ ان کریں → سیکیورٹی → WAF → فائر وال رولز → فائر وال رول بنائیں
- Cloudflare پر کرالر سے متعلق WAF کے قواعد تلاش کریں، اور "جائز روبوٹ کرالر" کا آپشن ملا ▼
- فائر وال رولز بنانے کے بعد، 10 منٹ انتظار کریں، اور پھر تشخیص کو پکڑیں، اور ان سب کو کامیابی سے پکڑ لیا گیا!
Baidu کرالر Sitemap کے کرالنگ کی ناکامی اور کنکشن ٹائم آؤٹ میں کیا خرابی ہے؟
اگر آپ Baidu سرچ ریسورس پلیٹ فارم پر سائٹ میپ فائل کا پتہ جمع کراتے ہیں، تو رینگنے میں ناکامی اور کنکشن کا وقت ختم ہونے جیسے مسائل ہوں گے ▼
سائٹ کا نقشہ حاصل کرنے میں Baidu کرالر کی ناکامی کا حل
Cloudflare میں لاگ ان کریں → سیکیورٹی → WAF → فائر وال رولز → فائر وال رولز بنائیں ▼
- فیلڈ، "صارف ایجنٹ" کو منتخب کریں
- آپریٹر، Contains کو منتخب کریں۔
- ایک نیا صارف ایجنٹ شامل کریں، آخری "یا" پر کلک کریں
- قدر، بالترتیب درج ذیل Baidu Spider UA صارف ایجنٹ درج کریں:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
مکمل ہونے کے بعد، بازیافت کا دوبارہ ٹیسٹ کریں، اور نتیجہ HTTP ہیڈر 200 لوٹاتا ہے، جس سے ظاہر ہوتا ہے کہ بازیافت کامیاب ہے▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
دوسرے مکڑیوں اور کرالرز کے صارف ایجنٹ بھی اسی طرح اپنے آپ کو تلاش کر سکتے ہیں۔
ہوپ چن ویلیانگ بلاگ ( https://www.chenweiliang.com/ ) نے "Baidu Spider Crawl Failure Diagnosis غیر معمولی معلومات کا اشتراک کیا اگر ساکٹ پڑھنے اور لکھنے میں خرابی کے کنکشن کا وقت ختم ہو گیا تو کیا کریں"، جو آپ کے لیے مددگار ہے۔
اس مضمون کا لنک شیئر کرنے میں خوش آمدید:https://www.chenweiliang.com/cwl-29315.html