Baidu مکڑی رینگنے میں ناکامی کی تشخیص غیر معمولی معلومات ساکٹ پڑھنے اور لکھنے میں خرابی کنکشن کا وقت ختم کیا کرنا ہے

Baidu Spider تشخیصی استثنیٰ کی معلومات حاصل کرتا ہے: اگر ساکٹ غلط طریقے سے پڑھتا اور لکھتا ہے تو مجھے کیا کرنا چاہیے؟

یہ فرض کرتے ہوئے کہ آپ کی ویب سائٹ Baidu کے ذریعہ شامل نہیں کی گئی ہے، آپ کو سب سے پہلے Baidu سرچ ریسورس پلیٹ فارم پر اسپائیڈر کرالنگ کی تشخیص کرنا ہوگی۔

اگر Baidu کرالر تشخیصی لنکس کو کرال کرنے میں ناکام ہو جائے تو مجھے کیا کرنا چاہیے؟

اگر Baidu کرالر کرال کی تشخیص کئی بار ناکام ہو جاتی ہے، تو فائر وال نے کرالر پروگرام کو بلاک کر دیا ہو سکتا ہے۔

Baidu سرچ ریسورس پلیٹ فارم > کرالنگ ڈائیگنسٹکس > کرولنگ ایرر کی معلومات: ساکٹ پڑھنے/لکھنے میں خرابی ▼

Baidu مکڑی کے رینگنے میں ناکامی کی تشخیص استثنائی معلومات ساکٹ پڑھنے اور لکھنے کی غلطیوں کو حل کریں کنکشن کا وقت ختم

  • خاص طور پر استعمال کرتے ہوئےCloudFlare کے CDN استعمال کرتے وقت، یہ بطور ڈیفالٹ بلاک ہوتا ہے۔
  • انٹرنیٹ پر کہا جاتا ہے کہ آئی پی ایڈریس شامل کریں۔ xxx.xxx.xxx.xxx/24
  • تاہم کوشش کی کہ کوئی فائدہ نہیں ہوا۔

میں نے سرور پر Baidu spiders کو بلاک نہیں کیا، لہذا مسئلہ Cloudflare کے WAF کا ہونا چاہیے!

Cloudflare میں لاگ ان کریں → سیکیورٹی → WAF → فائر وال رولز → فائر وال رول بنائیں

  • Cloudflare پر کرالر سے متعلق WAF کے قواعد تلاش کریں، اور "جائز روبوٹ کرالر" کا آپشن ملا ▼

Cloudflare → سیکیورٹی → WAF → فائر وال رولز → فائر وال رول بنائیں میں لاگ ان کریں۔ Cloudflare پر ویب کرالر سے متعلق WAF قوانین کی تلاش میں، مجھے "Legitimate Web Crawler" کا اختیار ملا۔

    • فائر وال رولز بنانے کے بعد، 10 منٹ انتظار کریں، اور پھر تشخیص کو پکڑیں، اور ان سب کو کامیابی سے پکڑ لیا گیا!

Baidu کرالر Sitemap کے کرالنگ کی ناکامی اور کنکشن ٹائم آؤٹ میں کیا خرابی ہے؟

اگر آپ Baidu سرچ ریسورس پلیٹ فارم پر سائٹ میپ فائل کا پتہ جمع کراتے ہیں، تو رینگنے میں ناکامی اور کنکشن کا وقت ختم ہونے جیسے مسائل ہوں گے ▼

Baidu کرالر Sitemap کے کرالنگ کی ناکامی اور کنکشن ٹائم آؤٹ میں کیا خرابی ہے؟

سائٹ کا نقشہ حاصل کرنے میں Baidu کرالر کی ناکامی کا حل

Cloudflare میں لاگ ان کریں → سیکیورٹی → WAF → فائر وال رولز → فائر وال رولز بنائیں ▼

Baidu Spider Crawling Failure Diagnosis ایرر ساکٹ پڑھنے/لکھنے میں خرابی کنکشن کا ٹائم آؤٹ: کیا کرنا ہے؟ - چن ویلیانگ بلاگ_نیٹ ورک مارکیٹنگ پلاننگ_کراس بارڈر ای کامرس آپریشن ویب سائٹ پروموشن ٹیوٹوریل

  1. فیلڈ، "صارف ایجنٹ" کو منتخب کریں
  2. آپریٹر، Contains کو منتخب کریں۔
  3. ایک نیا صارف ایجنٹ شامل کریں، آخری "یا" پر کلک کریں
  4. قدر، بالترتیب درج ذیل Baidu Spider UA صارف ایجنٹ درج کریں:
    • Baiduspider/2.0
    • Baiduspider-image
    • Baiduspider-render/2.0
    • http://www.baidu.com/search/spider.html
    • Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
    • Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

    مکمل ہونے کے بعد، بازیافت کا دوبارہ ٹیسٹ کریں، اور نتیجہ HTTP ہیڈر 200 لوٹاتا ہے، جس سے ظاہر ہوتا ہے کہ بازیافت کامیاب ہے▼

    • 抓取诊断 > 抓取详情
      以下是百度Spider抓取结果及页面信息:
    • 提交网址: https://www.etufo.org/sitemap_baidu.xml
    • 抓取网址: https://www.etufo.org/sitemap_baidu.xml
    • 抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0;
    • +http://www.baidu.com/search/spider.html)
    • 抓取时间: 2022-11-11 19:03:44
    • 网站IP: 172.***.***.149
    • 下载时长: 0.868秒
    • 返回HTTP头:HTTP/2 200

    دوسرے مکڑیوں اور کرالرز کے صارف ایجنٹ بھی اسی طرح اپنے آپ کو تلاش کر سکتے ہیں۔

    امید ہے کہ مضمون "ساکٹ پڑھنے/لکھنے کی غلطیوں اور کنکشن ٹائم آؤٹ سے کیسے نمٹا جائے" چن ویلیانگ کے بلاگ ( https://www.chenweiliang.com/ ) پر شیئر کیا گیا آپ کے لیے مددگار ثابت ہوگا۔

    اس مضمون کا لنک بلا جھجھک شیئر کریں: https://www.chenweiliang.com/cwl-29315.html

    مزید پوشیدہ چالوں کو کھولنے کے لیے، ہمارے ٹیلیگرام چینل میں شامل ہونے میں خوش آمدید!

    پسند آئے تو شیئر اور لائک کریں! آپ کے شیئرز اور لائکس ہماری مسلسل حوصلہ افزائی ہیں!

     

    评论 评论

    您的邮箱地址不会被公开。必填项已用*标注

    میں سکرال اوپر