فهرست مقاله
Baidu Spider اطلاعات استثنای تشخیصی را می گیرد: اگر سوکت اشتباه می خواند و می نویسد چه کاری باید انجام دهم؟
با فرض اینکه وب سایت شما توسط بایدو گنجانده نشده است، ابتدا باید تشخیص خزیدن عنکبوت را در پلت فرم منابع جستجوی بایدو انجام دهید.
اگر خزنده Baidu نتواند پیوندهای تشخیصی را بخزد، چه کاری باید انجام دهم؟
اگر تشخیص خزنده خزنده Baidu چندین بار ناموفق باشد، فایروال ممکن است برنامه خزنده را مسدود کرده باشد.
پلت فرم منبع جستجوی بایدو > تشخیص خزیدن > اطلاعات استثنای خزیدن: سوکت خطاهای خواندن و نوشتن ▼
- به خصوص هنگام استفاده از Cloudflare CDN، به طور پیش فرض مسدود شده است.
- در اینترنت گفته می شود آدرس IP را اضافه کنید
xxx.xxx.xxx.xxx/24 - با این حال، سعی کردم که فایده ای نداشت.
من عنکبوت های Baidu را روی سرور مسدود نکردم، بنابراین مشکل باید از WAF Cloudflare باشد!
ورود به Cloudflare → امنیت → WAF → قوانین فایروال → ایجاد قانون فایروال
- قوانین WAF مربوط به خزنده ها را در Cloudflare پیدا کنید و گزینه "ربات خزنده قانونی" را پیدا کنید ▼
- پس از ایجاد قوانین فایروال، 10 دقیقه صبر کنید و سپس تشخیص را بگیرید و همه آنها با موفقیت ضبط شدند!
چه اشکالی دارد که خزنده Baidu خزیدن نقشه سایت و مهلت زمانی اتصال را متوقف کند؟
اگر آدرس فایل نقشه سایت را در پلت فرم منبع جستجوی Baidu ارسال کنید، مشکلاتی مانند خرابی خزیدن و زمان اتصال ▼ وجود خواهد داشت.
راه حل شکست خزنده Baidu در گرفتن نقشه سایت
ورود به Cloudflare → امنیت → WAF → قوانین فایروال → ایجاد قوانین فایروال ▼
- فیلد، "عامل کاربر" را انتخاب کنید
- اپراتور، Contains را انتخاب کنید
- یک عامل کاربری جدید اضافه کنید، روی آخرین "یا" کلیک کنید
- مقدار، به ترتیب عامل کاربری Baidu Spider UA زیر را وارد کنید:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
پس از اتمام، دوباره واکشی را آزمایش کنید و نتیجه HTTP هدر 200 را برمی‌گرداند که نشان می‌دهد واکشی با موفقیت انجام شده است ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
عوامل کاربر سایر عنکبوت ها و خزنده ها نیز می توانند خود را به همین روش جستجو کنند.
وبلاگ امید چن ویلیانگ ( https://www.chenweiliang.com/ ) "اطلاعات غیرعادی تشخیص خرابی Baidu Spider Crawl Failure Diagnosis چه باید کرد اگر زمان اتصال خطای خواندن و نوشتن سوکت به پایان رسید" را به اشتراک گذاشت که برای شما مفید است.
به اشتراک گذاری لینک این مقاله خوش آمدید:https://www.chenweiliang.com/cwl-29315.html
به کانال تلگرام وبلاگ چن ویلیانگ خوش آمدید تا از آخرین به روز رسانی ها مطلع شوید!
📚 این راهنما حاوی ارزش بسیار زیادی است، 🌟این یک فرصت نادر است، آن را از دست ندهید! ⏰⌛💨
اگر دوست داشتید به اشتراک بگذارید و لایک کنید
اشتراک گذاری و لایک های شما انگیزه مستمر ما هستند!