فهرست مقاله
Baidu Spider اطلاعات استثنای تشخیصی را می گیرد: اگر سوکت اشتباه می خواند و می نویسد چه کاری باید انجام دهم؟
با فرض اینکه وب سایت شما توسط بایدو گنجانده نشده است، ابتدا باید تشخیص خزیدن عنکبوت را در پلت فرم منابع جستجوی بایدو انجام دهید.
اگر خزنده Baidu نتواند پیوندهای تشخیصی را بخزد، چه کاری باید انجام دهم؟
اگر تشخیص خزنده خزنده Baidu چندین بار ناموفق باشد، فایروال ممکن است برنامه خزنده را مسدود کرده باشد.
پلتفرم منابع جستجوی Baidu > تشخیص خزش > اطلاعات خطای خزش: خطای خواندن/نوشتن سوکت ▼
- مخصوصا با استفاده ازCloudFlare را هنگام استفاده از CDN، به طور پیشفرض مسدود میشود.
- در اینترنت گفته می شود آدرس IP را اضافه کنید
xxx.xxx.xxx.xxx/24 - با این حال، سعی کردم که فایده ای نداشت.
من عنکبوت های Baidu را روی سرور مسدود نکردم، بنابراین مشکل باید از WAF Cloudflare باشد!
ورود به Cloudflare → امنیت → WAF → قوانین فایروال → ایجاد قانون فایروال
- قوانین WAF مربوط به خزنده ها را در Cloudflare پیدا کنید و گزینه "ربات خزنده قانونی" را پیدا کنید ▼
- پس از ایجاد قوانین فایروال، 10 دقیقه صبر کنید و سپس تشخیص را بگیرید و همه آنها با موفقیت ضبط شدند!
چه اشکالی دارد که خزنده Baidu خزیدن نقشه سایت و مهلت زمانی اتصال را متوقف کند؟
اگر آدرس فایل نقشه سایت را در پلت فرم منبع جستجوی Baidu ارسال کنید، مشکلاتی مانند خرابی خزیدن و زمان اتصال ▼ وجود خواهد داشت.
راه حل شکست خزنده Baidu در گرفتن نقشه سایت
ورود به Cloudflare → امنیت → WAF → قوانین فایروال → ایجاد قوانین فایروال ▼
- فیلد، "عامل کاربر" را انتخاب کنید
- اپراتور، Contains را انتخاب کنید
- یک عامل کاربری جدید اضافه کنید، روی آخرین "یا" کلیک کنید
- مقدار، به ترتیب عامل کاربری Baidu Spider UA زیر را وارد کنید:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
پس از اتمام، دوباره واکشی را آزمایش کنید و نتیجه HTTP هدر 200 را برمیگرداند که نشان میدهد واکشی با موفقیت انجام شده است ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
عوامل کاربر سایر عنکبوت ها و خزنده ها نیز می توانند خود را به همین روش جستجو کنند.
امیدوارم مقاله "چگونه با خطاهای خواندن/نوشتن سوکت و زمانهای قطع اتصال مقابله کنیم" که در وبلاگ چن ویلیانگ ( https://www.chenweiliang.com/ ) به اشتراک گذاشته شده است، برای شما مفید باشد.
لینک این مقاله را به اشتراک بگذارید: https://www.chenweiliang.com/cwl-29315.html