Нийтлэлийн лавлах
Baidu Spider оношилгооны үл хамаарах мэдээллийг авдаг: Хэрэв залгуур буруу уншиж, бичиж байвал би яах ёстой вэ?
Таны вэбсайтыг Baidu-д оруулаагүй гэж үзвэл та эхлээд Baidu хайлтын нөөцийн платформ дээр аалз мөлхөж буй оношийг хийх ёстой.
Baidu мөлхөгч оношлогооны холбоосыг мөлхөж чадахгүй бол би яах ёстой вэ?
Хэрэв Baidu мөлхөгч мөлхөгч оношилгоо хэд хэдэн удаа амжилтгүй болвол галт хана нь мөлхөгч програмыг хаасан байж болзошгүй.
Baidu Хайлтын нөөцийн платформ > Мөлхөгч оношилгоо > Мөлхөгч үл хамаарах мэдээлэл: Сокет унших, бичих алдаа ▼
- Ялангуяа Cloudflare CDN ашиглах үед энэ нь анхдагчаар хаагдсан байдаг.
- Интернэт дээр IP хаягийг нэмнэ гэж ярьдаг
xxx.xxx.xxx.xxx/24 - Гэсэн хэдий ч үүнийг оролдсон ч үр дүнд хүрсэнгүй.
Би сервер дээр Baidu аалзыг хаагаагүй тул асуудал нь Cloudflare-ийн WAF байх ёстой!
Cloudflare руу нэвтрэх → Аюулгүй байдал → WAF → Галт ханын дүрэм → Галт ханын дүрэм үүсгэх
- Cloudflare дээр мөлхөгчтэй холбоотой WAF дүрмийг олж, "хууль ёсны робот мөлхөгч" гэсэн сонголтыг олоорой ▼
- Галт ханын дүрмийг үүсгэсний дараа 10 минут хүлээгээд оношийг нь аваад бүгдийг нь амжилттай барьж авлаа!
Baidu crawler Sitemap-ийн мөлхөгч болон холболтын завсарлагад юу буруу байна вэ?
Хэрэв та Baidu хайлтын нөөцийн платформ дээр Сайтын газрын зургийн файлын хаягийг оруулбал мөлхөж чадахгүй, холболтын завсарлага зэрэг асуудал гарна ▼
Baidu мөлхөгч нь Сайтын газрын зургийн газрын зургийг барьж чадаагүйн шийдэл
Cloudflare руу нэвтрэх → Аюулгүй байдал → WAF → Галт ханын дүрэм → Галт ханын дүрэм үүсгэх ▼
- талбарт "Хэрэглэгчийн агент"-ийг сонгоно уу.
- оператор, Contains-г сонгоно уу
- Шинэ хэрэглэгчийн агент нэмж, сүүлчийн "Эсвэл" дээр дарна уу.
- Дараах Baidu Spider UA хэрэглэгчийн агентийг тус тус оруулна уу:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Дууссаны дараа татан авалтыг дахин туршиж үзэх ба үр дүн нь HTTP толгой 200-г буцаана, энэ нь татаж авах ажиллагаа амжилттай болсныг илтгэнэ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Бусад аалз, мөлхөгчдийн хэрэглэгчийн агентууд мөн адил аргаар өөрсдийгөө хайж болно.
Hope Chen Weiliang блог ( https://www.chenweiliang.com/ ) shared "Baidu Spider Crawl Failure Diagnosis Nonormal information Socket Унших бичих алдааны холболтын хугацаа дууссан бол яах вэ" энэ нь танд тустай.
Энэ нийтлэлийн холбоосыг хуваалцахад тавтай морилно уу:https://www.chenweiliang.com/cwl-29315.html