Article Directory
Baidu Spider диагностикалык өзгөчөлүктөр жөнүндө маалыматты алат: розетка туура эмес окуп жана жазса, мен эмне кылышым керек?
Сиздин веб-сайтыңыз Baidu тарабынан камтылган эмес деп ойлосоңуз, сиз алгач Baidu издөө ресурстук платформасында жөргөмүш сойлоп диагнозун жасашыңыз керек.
Baidu жөрмөлөгөгү диагностикалык шилтемелерди кыдыра албаса, эмне кылышым керек?
Эгер Baidu жөрмөлөгүч сөрмөлөө диагностикасы бир нече жолу ишке ашпай калса, брандмауэр жөрмөлөгүч программасын бөгөттөгөн болушу мүмкүн.
Baidu Search Resource Platform > Crawl Diagnosis > Crawl Exception Information: Сокет окуу жана жазуу каталары ▼
- Айрыкча Cloudflare CDN колдонуп жатканда, ал демейки боюнча бөгөттөлгөн.
- Интернетте IP дарегин кошуу керек деп айтылат
xxx.xxx.xxx.xxx/24 - Бирок, аракет кылгандан майнап чыккан жок.
Мен серверде Baidu жөргөмүштөрүн бөгөттөп койгон жокмун, андыктан көйгөй Cloudflare'дин WAF болушу керек!
Cloudflare кирүү → Коопсуздук → WAF → Firewall эрежелери → Firewall эрежесин түзүү
- Cloudflareде жөрмөлөгүчтөр менен байланышкан WAF эрежелерин табыңыз жана "мыйзамдуу робот жөрмөлөгүч" опциясын табыңыз ▼
- Firewall эрежелерин түзгөндөн кийин, 10 мүнөт күтө туруңуз, андан кийин диагнозду кармаңыз жана алардын баары ийгиликтүү тартылды!
Baidu жөрмөлөгүчүнүн Сайт картасынын жөрмөлөбөй калышына жана туташуу күтүлбөй калышына эмне себеп болду?
Эгер сиз Baidu издөө ресурстук платформасында Сайттын картасы файлынын дарегин тапшырсаңыз, сойлоп чыгуу катасы жана туташуу күтүү убакыты сыяктуу көйгөйлөр пайда болот ▼
Baidu жөрмөлөгүчүнүн Сайттын картасын кармай албаган чечими
Cloudflareге кириңиз → Коопсуздук → WAF → Firewall эрежелери → Firewall эрежелерин түзүү ▼
- талаада "Колдонуучу агентти" тандаңыз
- операторду тандаңыз
- Жаңы колдонуучу агентти кошуп, акыркы "Же" баскычын чыкылдатыңыз
- Маани, тиешелүүлүгүнө жараша төмөнкү Baidu Spider UA колдонуучу агентин киргизиңиз:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Аяктагандан кийин, алып келүүнү кайра сынап көрүңүз, натыйжада HTTP баш 200 кайтарылып, алуу ийгиликтүү болгонун көрсөтөт▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Башка жөргөмүштөрдүн жана жөрмөлөгүчтөрдүн колдонуучу агенттери да ушундай жол менен өздөрүн издей алышат.
Hope Chen Weiliang блогу ( https://www.chenweiliang.com/ ) сиз үчүн пайдалуу болгон "Baidu Spider Crawl Failure Diagnosis Nonorm Information" бөлүштү.
Бул макаланын шилтемесин бөлүшүүгө кош келиңиз:https://www.chenweiliang.com/cwl-29315.html