Հոդվածների տեղեկատու
Baidu Spider-ը ֆիքսում է ախտորոշիչ բացառության տեղեկատվությունը. ի՞նչ պետք է անեմ, եթե վարդակից սխալ կարդում և գրում են:
Ենթադրելով, որ ձեր կայքը ներառված չէ Baidu-ի կողմից, դուք նախ պետք է կատարեք սարդերի սողացող ախտորոշում Baidu որոնման ռեսուրսների հարթակում:
Ի՞նչ պետք է անեմ, եթե Baidu սողունը չի կարողանում սողալ ախտորոշիչ հղումները:
Եթե Baidu սողացող սողացող ախտորոշումը մի քանի անգամ ձախողվի, ապա firewall-ը կարող է արգելափակել սողացող ծրագիրը:
Baidu Search Resource Platform > Crawl Diagnosis > Crawl Exception Information: Socket կարդալու և գրելու սխալներ ▼
- Հատկապես Cloudflare CDN-ն օգտագործելիս այն արգելափակված է լռելյայն:
- Համացանցում ասվում է IP հասցեն ավելացնելու մասին
xxx.xxx.xxx.xxx/24 - Այնուամենայնիվ, փորձեց դա անօգուտ:
Ես չեմ արգելափակել Baidu սարդերը սերվերի վրա, ուստի խնդիրը պետք է լինի Cloudflare-ի WAF-ը:
Մուտք գործեք Cloudflare → Անվտանգություն → WAF → Firewall կանոններ → Ստեղծեք Firewall կանոն
- Գտեք Cloudflare-ում սողացողների հետ կապված WAF կանոնները և գտա «օրինական ռոբոտի սողուն» ▼
- Firewall-ի կանոնները ստեղծելուց հետո սպասեք 10 րոպե, այնուհետև վերցրեք ախտորոշումը, և բոլորը հաջողությամբ գրավվեցին:
Ի՞նչն է սխալ Baidu թրթռիչի Կայքի քարտեզի սողացող ձախողման և կապի ժամանակի ավարտի հետ:
Եթե դուք ներկայացնեք Կայքի քարտեզի ֆայլի հասցեն Baidu-ի որոնման ռեսուրսների հարթակում, կլինեն խնդիրներ, ինչպիսիք են սողալը ձախողվելը և կապի ժամկետը ▼
Baidu սողունի ձախողման լուծումը Կայքի քարտեզը գրավելու համար
Մուտք գործեք Cloudflare → Անվտանգություն → WAF → Firewall կանոններ → Ստեղծեք Firewall կանոններ ▼
- դաշտում ընտրեք «Օգտվողի գործակալ»
- օպերատոր, ընտրեք Պարունակում է
- Ավելացնել նոր օգտվողի գործակալ, սեղմեք վերջին «Կամ»
- Արժեքը, համապատասխանաբար մուտքագրեք հետևյալ Baidu Spider UA օգտվողի գործակալը.
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Ավարտից հետո նորից փորձարկեք բեռնումը, և արդյունքը վերադարձնում է HTTP վերնագիր 200՝ ցույց տալով, որ առբերումը հաջող է ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Այլ սարդերի և սողունների օգտագործող գործակալները նույնպես կարող են նույն կերպ որոնել իրենց:
Հույս Chen Weiliang բլոգ ( https://www.chenweiliang.com/ ) կիսվել է «Baidu Spider Crawl Failure Diagnosis Normal Information Ինչ անել, եթե Socket Read and Write Error Connection-ը սպառվել է», որն օգտակար է ձեզ համար:
Բարի գալուստ՝ կիսելու այս հոդվածի հղումը.https://www.chenweiliang.com/cwl-29315.html