Adresár článkov
Baidu Spider prehľadáva a diagnostikuje abnormálne informácie: Čo mám robiť, ak je soket čítaný alebo zapisovaný?
Za predpokladu, že vaša webová lokalita nebola indexovaná službou Baidu, musíte najprv vykonať diagnostiku prehľadávania pavúkov na platforme zdrojov vyhľadávania Baidu.
Čo mám robiť, ak prehľadávač Baidu nedokáže prehľadať diagnostický odkaz?
Ak prehľadávač Baidu niekoľkokrát zlyhá pri prehľadávaní a diagnostike, mohla ho zablokovať brána firewall.
Platforma zdrojov vyhľadávania Baidu > Diagnostika indexového prehľadávania > Abnormálne informácie indexového prehľadávania: chyba čítania/zápisu zásuvky ▼
- Najmä pri používaní Cloudflare CDN, ktorý je štandardne zablokovaný.
- Na internete sa hovorí o pridaní IP adresy
xxx.xxx.xxx.xxx/24 - Pokúsil sa však bezvýsledne.
Neblokujem pavúky Baidu na serveri, takže problémom by mal byť WAF Cloudflare!
Prihláste sa do Cloudflare → Zabezpečenie → WAF → Pravidlá brány firewall → Vytvoriť pravidlo brány firewall
- Hľadali ste pravidlá WAF súvisiace s prehľadávačom na Cloudflare a našli ste možnosť „Legal Robot Crawler“ ▼
- Po vytvorení pravidiel brány firewall počkajte 10 minút a potom vezmite diagnózu a všetky sú úspešne zachytené!
Prehľadávač Baidu Sitemap zlyhal, vypršal časový limit pripojenia?
Ak je adresa súboru sitemap odoslaná na platforme zdrojov vyhľadávania Baidu, vyskytnú sa problémy so zlyhaním indexového prehľadávania a časovým limitom pripojenia ▼
Indexovému prehľadávaču Baidu sa nepodarilo prehľadať riešenie mapy webu
Prihláste sa do Cloudflare → Zabezpečenie → WAF → Pravidlá brány firewall → Vytvoriť pravidlá brány firewall ▼
- vyberte User-Agent
- operátor, vyberte "obsahuje"
- Pridajte nového používateľského agenta a na konci kliknite na „Alebo“.
- hodnotu, zadajte nasledujúci používateľský agent Baidu Spider UA:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Po dokončení otestujte a načítajte znova a výsledok vráti hlavičku HTTP 200, čo znamená, že načítanie bolo úspešné▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Rovnakým spôsobom sa môžu vyhľadávať aj používateľskí agenti iných pavúkov a prehľadávačov.
Blog Hope Chen Weiliang ( https://www.chenweiliang.com/ ) zdieľané „Zlyhanie prehľadávania pavúka Baidu pri diagnostike chýb čítania a zápisu abnormálnych informácií soketu, čo robiť s časovým limitom pripojenia“, čo je pre vás užitočné.
Vitajte pri zdieľaní odkazu na tento článok:https://www.chenweiliang.com/cwl-29315.html