Artikulo Direktoryo
Ang Baidu Spider nagkamang ug nag-diagnose sa abnormal nga impormasyon: Unsa ang akong buhaton kung ang socket gibasa o gisulat?
Sa paghuna-huna nga ang imong website wala ma-index sa Baidu, kinahanglan una nimo nga maghimo ug spider crawling diagnosis sa Baidu search resource platform.
Unsa ang akong buhaton kung ang Baidu crawler mapakyas sa pag-crawl sa diagnostic link?
Kung ang Baidu crawler mapakyas sa pag-crawl ug pag-diagnose sa makadaghang higayon, ang firewall mahimong nakababag sa crawler.
Baidu Search Resource Platform > Crawl Diagnosis > Crawl Abnormal nga Impormasyon: sayop sa pagbasa/pagsulat sa socket ▼
- Ilabi na kung gigamit ang Cloudflare CDN, nga gibabagan sa default.
- Sa Internet, adunay mga pakigpulong sa pagdugang sa usa ka IP address
xxx.xxx.xxx.xxx/24 - Apan, misulay sa walay kapuslanan.
Wala nako gibabagan ang mga kaka sa Baidu sa server, busa ang problema kinahanglan nga WAF sa Cloudflare!
Sign in sa Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rule
- Gipangita ang mga lagda sa WAF nga may kalabotan sa crawler sa Cloudflare ug nakit-an ang kapilian nga "Legal nga Robot Crawler" ▼
- Pagkahuman sa paghimo sa mga lagda sa firewall, paghulat sa 10 ka minuto, ug dayon kuhaa ang diagnosis, ug silang tanan malampuson nga nakuha!
Ang Baidu crawler Sitemap napakyas sa pag-crawl, na-time out ang koneksyon?
Kung ang adres sa file sa sitemap gisumite sa platform sa kapanguhaan sa pagpangita sa Baidu, adunay mga problema sa kapakyasan sa pag-crawl ug oras sa koneksyon ▼
Ang Baidu crawler napakyas sa pag-crawl sa solusyon sa mapa sa Sitemap
Sign in sa Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rules ▼
- field, pilia ang User-Agent
- operator, pilia ang "naglangkob"
- Pagdugang bag-ong ahente sa tiggamit, i-klik ang "O" sa katapusan
- bili, isulod ang mosunod nga Baidu Spider UA user agent matag usa:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Human makompleto, sulayi ug kuhaa pag-usab, ug ang resulta mobalik sa HTTP header 200, nga nagpakita nga ang pagkuha malampuson▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Ang mga ahente sa tiggamit sa ubang mga kaka ug mga crawler mahimo usab nga mangita sa ilang kaugalingon sa parehas nga paagi.
Paglaum Chen Weiliang Blog ( https://www.chenweiliang.com/ ) mipaambit sa "Baidu spider crawling failure to diagnose abnormal information socket read and write errors what to do about connection timeout", nga makatabang kanimo.
Welcome sa pagpaambit sa link niini nga artikulo:https://www.chenweiliang.com/cwl-29315.html