Diréktori Tulisan
Baidu lancah crawls na diagnoses informasi abnormal: Naon anu kudu dipigawé lamun stop kontak dibaca atawa ditulis?
Anggap yén ramatloka anjeun teu acan saestuna ku Baidu, Anjeun mimitina kudu ngalakukeun diagnosis lancah Crawling dina platform sumberdaya pilarian Baidu.
Naon anu kudu dipigawé lamun crawler Baidu gagal ngorondang link diagnostik?
Lamun Mapay Baidu gagal ngorondang jeung nangtukeun jenis panyakitna sababaraha kali, firewall nu mungkin geus diblokir Mapay teh.
Platform Sumber Daya Panéangan Baidu > Diagnostik Crawling > Inpormasi Kasalahan Crawling: Kasalahan Maca/Nulis Soket ▼
- Utamana ngagunakeunCloudflare Nalika nganggo CDN, éta diblokir sacara standar.
- Dina Internét, aya omongan pikeun nambahkeun alamat IP
xxx.xxx.xxx.xxx/24 - Sanajan kitu, diusahakeun euweuh avail.
Abdi henteu ngahalangan lancah Baidu dina server, janten masalahna nyaéta WAF Cloudflare!
Asup ka Cloudflare → Kaamanan → WAF → Aturan firewall → Jieun Aturan firewall
- Milarian aturan WAF anu aya hubunganana sareng crawler dina Cloudflare sareng mendakan pilihan "Robot Hukum Crawler" ▼
- Sanggeus nyieun aturan firewall, antosan 10 menit, lajeng grab diagnosis, sarta sakabéh éta hasil nyekel!
Baidu crawler Sitemap gagal ngorondang, sambungan tamat?
Upami alamat file sitemap dikintunkeun dina platform sumber daya milarian Baidu, bakal aya masalah gagalna ngorondang sareng waktosna sambungan ▼
Mapay Baidu gagal ngorondang solusi peta Sitemap
Asup ka Cloudflare → Kaamanan → WAF → Aturan Firewall → Jieun Aturan Firewall ▼
- médan, pilih Pamaké-Agén
- operator, pilih "ngandung"
- Tambahkeun agén pamaké anyar, klik "Atawa" dina tungtungna
- nilai, lebetkeun agén pamaké Baidu Spider UA di handap ieu masing-masing:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Saatos réngsé, uji sareng cokot deui, sareng hasilna mulangkeun header HTTP 200, nunjukkeun yén dipulut éta suksés▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
agén pamaké spiders na crawlers séjén ogé bisa neangan sorangan dina cara nu sami.
Mudah-mudahan, tulisan "Kumaha Nanganan Kasalahan Socket Read/Write sareng Connection Timeout" anu dibagikeun dina blog Chen Weiliang ( https://www.chenweiliang.com/ ) tiasa aya mangpaatna kanggo anjeun.
Mangga bagikeun tautan artikel ieu: https://www.chenweiliang.com/cwl-29315.html