Diréktori Tulisan
Baidu lancah crawls na diagnoses informasi abnormal: Naon anu kudu dipigawé lamun stop kontak dibaca atawa ditulis?
Anggap yén ramatloka anjeun teu acan saestuna ku Baidu, Anjeun mimitina kudu ngalakukeun diagnosis lancah Crawling dina platform sumberdaya pilarian Baidu.
Naon anu kudu dipigawé lamun crawler Baidu gagal ngorondang link diagnostik?
Lamun Mapay Baidu gagal ngorondang jeung nangtukeun jenis panyakitna sababaraha kali, firewall nu mungkin geus diblokir Mapay teh.
Baidu Search Resource Platform > Diagnosis Crawl > Crawl Inpormasi Abnormal: kasalahan maca / nulis stop kontak ▼
- Utamana nalika nganggo Cloudflare CDN, anu diblokir sacara standar.
- Dina Internét, aya omongan pikeun nambahkeun alamat IP
xxx.xxx.xxx.xxx/24 - Sanajan kitu, diusahakeun euweuh avail.
Abdi henteu ngahalangan lancah Baidu dina server, janten masalahna nyaéta WAF Cloudflare!
Asup ka Cloudflare → Kaamanan → WAF → Aturan firewall → Jieun Aturan firewall
- Milarian aturan WAF anu aya hubunganana sareng crawler dina Cloudflare sareng mendakan pilihan "Robot Hukum Crawler" ▼
- Sanggeus nyieun aturan firewall, antosan 10 menit, lajeng grab diagnosis, sarta sakabéh éta hasil nyekel!
Baidu crawler Sitemap gagal ngorondang, sambungan tamat?
Upami alamat file sitemap dikintunkeun dina platform sumber daya milarian Baidu, bakal aya masalah gagalna ngorondang sareng waktosna sambungan ▼
Mapay Baidu gagal ngorondang solusi peta Sitemap
Asup ka Cloudflare → Kaamanan → WAF → Aturan Firewall → Jieun Aturan Firewall ▼
- médan, pilih Pamaké-Agén
- operator, pilih "ngandung"
- Tambahkeun agén pamaké anyar, klik "Atawa" dina tungtungna
- nilai, lebetkeun agén pamaké Baidu Spider UA di handap ieu masing-masing:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Saatos réngsé, uji sareng cokot deui, sareng hasilna mulangkeun header HTTP 200, nunjukkeun yén dipulut éta suksés▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
agén pamaké spiders na crawlers séjén ogé bisa neangan sorangan dina cara nu sami.
Blog Hope Chen Weiliang ( https://www.chenweiliang.com/ ) dibagikeun "Baidu lancah Crawling gagal pikeun ngadiagnosa abnormal informasi stop kontak maca jeung nulis kasalahan naon anu kudu dipigawé ngeunaan sambungan timeout", nu mantuan pikeun anjeun.
Wilujeng ngabagikeun tautan artikel ieu:https://www.chenweiliang.com/cwl-29315.html
Wilujeng sumping di saluran Telegram blog Chen Weiliang pikeun kéngingkeun apdet panganyarna!
📚 Pituduh ieu ngandung nilai anu ageung, 🌟Ieu mangrupikeun kasempetan anu jarang, tong kantun! ⏰⌛💨
Bagikeun sareng suka upami anjeun resep!
Bagikeun sareng resep anjeun mangrupikeun motivasi kontinyu kami!