Direktori Artikel
Baidu Spider merayapi dan mendiagnosis informasi abnormal: Apa yang harus saya lakukan jika soket dibaca atau ditulis?
Dengan asumsi bahwa situs web Anda belum disertakan oleh Baidu, Anda harus terlebih dahulu melakukan diagnosis perayapan laba-laba di platform sumber daya pencarian Baidu.
Apa yang harus saya lakukan jika perayap Baidu gagal merayapi tautan diagnostik?
Jika diagnosis perayapan perayap Baidu gagal beberapa kali, firewall mungkin telah memblokir program perayap.
Platform Sumber Daya Pencarian Baidu > Diagnostik Perayapan > Informasi Kesalahan Perayapan: Kesalahan Baca/Tulis Soket ▼
- Terutama menggunakancloudflare Saat menggunakan CDN, secara default akan diblokir.
- Di Internet, ada pembicaraan tentang penambahan alamat IP
xxx.xxx.xxx.xxx/24 - Namun, mencoba itu tidak berhasil.
Saya tidak memblokir laba-laba Baidu di server, jadi masalahnya adalah WAF Cloudflare!
Masuk ke Cloudflare → Keamanan → WAF → Aturan Firewall → Buat Aturan Firewall
- Temukan aturan WAF yang terkait dengan perayap di Cloudflare, dan temukan opsi "perayap robot yang sah" ▼
- Setelah membuat aturan firewall, tunggu selama 10 menit, lalu ambil diagnosisnya, dan semuanya berhasil ditangkap!
Apa yang salah dengan kegagalan perayapan Peta Situs perayap Baidu dan waktu habis koneksi?
Jika Anda mengirimkan alamat file Peta Situs pada platform sumber daya pencarian Baidu, akan ada masalah seperti kegagalan perayapan dan waktu koneksi habis ▼
Perayap Baidu gagal merayapi solusi peta Peta Situs
Masuk ke Cloudflare → Keamanan → WAF → Aturan Firewall → Buat Aturan Firewall ▼
- bidang, pilih Agen-Pengguna
- operator, pilih Berisi
- Tambahkan agen pengguna baru, klik "Atau" di akhir
- nilai, masukkan masing-masing agen pengguna Baidu Spider UA berikut:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Setelah selesai, uji pengambilan kembali, dan hasilnya mengembalikan tajuk HTTP 200, yang menunjukkan bahwa pengambilan berhasil▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Agen pengguna spider dan perayap lain juga dapat mencari sendiri dengan cara yang sama.
Semoga artikel "Cara Mengatasi Kesalahan Baca/Tulis Socket dan Timeout Koneksi" yang dibagikan di blog Chen Weiliang ( https://www.chenweiliang.com/ ) bermanfaat bagi Anda.
Silakan bagikan tautan artikel ini: https://www.chenweiliang.com/cwl-29315.html