Direktori Artikel
Baidu Spider menangkap maklumat pengecualian diagnostik: Apakah yang perlu saya lakukan jika soket membaca dan menulis dengan tidak betul?
Dengan mengandaikan bahawa tapak web anda tidak disertakan oleh Baidu, anda mesti melakukan diagnosis merangkak labah-labah dahulu pada platform sumber carian Baidu.
Apakah yang perlu saya lakukan jika perangkak Baidu gagal merangkak pautan diagnostik?
Jika diagnosis rangkak perangkak Baidu gagal beberapa kali, tembok api mungkin telah menyekat program perangkak.
Platform Sumber Carian Baidu > Diagnosis Rangkakan > Maklumat Pengecualian Rangkakan: Ralat baca dan tulis soket ▼
- Terutama apabila menggunakan Cloudflare CDN, ia disekat secara lalai.
- Di Internet, dikatakan menambah alamat IP
xxx.xxx.xxx.xxx/24 - Walau bagaimanapun, cuba itu tidak berjaya.
Saya tidak menyekat labah-labah Baidu pada pelayan, jadi masalahnya adalah WAF Cloudflare!
Log masuk ke Cloudflare → Keselamatan → WAF → Peraturan Firewall → Cipta Peraturan Firewall
- Cari peraturan WAF yang berkaitan dengan perangkak di Cloudflare dan temui pilihan "perakak robot yang sah" ▼
- Selepas mencipta peraturan tembok api, tunggu selama 10 minit, kemudian ambil diagnosis, dan kesemuanya berjaya ditangkap!
Apakah yang salah dengan perangkak Baidu kegagalan merangkak Peta laman dan tamat masa sambungan?
Jika anda menyerahkan alamat fail Peta Laman pada platform sumber carian Baidu, akan ada masalah seperti kegagalan merangkak dan tamat masa sambungan ▼
Penyelesaian kepada kegagalan perangkak Baidu untuk merebut peta Peta Laman
Log masuk ke Cloudflare → Keselamatan → WAF → Peraturan Firewall → Cipta Peraturan Firewall ▼
- medan, pilih "Ejen Pengguna"
- operator, pilih Mengandungi
- Tambah ejen pengguna baharu, klik "Atau" terakhir
- Nilai, masing-masing masukkan ejen pengguna Baidu Spider UA berikut:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Selepas selesai, uji pengambilan sekali lagi dan hasilnya mengembalikan pengepala HTTP 200, menunjukkan bahawa pengambilan itu berjaya▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Ejen pengguna labah-labah dan perangkak lain juga boleh mencari sendiri dengan cara yang sama.
Blog Harapan Chen Weiliang ( https://www.chenweiliang.com/ ) berkongsi "Maklumat Luar Biasa Diagnosis Kegagalan Perayapan Labah-labah Baidu Perkara yang Perlu Dilakukan jika Sambungan Ralat Baca dan Tulis Soket Tamat Masa", yang membantu anda.
Selamat datang untuk berkongsi pautan artikel ini:https://www.chenweiliang.com/cwl-29315.html