Direktori Artikel
Baidu Spider merayapi dan mendiagnosis informasi abnormal: Apa yang harus saya lakukan jika soket dibaca atau ditulis?
Dengan asumsi bahwa situs web Anda belum disertakan oleh Baidu, Anda harus terlebih dahulu melakukan diagnosis perayapan laba-laba di platform sumber daya pencarian Baidu.
Apa yang harus saya lakukan jika perayap Baidu gagal merayapi tautan diagnostik?
Jika diagnosis perayapan perayap Baidu gagal beberapa kali, firewall mungkin telah memblokir program perayap.
Platform Sumber Daya Pencarian Baidu > Diagnosis Perayapan > Informasi Perayapan Abnormal: Socket membaca dan menulis kesalahan ▼
- Apalagi saat menggunakan CDN Cloudflare yang diblokir secara default.
- Di Internet, ada pembicaraan tentang penambahan alamat IP
xxx.xxx.xxx.xxx/24 - Namun, mencoba itu tidak berhasil.
Saya tidak memblokir laba-laba Baidu di server, jadi masalahnya adalah WAF Cloudflare!
Masuk ke Cloudflare → Keamanan → WAF → Aturan Firewall → Buat Aturan Firewall
- Temukan aturan WAF yang terkait dengan perayap di Cloudflare, dan temukan opsi "perayap robot yang sah" ▼
- Setelah membuat aturan firewall, tunggu selama 10 menit, lalu ambil diagnosisnya, dan semuanya berhasil ditangkap!
Apa yang salah dengan kegagalan perayapan Peta Situs perayap Baidu dan waktu habis koneksi?
Jika Anda mengirimkan alamat file Peta Situs pada platform sumber daya pencarian Baidu, akan ada masalah seperti kegagalan perayapan dan waktu koneksi habis ▼
Perayap Baidu gagal merayapi solusi peta Peta Situs
Masuk ke Cloudflare → Keamanan → WAF → Aturan Firewall → Buat Aturan Firewall ▼
- bidang, pilih Agen-Pengguna
- operator, pilih Berisi
- Tambahkan agen pengguna baru, klik "Atau" di akhir
- nilai, masukkan masing-masing agen pengguna Baidu Spider UA berikut:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Setelah selesai, uji pengambilan kembali, dan hasilnya mengembalikan tajuk HTTP 200, yang menunjukkan bahwa pengambilan berhasil▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Agen pengguna spider dan perayap lain juga dapat mencari sendiri dengan cara yang sama.
Harapan Chen Weiliang Blog ( https://www.chenweiliang.com/ ) berbagi "Diagnosis Kegagalan Perayapan Laba-laba Baidu Informasi Abnormal Apa yang Harus Dilakukan jika Koneksi Kesalahan Baca dan Tulis Socket Habis", yang berguna untuk Anda.
Selamat datang untuk membagikan tautan artikel ini:https://www.chenweiliang.com/cwl-29315.html
Selamat datang di saluran Telegram blog Chen Weiliang untuk mendapatkan pembaruan terkini!
📚 Panduan ini mengandung nilai yang sangat besar, 🌟Ini adalah kesempatan langka, jangan sampai terlewatkan! ⏰⌛💨
Bagikan dan sukai jika Anda suka!
Berbagi dan suka Anda adalah motivasi berkelanjutan kami!