Makale Rehberi
Baidu Spider anormal bilgileri tarar ve teşhis eder: Soket okunuyor veya yazılıyorsa ne yapmalıyım?
Web sitenizin Baidu tarafından dizine eklenmediğini varsayarsak, önce Baidu arama kaynak platformunda bir örümcek tarama teşhisi gerçekleştirmelisiniz.
Baidu tarayıcısı tanılama bağlantısını tarayamazsa ne yapmalıyım?
Baidu tarayıcısı birkaç kez tarama ve tanılama yapamazsa, güvenlik duvarı tarayıcıyı engellemiş olabilir.
Baidu Arama Kaynak Platformu > Tarama Tanılama > Tarama Hata Bilgileri: Soket Okuma/Yazma Hatası ▼
- Özellikle kullanarakCloudflare CDN kullanılırken, varsayılan olarak engellenir.
- İnternette bir IP adresi eklemekten bahsediliyor.
xxx.xxx.xxx.xxx/24 - Ancak, boşuna denendi.
Sunucuda Baidu örümceklerini engellemiyorum, bu yüzden sorun Cloudflare'ın WAF'si olmalı!
Cloudflare → Güvenlik → WAF → Güvenlik Duvarı Kuralları → Güvenlik Duvarı Kuralı Oluştur'da oturum açın
- Cloudflare'de tarayıcıyla ilgili WAF kuralları aranıyor ve "Legal Robot Crawler" seçeneği bulundu ▼
- Güvenlik duvarı kurallarını oluşturduktan sonra 10 dakika bekleyin ve ardından tanıyı alın ve hepsi başarılı bir şekilde yakalanır!
Baidu tarayıcısı Site Haritası taranamadı, bağlantı zaman aşımına uğradı mı?
Site haritası dosya adresi Baidu arama kaynak platformunda gönderilirse, tarama hatası ve bağlantı zaman aşımı sorunları olacaktır ▼
Baidu tarayıcısı Site Haritası harita çözümünü tarayamadı
Cloudflare → Güvenlik → WAF → Güvenlik Duvarı Kuralları → Güvenlik Duvarı Kuralları Oluştur'da oturum açın ▼
- alanında, Kullanıcı Aracısı'nı seçin
- operatör, "içerir" seçeneğini seçin
- Yeni kullanıcı aracısı ekleyin, sonunda "Veya" yı tıklayın
- değeri, sırasıyla aşağıdaki Baidu Spider UA kullanıcı aracısını girin:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Tamamlandıktan sonra tekrar test edin ve getirin ve sonuç, getirmenin başarılı olduğunu gösteren HTTP başlığı 200'ü döndürür.
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Diğer örümceklerin ve tarayıcıların kullanıcı aracıları da aynı şekilde kendilerini arayabilirler.
Umarım Chen Weiliang'ın blogunda ( https://www.chenweiliang.com/ ) paylaşılan "Soket Okuma/Yazma Hataları ve Bağlantı Zaman Aşımlarıyla Nasıl Başa Çıkılır" başlıklı makale size yardımcı olur.
Bu makalenin bağlantısını paylaşmaktan çekinmeyin: https://www.chenweiliang.com/cwl-29315.html