百度蜘蛛抓取失敗診斷異常信息socket讀寫錯誤連接超時怎麼辦

百度Spider抓取診斷異常信息： socket讀寫錯誤怎麼辦？

假設你的網站一直都沒有被百度收錄，首先要在百度搜索資源平台進行蜘蛛抓取診斷。

百度爬蟲抓取診斷鍊接失敗怎麼辦？

如果百度爬蟲抓取診斷好幾次都失敗，防火牆可能已經阻止了爬蟲程序。

百度搜索資源平台> 抓取診斷> 抓取異常信息： socket 讀寫錯誤 ▼

• 尤其是使用Cloudflare CDN的時候，默認是屏蔽的。
• 在互聯網上，有說要添加IP 地址 xxx.xxx.xxx.xxx/24
• 然而，嘗試了無效。

我沒有在服務器上攔截百度蜘蛛，所以問題應該是Cloudflare的WAF！

登錄Cloudflare → 安全性→ WAF → 防火牆規則→ 創建防火牆規則

• 在Cloudflare上查找與爬蟲相關的WAF規則，發現了“合法機器人爬蟲”選項 ▼

• • 創建防火牆規則後，等待10分鐘，然後抓取診斷，果然全部成功抓取到！

百度爬蟲Sitemap抓取失敗、連接超時怎麼回事？

如果在百度搜索資源平台提交Sitemap文件地址，出現抓取失敗、連接超時的問題 ▼

百度爬蟲抓取Sitemap地圖失敗解決方案

登錄Cloudflare → 安全性→ WAF → 防火牆規則→ 創建防火牆規則 ▼

1. 字段，選擇“用戶代理”
2. 運算符，選擇“包含”
3. 添加新的用戶代理，點擊最後的“Or”
4. 值，分別輸入以下百度蜘蛛UA用戶代理：

完成後再次測試取，結果返回HTTP頭200，表示抓取成功▼

其它蜘蛛和爬蟲的用戶代理，也可以用同樣的方法自行搜索。