Thư mục bài viết
- 1 Tôi nên làm gì nếu trình thu thập thông tin của Baidu không thể thu thập thông tin liên kết chẩn đoán?
- 2 Sơ đồ trang web của trình thu thập thông tin Baidu không thể thu thập thông tin, kết nối đã hết thời gian chờ?
- 3 Trình thu thập thông tin Baidu không thể thu thập thông tin giải pháp Sơ đồ trang web
Baidu Spider thu thập thông tin và chẩn đoán thông tin bất thường: Tôi nên làm gì nếu ổ cắm bị đọc hoặc ghi?
Giả sử rằng trang web của bạn chưa được Baidu lập chỉ mục, trước tiên bạn phải thực hiện chẩn đoán thu thập dữ liệu mạng nhện trên nền tảng tài nguyên tìm kiếm Baidu.
Tôi nên làm gì nếu trình thu thập thông tin của Baidu không thể thu thập thông tin liên kết chẩn đoán?
Nếu trình thu thập thông tin của Baidu không thể thu thập thông tin và chẩn đoán nhiều lần, tường lửa có thể đã chặn trình thu thập thông tin.
Nền tảng tài nguyên tìm kiếm Baidu> Chẩn đoán thu thập thông tin> Thu thập thông tin bất thường: lỗi đọc / ghi ổ cắm ▼
- Đặc biệt là khi sử dụng Cloudflare CDN, bị chặn theo mặc định.
- Trên internet, có thảo luận về việc thêm địa chỉ IP
xxx.xxx.xxx.xxx/24 - Tuy nhiên, cố gắng không có kết quả.
Tôi không chặn nhện Baidu trên máy chủ, vì vậy vấn đề phải là WAF của Cloudflare!
Đăng nhập vào Cloudflare → Bảo mật → WAF → Quy tắc tường lửa → Tạo quy tắc tường lửa
- Tìm kiếm các quy tắc WAF liên quan đến trình thu thập thông tin trên Cloudflare và tìm thấy tùy chọn "Trình thu thập thông tin robot hợp pháp" ▼
- Sau khi tạo các quy tắc tường lửa, hãy đợi trong 10 phút, sau đó lấy chẩn đoán và tất cả chúng đều được lấy thành công!
Sơ đồ trang web của trình thu thập thông tin Baidu không thể thu thập thông tin, kết nối đã hết thời gian chờ?
Nếu địa chỉ tệp sơ đồ trang web được gửi trên nền tảng tài nguyên tìm kiếm Baidu, sẽ có vấn đề về lỗi thu thập thông tin và thời gian chờ kết nối ▼
Trình thu thập thông tin Baidu không thể thu thập thông tin giải pháp Sơ đồ trang web
Đăng nhập vào Cloudflare → Bảo mật → WAF → Quy tắc tường lửa → Tạo Quy tắc tường lửa ▼
- trường, chọn Tác nhân người dùng
- toán tử, chọn "chứa"
- Thêm tác nhân người dùng mới, nhấp vào "Hoặc" ở cuối
- , nhập tác nhân người dùng Baidu Spider UA tương ứng sau:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Sau khi hoàn thành, hãy kiểm tra và tìm nạp lại, và kết quả trả về tiêu đề HTTP 200, cho biết rằng quá trình tìm nạp đã thành công ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Tác nhân người dùng của trình thu thập thông tin và trình thu thập thông tin khác cũng có thể tự tìm kiếm theo cách tương tự.
Hy vọng Chen Weiliang Blog ( https://www.chenweiliang.com/ ) đã chia sẻ "Baidu spider thu thập thông tin thất bại trong việc chẩn đoán lỗi đọc và ghi thông tin bất thường socket thông tin phải làm gì khi kết nối hết thời gian chờ", hữu ích với bạn.
Chào mừng bạn đến chia sẻ liên kết của bài viết này:https://www.chenweiliang.com/cwl-29315.html
Chào mừng bạn đến với kênh Telegram trên blog của Chen Weiliang để cập nhật những thông tin mới nhất!
📚 Hướng dẫn này chứa đựng giá trị to lớn, 🌟Đây là cơ hội hiếm có, đừng bỏ lỡ! ⏰⌛💨
Chia sẻ và thích nếu bạn thích!
Chia sẻ và thích của bạn là động lực không ngừng của chúng tôi!