Каталог статей
Baidu Spider фіксує діагностичну виняткову інформацію: що робити, якщо сокет читає та записує неправильно?
Якщо припустити, що ваш веб-сайт не включено Baidu, ви повинні спочатку виконати діагностику сканування павуком на платформі пошукових ресурсів Baidu.
Що робити, якщо сканеру Baidu не вдається сканувати діагностичні посилання?
Якщо діагностика сканування Baidu кілька разів не вдається, можливо, брандмауер заблокував програму сканера.
Платформа ресурсів пошуку Baidu > Діагностика сканування > Інформація про помилку сканування: Помилка читання/запису сокета ▼

- Особливо використовуючиCloudflare Під час використання CDN вона блокується за замовчуванням.
- В Інтернеті кажуть, що додають IP-адресу
xxx.xxx.xxx.xxx/24 - Однак спробував це безрезультатно.
Я не заблокував павуків Baidu на сервері, тому проблемою має бути WAF Cloudflare!
Увійдіть у Cloudflare → Безпека → WAF → Правила брандмауера → Створити правило брандмауера
- Знайдіть правила WAF, пов’язані з сканерами на Cloudflare, і знайдіть опцію «легітимний робот-сканер» ▼

- Після створення правил брандмауера зачекайте 10 хвилин, а потім захопіть діагностику, і всі вони були успішно захоплені!
Що не так із помилкою сканування карти сайту сканером Baidu та часом очікування підключення?
Якщо ви надішлете адресу файлу Sitemap на платформі пошукових ресурсів Baidu, виникнуть такі проблеми, як помилка сканування та час очікування підключення ▼

Рішення проблеми сканера Baidu, який не міг отримати карту сайту
Увійдіть у Cloudflare → Безпека → WAF → Правила брандмауера → Створити правила брандмауера ▼

- виберіть «Агент користувача»
- виберіть Містить
- Додайте новий агент користувача, натисніть останнє «Або»
- Значення, відповідно введіть такий агент користувача Baidu Spider UA:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Після завершення знову перевірте вибірку, і результат поверне HTTP-заголовок 200, що вказує на те, що вибірка пройшла успішно▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息: -
提交网址: https://www.etufo.org/sitemap_baidu.xml -
抓取网址: https://www.etufo.org/sitemap_baidu.xml -
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间: 2022-11-11 19:03:44 -
网站IP: 172.***.***.149 -
下载时长: 0.868秒 -
返回HTTP头:HTTP/2 200
Агенти користувача інших павуків і сканерів також можуть шукати себе таким же чином.
Сподіваємося, що стаття «Як боротися з помилками читання/запису сокетів та тайм-аутами з’єднання», опублікована в блозі Ченя Вейляна ( https://www.chenweiliang.com/ ), буде вам корисною.
Не соромтеся поділитися посиланням на цю статтю: https://www.chenweiliang.com/cwl-29315.html
