Каталог статей
Baidu Spider сканирует и диагностирует аномальную информацию: что делать, если сокет читается или записывается?
Предполагая, что ваш веб-сайт не был включен в Baidu, вы должны сначала выполнить диагностику сканирования поисковым роботом на платформе поисковых ресурсов Baidu.
Что делать, если сканеру Baidu не удается просканировать диагностические ссылки?
Если диагностика обхода сканера Baidu несколько раз дает сбой, возможно, брандмауэр заблокировал программу-обходчик.
Baidu Search Resource Platform > Диагностика сканирования > Информация об исключении сканирования: ошибка чтения/записи сокета ▼
- Особенно при использовании Cloudflare CDN, который по умолчанию заблокирован.
- В Интернете говорят, чтобы добавить IP-адрес
xxx.xxx.xxx.xxx/24 - Однако безуспешно пытался.
Я не блокирую пауков Baidu на сервере, поэтому проблема должна быть в WAF Cloudflare!
Войдите в Cloudflare → Безопасность → WAF → Правила брандмауэра → Создать правило брандмауэра
- Поиск правил WAF, связанных со сканерами, на Cloudflare и нашел опцию «Legal Robot Crawler» ▼
- После создания правил брандмауэра подождите 10 минут, а потом хватайте диагностику, и все они успешно хватаются!
Искателю Baidu не удалось просканировать карту сайта, время ожидания соединения истекло?
Если вы отправите адрес файла Sitemap на платформу поисковых ресурсов Baidu, возникнут такие проблемы, как сбой сканирования и тайм-аут соединения ▼
Сканер Baidu не смог просканировать решение карты Sitemap
Войдите в Cloudflare → Безопасность → WAF → Правила брандмауэра → Создать правила брандмауэра ▼
- поле, выберите User-Agent
- выберите Содержит
- Добавьте новый пользовательский агент, нажмите последний "Или"
- значение, введите следующий пользовательский агент Baidu Spider UA соответственно:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
После завершения снова протестируйте загрузку, и результат вернет HTTP-заголовок 200, что означает, что загрузка прошла успешно▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Пользовательские агенты других пауков и поисковых роботов также могут искать себя таким же образом.
Блог Хоуп Чен Вейлян ( https://www.chenweiliang.com/ ) поделился полезной для вас информацией «Диагностика сбоя при сканировании Baidu Spider. Что делать, если превышено время ожидания соединения при чтении и записи сокета».
Добро пожаловать, чтобы поделиться ссылкой на эту статью:https://www.chenweiliang.com/cwl-29315.html
Добро пожаловать на Telegram-канал блога Chen Weiliang, чтобы быть в курсе последних обновлений!
📚 Это руководство содержит огромную ценность. 🌟Это редкая возможность, не упустите ее! ⏰⌛💨
Делитесь и ставьте лайк, если хотите!
Ваш обмен и лайки - наша постоянная мотивация!