Диагностика сбоя при сканировании паука Baidu, ненормальная информация, ошибка чтения и записи сокета, тайм-аут соединения, что делать

Baidu Spider сканирует и диагностирует аномальную информацию: что делать, если сокет читается или записывается?

Предполагая, что ваш веб-сайт не был включен в Baidu, вы должны сначала выполнить диагностику сканирования поисковым роботом на платформе поисковых ресурсов Baidu.

Что делать, если сканеру Baidu не удается просканировать диагностические ссылки?

Если диагностика обхода сканера Baidu несколько раз дает сбой, возможно, брандмауэр заблокировал программу-обходчик.

Платформа поиска Baidu > Диагностика сканирования > Информация об ошибке сканирования: Ошибка чтения/записи сокета ▼

Решить Baidu Spider, ошибка сканирования, диагностика, исключение, информация о сокете, ошибки чтения и записи, тайм-аут соединения

  • особенно используяCloudflare При использовании CDN он по умолчанию заблокирован.
  • В Интернете говорят, чтобы добавить IP-адрес xxx.xxx.xxx.xxx/24
  • Однако безуспешно пытался.

Я не блокирую пауков Baidu на сервере, поэтому проблема должна быть в WAF Cloudflare!

Войдите в Cloudflare → Безопасность → WAF → Правила брандмауэра → Создать правило брандмауэра

  • Поиск правил WAF, связанных со сканерами, на Cloudflare и нашел опцию «Legal Robot Crawler» ▼

Войдите в Cloudflare → Безопасность → WAF → Правила брандмауэра → Создать правило брандмауэра. При поиске правил WAF, связанных с веб-краулерами в Cloudflare, я нашел опцию "Легитимный веб-краулер".

    • После создания правил брандмауэра подождите 10 минут, а потом хватайте диагностику, и все они успешно хватаются!

Искателю Baidu не удалось просканировать карту сайта, время ожидания соединения истекло?

Если вы отправите адрес файла Sitemap на платформу поисковых ресурсов Baidu, возникнут такие проблемы, как сбой сканирования и тайм-аут соединения ▼

Искателю Baidu не удалось просканировать карту сайта, время ожидания соединения истекло?

Сканер Baidu не смог просканировать решение карты Sitemap

Войдите в Cloudflare → Безопасность → WAF → Правила брандмауэра → Создать правила брандмауэра ▼

Диагностика ошибок сканирования Baidu Spider: ошибка чтения/записи сокета, таймаут соединения: что делать? - Блог Чен Вэйляна_Планирование сетевого маркетинга_Трансграничная электронная коммерция: руководство по продвижению веб-сайта

  1. поле, выберите User-Agent
  2. выберите Содержит
  3. Добавьте новый пользовательский агент, нажмите последний "Или"
  4. значение, введите следующий пользовательский агент Baidu Spider UA соответственно:
    • Baiduspider/2.0
    • Baiduspider-image
    • Baiduspider-render/2.0
    • http://www.baidu.com/search/spider.html
    • Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
    • Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

    После завершения снова протестируйте загрузку, и результат вернет HTTP-заголовок 200, что означает, что загрузка прошла успешно▼

    • 抓取诊断 > 抓取详情
      以下是百度Spider抓取结果及页面信息:
    • 提交网址: https://www.etufo.org/sitemap_baidu.xml
    • 抓取网址: https://www.etufo.org/sitemap_baidu.xml
    • 抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0;
    • +http://www.baidu.com/search/spider.html)
    • 抓取时间: 2022-11-11 19:03:44
    • 网站IP: 172.***.***.149
    • 下载时长: 0.868秒
    • 返回HTTP头:HTTP/2 200

    Пользовательские агенты других пауков и поисковых роботов также могут искать себя таким же образом.

    Надеюсь, статья «Как справиться с ошибками чтения/записи сокета и таймаутами соединения», опубликованная в блоге Чен Вэйляна ( https://www.chenweiliang.com/ ), окажется для вас полезной.

    Не стесняйтесь делиться ссылкой на эту статью: https://www.chenweiliang.com/cwl-29315.html

    Чтобы раскрыть еще больше скрытых трюков🔑, присоединяйтесь к нашему каналу в Telegram!

    Поделитесь и поставьте лайк, если вам понравилось! Ваши репосты и лайки — наша постоянная мотивация!

     

    发表 评论

    您的邮箱地址不会被公开。必填项已用*标注

    Наверх