Baidu spider crawling failure diagnostic abnormal information socket read and write error з'єднання тайм-аут що робити

Baidu Spider фіксує діагностичну виняткову інформацію: що робити, якщо сокет читає та записує неправильно?

Якщо припустити, що ваш веб-сайт не включено Baidu, ви повинні спочатку виконати діагностику сканування павуком на платформі пошукових ресурсів Baidu.

Що робити, якщо сканеру Baidu не вдається сканувати діагностичні посилання?

Якщо діагностика сканування Baidu кілька разів не вдається, можливо, брандмауер заблокував програму сканера.

Платформа ресурсів пошуку Baidu > Діагностика сканування > Інформація про помилку сканування: Помилка читання/запису сокета ▼

Розв’язати Baidu spider crawling failure діагностика виняток інформація сокет читання та запис помилки тайм-аут підключення

  • Особливо використовуючиCloudflare Під час використання CDN вона блокується за замовчуванням.
  • В Інтернеті кажуть, що додають IP-адресу xxx.xxx.xxx.xxx/24
  • Однак спробував це безрезультатно.

Я не заблокував павуків Baidu на сервері, тому проблемою має бути WAF Cloudflare!

Увійдіть у Cloudflare → Безпека → WAF → Правила брандмауера → Створити правило брандмауера

  • Знайдіть правила WAF, пов’язані з сканерами на Cloudflare, і знайдіть опцію «легітимний робот-сканер» ▼

Увійдіть у Cloudflare → Безпека → WAF → Правила брандмауера → Створити правило брандмауера. Шукаючи правила WAF, пов’язані з веб-сканерами на Cloudflare, я знайшов опцію «Легитимний веб-сканер».

    • Після створення правил брандмауера зачекайте 10 хвилин, а потім захопіть діагностику, і всі вони були успішно захоплені!

Що не так із помилкою сканування карти сайту сканером Baidu та часом очікування підключення?

Якщо ви надішлете адресу файлу Sitemap на платформі пошукових ресурсів Baidu, виникнуть такі проблеми, як помилка сканування та час очікування підключення ▼

Що не так із помилкою сканування карти сайту сканером Baidu та часом очікування підключення?

Рішення проблеми сканера Baidu, який не міг отримати карту сайту

Увійдіть у Cloudflare → Безпека → WAF → Правила брандмауера → Створити правила брандмауера ▼

Помилка діагностики помилки сканування Baidu Spider Помилка читання/запису сокета Тайм-аут підключення: що робити? - Блог Ченя Вейлян_Планування мережевого маркетингу_Транскордонна електронна комерція Підручник з просування веб-сайту

  1. виберіть «Агент користувача»
  2. виберіть Містить
  3. Додайте новий агент користувача, натисніть останнє «Або»
  4. Значення, відповідно введіть такий агент користувача Baidu Spider UA:
    • Baiduspider/2.0
    • Baiduspider-image
    • Baiduspider-render/2.0
    • http://www.baidu.com/search/spider.html
    • Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
    • Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

    Після завершення знову перевірте вибірку, і результат поверне HTTP-заголовок 200, що вказує на те, що вибірка пройшла успішно▼

    • 抓取诊断 > 抓取详情
      以下是百度Spider抓取结果及页面信息:
    • 提交网址: https://www.etufo.org/sitemap_baidu.xml
    • 抓取网址: https://www.etufo.org/sitemap_baidu.xml
    • 抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0;
    • +http://www.baidu.com/search/spider.html)
    • 抓取时间: 2022-11-11 19:03:44
    • 网站IP: 172.***.***.149
    • 下载时长: 0.868秒
    • 返回HTTP头:HTTP/2 200

    Агенти користувача інших павуків і сканерів також можуть шукати себе таким же чином.

    Сподіваємося, що стаття «Як боротися з помилками читання/запису сокетів та тайм-аутами з’єднання», опублікована в блозі Ченя Вейляна ( https://www.chenweiliang.com/ ), буде вам корисною.

    Не соромтеся поділитися посиланням на цю статтю: https://www.chenweiliang.com/cwl-29315.html

    Щоб розкрити більше прихованих хитрощів🔑, приєднуйтесь до нашого Telegram-каналу!

    Поділіться та поставте лайк, якщо вам подобається! Ваші розповсюдження та вподобання — наша постійна мотивація!

     

    发表 评论

    您的邮箱地址不会被公开。必填项已用*标注

    Прокрутка до початку