Каталог артыкулаў
Baidu Spider фіксуе інфармацыю аб дыягнастычных выключэннях: што мне рабіць, калі сокет чытае і запісвае няправільна?
Калі выказаць здагадку, што ваш вэб-сайт не быў уключаны Baidu, вы павінны спачатку правесці дыягностыку павука на платформе пошукавых рэсурсаў Baidu.
Што мне рабіць, калі сканер Baidu не можа сканаваць дыягнастычныя спасылкі?
Калі дыягностыка сканіравання Baidu некалькі разоў дае збой, магчыма, брандмаўэр заблакіраваў праграму сканэра.
Платформа пошукавых рэсурсаў Baidu > Дыягностыка сканавання > Інфармацыя аб выключэннях сканавання: памылка чытання/запісу сокета ▼
- Асабліва пры выкарыстанні Cloudflare CDN, які заблакіраваны па змаўчанні.
- У інтэрнэце кажуць, што трэба дадаць IP-адрас
xxx.xxx.xxx.xxx/24 - Аднак спрабавалі безвынікова.
Я не блакую павукоў Baidu на серверы, таму праблема павінна быць у WAF Cloudflare!
Увайдзіце ў Cloudflare → Бяспека → WAF → Правілы брандмаўэра → Стварыць правіла брандмаўэра
- Шукаю правілы WAF, звязаныя з сканерамі, на Cloudflare і знайшоў опцыю «Legal Robot Crawler» ▼
- Пасля стварэння правілаў брандмаўэра пачакайце 10 хвілін, а затым захапіце дыягностыку, і ўсе яны будуць паспяхова захоплены!
Не ўдалося сканаваць карту сайта сканэрам Baidu, час чакання падключэння скончыўся?
Калі вы адправіце адрас файла Sitemap на платформе пошукавых рэсурсаў Baidu, узнікнуць такія праблемы, як збой сканавання і час чакання злучэння ▼
Сканеру Baidu не ўдалося сканаваць рашэнне карты сайта
Увайдзіце ў Cloudflare → Бяспека → WAF → Правілы брандмаўэра → Стварыць правілы брандмаўэра ▼
- поле, абярыце User-Agent
- аператар, выберыце Змяшчае
- Дадайце новы карыстацкі агент, націсніце "Або" ў канцы
- Значэнне, адпаведна, увядзіце наступны агент карыстальніка Baidu Spider UA:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Пасля завяршэння праверце і абярыце зноў, і вынік верне HTTP-загаловак 200, які паказвае, што выбарка прайшла паспяхова▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Карыстальніцкія агенты іншых павукоў і сканераў таксама могуць шукаць сябе такім жа чынам.
Блог Hope Chen Weiliang ( https://www.chenweiliang.com/ ) падзяліўся інфармацыяй "Памылка сканавання Baidu. Дыягностыка. Ненармальная інфармацыя. Што рабіць, калі памылка чытання і запісу сокета. Тайм-аўт злучэння скончыўся", што карысна для вас.
Запрашаем падзяліцца спасылкай на гэты артыкул:https://www.chenweiliang.com/cwl-29315.html