Справочник на статиите
Baidu Spider улавя информация за диагностични изключения: Какво трябва да направя, ако сокетът чете и пише неправилно?
Ако приемем, че вашият уебсайт не е включен от Baidu, първо трябва да извършите диагностика на обхождане на паяк в платформата за ресурси за търсене на Baidu.
Какво трябва да направя, ако роботът на Baidu не успее да обходи диагностичните връзки?
Ако диагностиката на обхождане на Baidu се провали няколко пъти, защитната стена може да е блокирала програмата за обхождане.
Платформа за ресурси за търсене на Baidu > Диагностика при обхождане > Информация за изключения при обхождане: Грешки при четене и запис на сокет ▼
- Особено когато използвате Cloudflare CDN, той е блокиран по подразбиране.
- В интернет се казва, че добавя IP адреса
xxx.xxx.xxx.xxx/24 - Въпреки това, опитах това без резултат.
Не блокирах паяците на Baidu на сървъра, така че проблемът трябва да е WAF на Cloudflare!
Влезте в Cloudflare → Сигурност → WAF → Правила за защитна стена → Създаване на правило за защитна стена
- Намерете правилата на WAF, свързани с роботите в Cloudflare, и открихте опцията за „легитимен роботизиращ робот“ ▼
- След като създадете правилата на защитната стена, изчакайте 10 минути и след това вземете диагнозата и всички те бяха успешно заловени!
Какво не е наред с неуспешното обхождане на Sitemap на Baidu и времето за изчакване на връзката?
Ако изпратите адреса на файла Sitemap на платформата за ресурси за търсене на Baidu, ще има проблеми като неуспешно обхождане и изчакване на връзката ▼
Решение на неуспеха на робота на Baidu да грабне картата на Sitemap
Влезте в Cloudflare → Сигурност → WAF → Правила за защитна стена → Създаване на правила за защитна стена ▼
- поле, изберете „Потребителски агент“
- оператор, изберете Съдържа
- Добавете нов потребителски агент, щракнете върху последното „Или“
- Стойност, съответно въведете следния потребителски агент на Baidu Spider UA:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
След завършване тествайте извличането отново и резултатът връща HTTP заглавка 200, което показва, че извличането е успешно▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Потребителските агенти на други паяци и роботи също могат да търсят себе си по същия начин.
Блог на Hope Chen Weiliang ( https://www.chenweiliang.com/ ) сподели „Неуспешна диагностика при обхождане на Baidu Spider Необичайна информация Какво да направя, ако времето за изчакване на връзката при четене и запис на гнездото е изтекло“, което е полезно за вас.
Добре дошли да споделите връзката към тази статия:https://www.chenweiliang.com/cwl-29315.html