Директориум за статии
Baidu Spider ползи и дијагностицира ненормални информации: Што треба да направам ако штекерот е прочитан или напишан?
Претпоставувајќи дека вашата веб-страница не е индексирана од Baidu, прво мора да извршите дијагноза на ползење на пајакот на платформата за ресурси за пребарување Baidu.
Што треба да направам ако роботот на Baidu не успее да ја индексира дијагностичката врска?
Ако роботот на Baidu не успее да ползи и дијагностицира неколку пати, заштитниот ѕид можеби го блокирал роботот.
Платформа за пребарување на ресурси на Baidu > Дијагноза на индексирање > Абнормални информации за индексирање: Грешка во приклучокот за читање/запишување ▼
- Особено кога користите Cloudflare CDN, што е стандардно блокирано.
- На интернет се зборува за додавање IP адреса
xxx.xxx.xxx.xxx/24 - Сепак, се обиде безуспешно.
Не ги блокирам пајаците на Baidu на серверот, така што проблемот треба да биде WAF на Cloudflare!
Најавете се во Cloudflare → Безбедност → WAF → Правила за заштитен ѕид → Креирај правило за заштитен ѕид
- Барајќи правила на WAF поврзани со роботи на Cloudflare и ја најдов опцијата „Правенски роботски робот“ ▼
- Откако ќе ги креирате правилата за заштитниот ѕид, почекајте 10 минути, а потоа фатете ја дијагнозата и сите тие се успешно фатени!
Не успеа да ползи Мапата на сајтот на роботот Baidu, врската истече?
Ако адресата на датотеката на картата на сајтот е поднесена на платформата за пребарување на Baidu, ќе има проблеми со неуспех на индексирање и истекување на врската ▼
Роботот на Baidu не успеа да го индексира решението за карта на картата на сајтот
Најавете се во Cloudflare → Безбедност → WAF → Правила за заштитен ѕид → Креирајте правила за заштитен ѕид ▼
- поле, изберете Кориснички агент
- оператор, изберете „содржи“
- Додадете нов кориснички агент, кликнете „Или“ на крајот
- вредност, внесете го следниов кориснички агент на Baidu Spider UA соодветно:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
По завршувањето, тестирајте и преземете повторно, а резултатот го враќа HTTP заглавието 200, што покажува дека преземањето е успешно ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Корисничките агенти на други пајаци и роботи, исто така, можат да се бараат себеси на ист начин.
Блог на Hope Chen Weiliang ( https://www.chenweiliang.com/ ) сподели „Baidu spider crawling неуспех да дијагностицира абнормални грешки при читање и пишување на информативниот приклучок што да правите со истекот на конекцијата“, што е корисно за вас.
Добредојдовте да ја споделите врската од оваа статија:https://www.chenweiliang.com/cwl-29315.html
Добредојдовте на Телеграмскиот канал на блогот на Чен Веилијанг за да ги добиете најновите ажурирања!
📚 Овој водич содржи огромна вредност, 🌟Ова е ретка можност, не ја пропуштајте! ⏰⌛💨
Споделете и лајкнете ако ви се допаѓа!
Вашето споделување и лајкови се наша континуирана мотивација!