Article Directory
Baidu Spider dia maka fampahalalana momba ny diagnostika: Inona no tokony hataoko raha diso mamaky sy manoratra ny socket?
Raha heverinao fa tsy nampidirin'i Baidu ny tranokalanao, dia tsy maintsy manao diagnostika mandady hala ianao amin'ny sehatra loharanon-karena Baidu.
Inona no tokony hataoko raha tsy mandady rohy diagnostika ny Baidu crawler?
Raha toa ka tsy nahomby imbetsaka ny fitiliana crawler crawler Baidu, dia mety nosakanan'ny firewall ny programa crawler.
Baidu Search Resource Platform > Crawl Diagnosis > Crawl Exception Information: Fahadisoana mamaky sy manoratra socket ▼
- Indrindra rehefa mampiasa Cloudflare CDN dia voasakana amin'ny alàlan'ny default.
- Ao amin'ny Internet dia voalaza fa manampy ny adiresy IP
xxx.xxx.xxx.xxx/24 - Na izany aza, nanandrana izany fa tsy nahomby.
Tsy nanakana ny hala Baidu tao amin'ny mpizara aho, ka ny WAF an'ny Cloudflare no olana!
Midira ao amin'ny Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rule
- Tadiavo ny fitsipiky ny WAF mifandraika amin'ny crawlers ao amin'ny Cloudflare, ary tadiavo ny safidy amin'ny "robot crawler ara-dalàna" ▼
- Rehefa avy namorona ny fitsipiky ny firewall, miandry 10 minitra, ary avy eo alaivo ny diagnostika, ary azo samborina daholo izy rehetra!
Inona no tsy mety amin'ny Baidu crawler Sitemap tsy fahombiazan'ny nandady sy ny fe-potoana fifandraisana?
Raha mametraka ny adiresin'ny rakitra Sitemap ao amin'ny sehatra loharanon-karena Baidu ianao, dia hisy olana toy ny tsy fahombiazan'ny nandady sy ny fotoana fiatoan'ny fifandraisana ▼
Vahaolana amin'ny tsy fahombiazan'ny Baidu crawler naka ny sarintany Sitemap
Midira ao amin'ny Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rules ▼
- safidio ny "User Agent"
- operator, mifidiana Misy
- Manampia mpampiasa mpampiasa vaovao, kitiho ny farany "Na"
- Sanda, ampidiro tsirairay ireto mpiasan'ny mpampiasa Baidu Spider UA manaraka ireto:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Rehefa vita, andramo indray ny fakana, ary ny valiny dia mamerina ny lohatenin'ny HTTP 200, izay manondro fa nahomby ny fakana▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Afaka mikaroka ny tenany amin'ny fomba mitovy ihany koa ny mpiserasera amin'ny hala sy crawler hafa.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) nizara ny "Fampahalalana tsy ara-dalàna momba ny tsy fahombiazan'ny Baidu Spider Crawl Diagnose Inona no tokony hatao raha tapitra ny fe-potoana fifandraisana amin'ny Socket Read and Write", izay manampy anao.
Tongasoa eto mizara ny rohy amin'ity lahatsoratra ity:https://www.chenweiliang.com/cwl-29315.html
Tongasoa eto amin'ny fantsona Telegram an'ny bilaogin'i Chen Weiliang hahazoana vaovao farany!
📚 Ity torolalana ity dia misy sanda lehibe, 🌟Ity dia fotoana tsy fahita firy, aza adino! ⏰⌛💨
Partageo ary j'aime raha tianao!
Ny fizaranao sy ny j'aime no antony manosika anay hatrany!