Tusitusiga Tusitusiga
Ua maua e le Baidu Spider faʻamatalaga faʻapitoa faʻapitoa: O le a le mea e tatau ona ou faia pe a iai ni faʻailoga faitau ma tusitusi mea sese?
Fa'apea o lau 'upega tafaʻilagi e leʻi faʻasinoina e Baidu, e tatau ona e faia muamua le suʻesuʻega o le apogaleveleve i luga o le Baidu search resources platform.
O le a se mea e tatau ona ou faia pe a le mafai e Baidu crawler ona tolotolo le so'oga fa'ama'i?
Afai e le manuia le su'esu'ega fetolofi a Baidu i le tele o taimi, atonu na poloka e le pa puipui le polokalame.
Baidu Search Resource Platform > Fa'amatalaga Fetolofi > Fa'amatalaga E le masani ai: Socket faitau ma tusitusi sese ▼
- Aemaise lava pe a faʻaaogaina Cloudflare CDN, ua poloka e ala ile faaletonu.
- I luga o le Initaneti, o loʻo i ai le tala o le faʻaopoopoina o se tuatusi IP
xxx.xxx.xxx.xxx/24 - Peitaʻi, na taumafai e lē taulau.
Ou te leʻi poloka Baidu Spider i luga o le 'auʻaunaga, o lea o le faafitauli e tatau ona avea ma Cloudflare's WAF!
Ulufale i Cloudflare → Saogalemu → WAF → Tulafono Faʻamalama → Fausia Tulafono Faʻamaʻi
- Su'e tulafono WAF e feso'ota'i ma fetolofi i Cloudflare, na ou mauaina le "Legal Robot Crawlers" filifiliga ▼
- A uma ona fai tulafono o le firewall, fa'atali mo le 10 minute, ona pu'e lea o le su'esu'ega.
O le a le mea o lo'o i ai le faaletonu o le Baidu crawler Sitemap ma le taimi o feso'ota'iga?
Afai e te tuʻuina atu le tuatusi faila o le Sitemap i luga o le Baidu search resources platform, faʻafitauli e pei o le tolotolo le manuia ma fesoʻotaʻiga taimi o le a tupu ▼
Fofo i Baidu crawler le mafai ona tolotolo Sitemap faafanua
Ulufale i Cloudflare → Saogalemu → WAF → Tulafono Faʻamalama → Fausia Tulafono Faʻamalama ▼
- fanua, filifili "User Agent"
- operator, filifili "o iai"
- Ina ia fa'aopoopo se sui fa'aoga fou, kiliki "Po'o" ile pito
- Tau, fa'aofi le sui fa'aoga a le Baidu Spider UA:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
A mae'a, toe fa'ata'ita'i le fetch, ma o le i'uga e toe fa'afo'i le HTTP header 200, e fa'ailoa mai ai ua manuia le fetch▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
E mafai fo'i ona su'eina e i latou lava tagata fa'aoga o isi apogaleveleve ma fetolofi e fa'aaoga ai le auala lava e tasi.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) fa'asoa "O le a le mea e fai pe a le manuia le tolotolo a le Baidu apogaleveleve, fa'ailoa fa'amatalaga fa'apitoa, socket faitau ma tusitusi sese, feso'ota'iga taimi fa'agata", o le a fesoasoani ia te oe.
Fa'afeiloa'i e fa'asoa le so'otaga o lenei tusitusiga:https://www.chenweiliang.com/cwl-29315.html
Faʻafeiloaʻi i le Telegram channel o le blog a Chen Weiliang e maua ai faʻamatalaga lata mai!
📚 O lenei taʻiala o loʻo i ai le taua tele, 🌟O se avanoa e seasea maua, aua le misia! ⏰⌛💨
Faasoa ma fiafia pe a e fiafia i ai!
O lau fefa'asoaa'i ma le fiafia o la matou fa'aosofiaga faifaipea!