Artikelgids
Baidu Spider kruip en diagnoseer abnormale inligting: Wat moet ek doen as die sok gelees of geskryf is?
As u aanvaar dat u webwerf nie deur Baidu geïndekseer is nie, moet u eers 'n spinnekop-kruipdiagnose op die Baidu-soekhulpbronplatform uitvoer.
Wat moet ek doen as die Baidu-kruiper nie daarin slaag om die diagnostiese skakel te deurkruip nie?
As Baidu-kruiper verskeie kere nie daarin slaag om te kruip en te diagnoseer nie, het die brandmuur dalk die deurkruiper geblokkeer.
Baidu Soekhulpbronplatform > Kruipdiagnose > Kruipabnormale inligting: socket lees/skryf fout ▼
- Veral as u Cloudflare CDN gebruik, wat by verstek geblokkeer is.
- Op die internet is daar sprake van die byvoeging van 'n IP-adres
xxx.xxx.xxx.xxx/24 - Het egter tevergeefs probeer.
Ek blokkeer nie Baidu-spinnekoppe op die bediener nie, so die probleem behoort Cloudflare se WAF te wees!
Meld aan by Cloudflare → Sekuriteit → WAF → Firewall-reëls → Skep Firewall-reël
- Op soek na kruiperverwante WAF-reëls op Cloudflare en die "Legal Robot Crawler"-opsie gevind ▼
- Nadat u die firewall-reëls geskep het, wag vir 10 minute, en gryp dan die diagnose, en almal word suksesvol aangegryp!
Baidu-kruiper-werfkaart kon nie deurkruip nie, het verbinding uitgetel?
As die werfkaartlêeradres op die Baidu-soekhulpbronplatform ingedien word, sal daar probleme wees van deurkruipfout en verbinding-uitteltyd ▼
Baidu-kruiper kon nie Sitemap-kaartoplossing deurkruip nie
Meld aan by Cloudflare → Sekuriteit → WAF → Firewall-reëls → Skep Firewall-reëls ▼
- veld, kies User-Agent
- operateur, kies "bevat"
- Voeg nuwe gebruikersagent by, klik "Of" aan die einde
- waarde, voer die volgende Baidu Spider UA-gebruikersagent onderskeidelik in:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Na voltooiing, toets en haal weer, en die resultaat gee HTTP-kop 200 terug, wat aandui dat die haal suksesvol is▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Gebruikersagente van ander spinnekoppe en kruipers kan ook op dieselfde manier vir hulself soek.
Hoop Chen Weiliang Blog ( https://www.chenweiliang.com/ ) gedeel "Baidu-spinnekop kruip-versuim om abnormale inligtingsok lees- en skryffoute te diagnoseer wat om te doen oor verbinding-uitteltyd", wat vir jou nuttig is.
Welkom om die skakel van hierdie artikel te deel:https://www.chenweiliang.com/cwl-29315.html