Cikkkönyvtár
A Baidu Spider rögzíti a diagnosztikai kivételinformációkat: Mi a teendő, ha a socket hibásan olvas és ír?
Feltéve, hogy webhelyét a Baidu nem vette fel, először el kell végeznie a pókfeltérképezési diagnózist a Baidu keresési erőforrásplatformon.
Mi a teendő, ha a Baidu bejáró nem tudja feltérképezni a diagnosztikai hivatkozásokat?
Ha a Baidu bejáró feltérképezése többször meghiúsul, előfordulhat, hogy a tűzfal blokkolta a bejáró programot.
Baidu Search Resource Platform > Feltérképezési diagnosztika > Feltérképezési kivétel információk: Socket olvasási és írási hibák ▼
- Különösen a Cloudflare CDN használatakor alapértelmezés szerint le van tiltva.
- Az interneten állítólag hozzá kell adni az IP-címet
xxx.xxx.xxx.xxx/24 - Ezt azonban hiába próbálták.
Nem blokkoltam a Baidu pókokat a szerveren, tehát a probléma a Cloudflare WAF-ja lehet!
Jelentkezzen be: Cloudflare → Biztonság → WAF → Tűzfalszabályok → Tűzfalszabály létrehozása
- Keresse meg a bejárókra vonatkozó WAF-szabályokat a Cloudflare-en, és megtalálta a „jogos robotrobot” opciót ▼
- A tűzfalszabályok létrehozása után várjon 10 percet, majd ragadja meg a diagnózist, és mindegyik sikeresen rögzítésre került!
Mi a baj a Baidu feltérképező robot webhelytérkép feltérképezési hibájával és a kapcsolat időtúllépésével?
Ha elküldi a webhelytérkép-fájl címét a Baidu keresési erőforrás-platformon, problémák léphetnek fel, például feltérképezési hiba vagy csatlakozási időtúllépés ▼
Megoldás arra, hogy a Baidu robot nem tudta megragadni a webhelytérkép térképét
Jelentkezzen be a Cloudflare → Biztonság → WAF → Tűzfalszabályok → Tűzfalszabályok létrehozása ▼ szolgáltatásba
- mezőben válassza a "Felhasználói ügynök" lehetőséget
- operátort, válasszuk a Tartalmaz lehetőséget
- Adjon hozzá új felhasználói ügynököt, kattintson az utolsó "Vagy" gombra
- Érték, illetve írja be a következő Baidu Spider UA felhasználói ügynököt:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
A befejezés után tesztelje újra a lekérést, és az eredmény a 200-as HTTP-fejlécet adja vissza, jelezve, hogy a lekérés sikeres.
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Más pókok és bejárók felhasználói ügynökei is hasonló módon kereshetnek magukra.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) megosztotta a „Baidu Spider Crawl Failure Diagnózis Rendellenes információit Mi a teendő, ha a Socket olvasási és írási hibája a kapcsolat időtúllépése esetén”, amely hasznos az Ön számára.
Üdvözöljük a cikk linkjének megosztásában:https://www.chenweiliang.com/cwl-29315.html