Cikkkönyvtár
A Baidu Spider rögzíti a diagnosztikai kivételinformációkat: Mi a teendő, ha a socket hibásan olvas és ír?
Feltéve, hogy webhelyét a Baidu nem vette fel, először el kell végeznie a pókfeltérképezési diagnózist a Baidu keresési erőforrásplatformon.
Mi a teendő, ha a Baidu bejáró nem tudja feltérképezni a diagnosztikai hivatkozásokat?
Ha a Baidu bejáró feltérképezése többször meghiúsul, előfordulhat, hogy a tűzfal blokkolta a bejáró programot.
Baidu Search Resource Platform > Feltérképezési diagnosztika > Feltérképezési kivétel információk: Socket olvasási és írási hibák ▼
- Különösen a Cloudflare CDN használatakor alapértelmezés szerint le van tiltva.
- Az interneten állítólag hozzá kell adni az IP-címet
xxx.xxx.xxx.xxx/24
- Ezt azonban hiába próbálták.
Nem blokkoltam a Baidu pókokat a szerveren, tehát a probléma a Cloudflare WAF-ja lehet!
Jelentkezzen be: Cloudflare → Biztonság → WAF → Tűzfalszabályok → Tűzfalszabály létrehozása
- Keresse meg a bejárókra vonatkozó WAF-szabályokat a Cloudflare-en, és megtalálta a „jogos robotrobot” opciót ▼
- A tűzfalszabályok létrehozása után várjon 10 percet, majd ragadja meg a diagnózist, és mindegyik sikeresen rögzítésre került!
Mi a baj a Baidu feltérképező robot webhelytérkép feltérképezési hibájával és a kapcsolat időtúllépésével?
Ha elküldi a webhelytérkép-fájl címét a Baidu keresési erőforrás-platformon, problémák léphetnek fel, például feltérképezési hiba vagy csatlakozási időtúllépés ▼
Megoldás arra, hogy a Baidu robot nem tudta megragadni a webhelytérkép térképét
Jelentkezzen be a Cloudflare → Biztonság → WAF → Tűzfalszabályok → Tűzfalszabályok létrehozása ▼ szolgáltatásba
- mezőben válassza a "Felhasználói ügynök" lehetőséget
- operátort, válasszuk a Tartalmaz lehetőséget
- Adjon hozzá új felhasználói ügynököt, kattintson az utolsó "Vagy" gombra
- Érték, illetve írja be a következő Baidu Spider UA felhasználói ügynököt:
-
Baiduspider/2.0
-
Baiduspider-image
-
Baiduspider-render/2.0
-
http://www.baidu.com/search/spider.html
-
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
-
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
A befejezés után tesztelje újra a lekérést, és az eredmény a 200-as HTTP-fejlécet adja vissza, jelezve, hogy a lekérés sikeres.
-
抓取诊断 > 抓取详情
以下是百度Spider抓取结果及页面信息:
-
提交网址: https://www.etufo.org/sitemap_baidu.xml
-
抓取网址: https://www.etufo.org/sitemap_baidu.xml
-
抓取UA: Mozilla/5.0 (compatible; Baiduspider/2.0;
-
+http://www.baidu.com/search/spider.html)
-
抓取时间: 2022-11-11 19:03:44
-
网站IP: 172.***.***.149
-
下载时长: 0.868秒
-
返回HTTP头:HTTP/2 200
Más pókok és bejárók felhasználói ügynökei is hasonló módon kereshetnek magukra.
Hope Chen Weiliang Blog ( https://www.chenweiliang.com/ ) megosztotta a „Baidu Spider Crawl Failure Diagnózis Rendellenes információit Mi a teendő, ha a Socket olvasási és írási hibája a kapcsolat időtúllépése esetén”, amely hasznos az Ön számára.
Üdvözöljük a cikk linkjének megosztásában:https://www.chenweiliang.com/cwl-29315.html
Üdvözöljük Chen Weiliang blogjának Telegram csatornáján, hogy értesüljön a legfrissebb hírekről!
📚 Ez az útmutató hatalmas értéket tartalmaz, 🌟 Ritka lehetőség ez, ne hagyd ki! ⏰⌛💨
Oszd meg és lájkold, ha tetszik!
Az Ön megosztása és lájkja folyamatos motivációnk!