ആർട്ടിക്കിൾ ഡയറക്ടറി
Baidu Spider ഡയഗ്നോസ്റ്റിക് ഒഴിവാക്കൽ വിവരങ്ങൾ ക്യാപ്‌ചർ ചെയ്യുന്നു: സോക്കറ്റ് തെറ്റായി വായിക്കുകയും എഴുതുകയും ചെയ്താൽ ഞാൻ എന്തുചെയ്യണം?
നിങ്ങളുടെ വെബ്‌സൈറ്റ് Baidu ഉൾപ്പെടുത്തിയിട്ടില്ലെന്ന് അനുമാനിക്കുകയാണെങ്കിൽ, നിങ്ങൾ ആദ്യം Baidu തിരയൽ റിസോഴ്സ് പ്ലാറ്റ്‌ഫോമിൽ സ്പൈഡർ ക്രാളിംഗ് രോഗനിർണയം നടത്തണം.
ഡയഗ്നോസ്റ്റിക് ലിങ്കുകൾ ക്രോൾ ചെയ്യുന്നതിൽ Baidu ക്രാളർ പരാജയപ്പെട്ടാൽ ഞാൻ എന്തുചെയ്യണം?
Baidu ക്രാളർ ക്രാൾ ഡയഗ്നോസിസ് നിരവധി തവണ പരാജയപ്പെട്ടാൽ, ഫയർവാൾ ക്രാളർ പ്രോഗ്രാമിനെ തടഞ്ഞിരിക്കാം.
Baidu തിരയൽ റിസോഴ്സ് പ്ലാറ്റ്ഫോം > ക്രാൾ ഡയഗ്നോസിസ് > ക്രാൾ ഒഴിവാക്കൽ വിവരങ്ങൾ: സോക്കറ്റ് വായിക്കുന്നതിനും എഴുതുന്നതിനും പിശകുകൾ ▼
- പ്രത്യേകിച്ചും Cloudflare CDN ഉപയോഗിക്കുമ്പോൾ, അത് ഡിഫോൾട്ടായി ബ്ലോക്ക് ചെയ്യപ്പെടും.
- ഇന്റർനെറ്റിൽ, ഐപി വിലാസം ചേർക്കാൻ പറയുന്നു
xxx.xxx.xxx.xxx/24 - എന്നാൽ, അതിനു ശ്രമിച്ചിട്ടും ഫലമുണ്ടായില്ല.
ഞാൻ സെർവറിൽ Baidu ചിലന്തികളെ തടഞ്ഞിട്ടില്ല, അതിനാൽ പ്രശ്നം Cloudflare-ന്റെ WAF ആയിരിക്കണം!
Cloudflare-ലേക്ക് ലോഗിൻ ചെയ്യുക → Security → WAF → Firewall Rules → Firewall Rule സൃഷ്ടിക്കുക
- Cloudflare-ൽ ക്രാളറുകളുമായി ബന്ധപ്പെട്ട WAF നിയമങ്ങൾ കണ്ടെത്തുക, കൂടാതെ "നിയമപരമായ റോബോട്ട് ക്രാളർ" എന്ന ഓപ്ഷൻ കണ്ടെത്തി ▼
- ഫയർവാൾ നിയമങ്ങൾ സൃഷ്ടിച്ച ശേഷം, 10 മിനിറ്റ് കാത്തിരിക്കുക, തുടർന്ന് രോഗനിർണയം പിടിക്കുക, അവയെല്ലാം വിജയകരമായി പിടിച്ചെടുത്തു!
Baidu ക്രാളർ സൈറ്റ്മാപ്പ് ക്രോൾ ചെയ്യുന്നതിൽ പരാജയപ്പെടുകയും കണക്ഷൻ കാലഹരണപ്പെടുകയും ചെയ്തതിൽ എന്താണ് തെറ്റ്?
Baidu തിരയൽ റിസോഴ്സ് പ്ലാറ്റ്‌ഫോമിൽ നിങ്ങൾ സൈറ്റ്മാപ്പ് ഫയലിന്റെ വിലാസം സമർപ്പിക്കുകയാണെങ്കിൽ, ക്രാളിംഗ് പരാജയം, കണക്ഷൻ കാലഹരണപ്പെടൽ തുടങ്ങിയ പ്രശ്‌നങ്ങൾ ഉണ്ടാകും ▼
സൈറ്റ്മാപ്പ് മാപ്പ് പിടിച്ചെടുക്കുന്നതിൽ Baidu ക്രാളറിന്റെ പരാജയത്തിനുള്ള പരിഹാരം
ക്ലൗഡ്ഫ്ലെയറിലേക്ക് ലോഗിൻ ചെയ്യുക → സെക്യൂരിറ്റി → WAF → ഫയർവാൾ നിയമങ്ങൾ → ഫയർവാൾ നിയമങ്ങൾ സൃഷ്ടിക്കുക ▼
- ഫീൽഡ്, "ഉപയോക്തൃ ഏജന്റ്" തിരഞ്ഞെടുക്കുക
- ഓപ്പറേറ്റർ, അടങ്ങിയിരിക്കുന്നു തിരഞ്ഞെടുക്കുക
- ഒരു പുതിയ ഉപയോക്തൃ ഏജന്റ് ചേർക്കുക, അവസാനത്തെ "അല്ലെങ്കിൽ" ക്ലിക്ക് ചെയ്യുക
- മൂല്യം, യഥാക്രമം ഇനിപ്പറയുന്ന Baidu Spider UA ഉപയോക്തൃ ഏജന്റ് നൽകുക:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
പൂർത്തിയാക്കിയ ശേഷം, ലഭ്യമാക്കൽ വീണ്ടും പരിശോധിക്കുക, ഫലം HTTP തലക്കെട്ട് 200 നൽകുന്നു, ഇത് ലഭ്യമാക്കൽ വിജയകരമാണെന്ന് സൂചിപ്പിക്കുന്നു▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
മറ്റ് ചിലന്തികളുടെയും ക്രാളറുകളുടെയും ഉപയോക്തൃ ഏജന്റുമാർക്കും ഇതേ രീതിയിൽ സ്വയം തിരയാൻ കഴിയും.
ഹോപ്പ് ചെൻ വെയ്‌ലിയാങ് ബ്ലോഗ് ( https://www.chenweiliang.com/ ) പങ്കിട്ട "Baidu Spider Crawl Failure Diagnosis അസാധാരണമായ വിവരങ്ങൾ, സോക്കറ്റ് റീഡിംഗ്, റൈറ്റ് പിശക് കണക്ഷൻ കാലഹരണപ്പെട്ടാൽ എന്തുചെയ്യണം", ഇത് നിങ്ങൾക്ക് സഹായകമാണ്.
ഈ ലേഖനത്തിന്റെ ലിങ്ക് പങ്കിടാൻ സ്വാഗതം:https://www.chenweiliang.com/cwl-29315.html
ഏറ്റവും പുതിയ അപ്‌ഡേറ്റുകൾ ലഭിക്കുന്നതിന് ചെൻ വെയ്‌ലിയാങ്ങിന്റെ ബ്ലോഗിന്റെ ടെലിഗ്രാം ചാനലിലേക്ക് സ്വാഗതം!
📚 ഈ ഗൈഡിൽ വലിയ മൂല്യമുണ്ട്, 🌟 ഇതൊരു അപൂർവ അവസരമാണ്, ഇത് നഷ്‌ടപ്പെടുത്തരുത്! ⏰⌛💨
ഇഷ്ടമായാൽ ഷെയർ ചെയ്യുക, ലൈക്ക് ചെയ്യുക!
നിങ്ങളുടെ ഷെയറിംഗും ലൈക്കുകളുമാണ് ഞങ്ങളുടെ തുടർച്ചയായ പ്രചോദനം!