ആർട്ടിക്കിൾ ഡയറക്ടറി
Baidu Spider ഡയഗ്നോസ്റ്റിക് ഒഴിവാക്കൽ വിവരങ്ങൾ ക്യാപ്‌ചർ ചെയ്യുന്നു: സോക്കറ്റ് തെറ്റായി വായിക്കുകയും എഴുതുകയും ചെയ്താൽ ഞാൻ എന്തുചെയ്യണം?
നിങ്ങളുടെ വെബ്‌സൈറ്റ് Baidu ഉൾപ്പെടുത്തിയിട്ടില്ലെന്ന് അനുമാനിക്കുകയാണെങ്കിൽ, നിങ്ങൾ ആദ്യം Baidu തിരയൽ റിസോഴ്‌സ് പ്ലാറ്റ്‌ഫോമിൽ സ്പൈഡർ ക്രാളിംഗ് രോഗനിർണയം നടത്തണം.
ഡയഗ്നോസ്റ്റിക് ലിങ്കുകൾ ക്രോൾ ചെയ്യുന്നതിൽ Baidu ക്രാളർ പരാജയപ്പെട്ടാൽ ഞാൻ എന്തുചെയ്യണം?
Baidu ക്രാളർ ക്രാൾ ഡയഗ്നോസിസ് നിരവധി തവണ പരാജയപ്പെട്ടാൽ, ഫയർവാൾ ക്രാളർ പ്രോഗ്രാമിനെ തടഞ്ഞിരിക്കാം.
Baidu തിരയൽ റിസോഴ്‌സ് പ്ലാറ്റ്‌ഫോം > ക്രാളിംഗ് ഡയഗ്നോസ്റ്റിക്‌സ് > ക്രാളിംഗ് പിശക് വിവരങ്ങൾ: സോക്കറ്റ് വായന/എഴുത്ത് പിശക് ▼
- പ്രത്യേകിച്ച് ഉപയോഗിക്കുന്നത്ച്ലൊഉദ്ഫ്ലരെ CDN ഉപയോഗിക്കുമ്പോൾ, അത് സ്ഥിരസ്ഥിതിയായി തടയപ്പെടും.
- ഇന്റർനെറ്റിൽ, ഐപി വിലാസം ചേർക്കാൻ പറയുന്നു
xxx.xxx.xxx.xxx/24 - എന്നാൽ, അതിനു ശ്രമിച്ചിട്ടും ഫലമുണ്ടായില്ല.
ഞാൻ സെർവറിൽ Baidu ചിലന്തികളെ തടഞ്ഞിട്ടില്ല, അതിനാൽ പ്രശ്നം Cloudflare-ന്റെ WAF ആയിരിക്കണം!
Cloudflare-ലേക്ക് ലോഗിൻ ചെയ്യുക → Security → WAF → Firewall Rules → Firewall Rule സൃഷ്ടിക്കുക
- Cloudflare-ൽ ക്രാളറുകളുമായി ബന്ധപ്പെട്ട WAF നിയമങ്ങൾ കണ്ടെത്തുക, കൂടാതെ "നിയമപരമായ റോബോട്ട് ക്രാളർ" എന്ന ഓപ്ഷൻ കണ്ടെത്തി ▼
- ഫയർവാൾ നിയമങ്ങൾ സൃഷ്ടിച്ച ശേഷം, 10 മിനിറ്റ് കാത്തിരിക്കുക, തുടർന്ന് രോഗനിർണയം പിടിക്കുക, അവയെല്ലാം വിജയകരമായി പിടിച്ചെടുത്തു!
Baidu ക്രാളർ സൈറ്റ്മാപ്പ് ക്രോൾ ചെയ്യുന്നതിൽ പരാജയപ്പെടുകയും കണക്ഷൻ കാലഹരണപ്പെടുകയും ചെയ്തതിൽ എന്താണ് തെറ്റ്?
Baidu തിരയൽ റിസോഴ്‌സ് പ്ലാറ്റ്‌ഫോമിൽ നിങ്ങൾ സൈറ്റ്മാപ്പ് ഫയലിന്റെ വിലാസം സമർപ്പിക്കുകയാണെങ്കിൽ, ക്രാളിംഗ് പരാജയം, കണക്ഷൻ കാലഹരണപ്പെടൽ തുടങ്ങിയ പ്രശ്‌നങ്ങൾ ഉണ്ടാകും ▼
സൈറ്റ്മാപ്പ് മാപ്പ് പിടിച്ചെടുക്കുന്നതിൽ Baidu ക്രാളറിന്റെ പരാജയത്തിനുള്ള പരിഹാരം
ക്ലൗഡ്ഫ്ലെയറിലേക്ക് ലോഗിൻ ചെയ്യുക → സെക്യൂരിറ്റി → WAF → ഫയർവാൾ നിയമങ്ങൾ → ഫയർവാൾ നിയമങ്ങൾ സൃഷ്ടിക്കുക ▼
- ഫീൽഡ്, "ഉപയോക്തൃ ഏജന്റ്" തിരഞ്ഞെടുക്കുക
- ഓപ്പറേറ്റർ, അടങ്ങിയിരിക്കുന്നു തിരഞ്ഞെടുക്കുക
- ഒരു പുതിയ ഉപയോക്തൃ ഏജന്റ് ചേർക്കുക, അവസാനത്തെ "അല്ലെങ്കിൽ" ക്ലിക്ക് ചെയ്യുക
- മൂല്യം, യഥാക്രമം ഇനിപ്പറയുന്ന Baidu Spider UA ഉപയോക്തൃ ഏജന്റ് നൽകുക:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
പൂർത്തിയാക്കിയ ശേഷം, ലഭ്യമാക്കൽ വീണ്ടും പരിശോധിക്കുക, ഫലം HTTP തലക്കെട്ട് 200 നൽകുന്നു, ഇത് ലഭ്യമാക്കൽ വിജയകരമാണെന്ന് സൂചിപ്പിക്കുന്നു▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
മറ്റ് ചിലന്തികളുടെയും ക്രാളറുകളുടെയും ഉപയോക്തൃ ഏജന്റുമാർക്കും ഇതേ രീതിയിൽ സ്വയം തിരയാൻ കഴിയും.
ചെൻ വെയ്‌ലിയാങ്ങിന്റെ ബ്ലോഗിൽ ( https://www.chenweiliang.com/ ) പങ്കിട്ട "സോക്കറ്റ് റീഡ്/റൈറ്റ് പിശകുകളും കണക്ഷൻ ടൈംഔട്ടുകളും എങ്ങനെ കൈകാര്യം ചെയ്യാം" എന്ന ലേഖനം നിങ്ങൾക്ക് സഹായകരമാകുമെന്ന് പ്രതീക്ഷിക്കുന്നു.
ഈ ലേഖനത്തിന്റെ ലിങ്ക് പങ്കിടാൻ മടിക്കേണ്ടതില്ല: https://www.chenweiliang.com/cwl-29315.html