લેખ ડિરેક્ટરી
બાયડુ સ્પાઈડર ડાયગ્નોસ્ટિક અપવાદ માહિતી મેળવે છે: જો સોકેટ ખોટી રીતે વાંચે અને લખે તો મારે શું કરવું જોઈએ?
ધારીને કે તમારી વેબસાઇટ Baidu દ્વારા શામેલ કરવામાં આવી નથી, તમારે પહેલા Baidu શોધ સંસાધન પ્લેટફોર્મ પર સ્પાઈડર ક્રોલિંગ નિદાન કરવું આવશ્યક છે.
જો Baidu ક્રાઉલર ડાયગ્નોસ્ટિક લિંક્સને ક્રોલ કરવામાં નિષ્ફળ જાય તો મારે શું કરવું જોઈએ?
જો Baidu ક્રોલર ક્રોલ નિદાન ઘણી વખત નિષ્ફળ જાય છે, તો ફાયરવોલે ક્રાઉલર પ્રોગ્રામને અવરોધિત કરી શકે છે.
Baidu શોધ સંસાધન પ્લેટફોર્મ > ક્રોલ નિદાન > ક્રોલ અપવાદ માહિતી: સોકેટ વાંચવા અને લખવાની ભૂલો ▼
- ખાસ કરીને Cloudflare CDN નો ઉપયોગ કરતી વખતે, તે ડિફોલ્ટ રૂપે અવરોધિત છે.
- ઇન્ટરનેટ પર, IP સરનામું ઉમેરવાનું કહેવામાં આવે છે
xxx.xxx.xxx.xxx/24 - જો કે, તે પ્રયાસ નિષ્ફળ ગયો.
મેં સર્વર પર Baidu સ્પાઈડર્સને અવરોધિત કર્યા નથી, તેથી સમસ્યા Cloudflare ની WAF હોવી જોઈએ!
Cloudflare પર લૉગિન કરો → સુરક્ષા → WAF → ફાયરવોલ નિયમો → ફાયરવોલ નિયમ બનાવો
- Cloudflare પર ક્રોલર્સ સંબંધિત WAF નિયમો શોધો અને "કાયદેસર રોબોટ ક્રાઉલર" નો વિકલ્પ શોધો ▼
- ફાયરવોલ નિયમો બનાવ્યા પછી, 10 મિનિટ રાહ જુઓ, અને પછી નિદાનને પકડો, અને તે બધા સફળતાપૂર્વક કબજે કરવામાં આવ્યા હતા!
Baidu ક્રાઉલર સાઇટમેપ ક્રોલ કરવામાં નિષ્ફળતા અને કનેક્શન સમય સમાપ્ત થવામાં શું ખોટું છે?
જો તમે Baidu શોધ સંસાધન પ્લેટફોર્મ પર સાઇટમેપ ફાઇલનું સરનામું સબમિટ કરો છો, તો ક્રોલિંગ નિષ્ફળતા અને કનેક્શન સમય સમાપ્ત થવા જેવી સમસ્યાઓ હશે ▼
સાઇટમેપ નકશો મેળવવામાં Baidu ક્રોલરની નિષ્ફળતાનો ઉકેલ
Cloudflare પર લૉગિન કરો → સુરક્ષા → WAF → ફાયરવોલ નિયમો → ફાયરવોલ નિયમો બનાવો ▼
- ક્ષેત્ર, "વપરાશકર્તા એજન્ટ" પસંદ કરો
- ઓપરેટર, સમાવે છે પસંદ કરો
- નવો વપરાશકર્તા એજન્ટ ઉમેરો, છેલ્લું "અથવા" ક્લિક કરો
- મૂલ્ય, અનુક્રમે નીચેના Baidu Spider UA વપરાશકર્તા એજન્ટ દાખલ કરો:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
પૂર્ણ થયા પછી, ફરીથી લાવવાનું પરીક્ષણ કરો અને પરિણામ HTTP હેડર 200 પરત કરે છે, જે દર્શાવે છે કે આનયન સફળ છે▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
અન્ય કરોળિયા અને ક્રોલરના વપરાશકર્તા એજન્ટો પણ તે જ રીતે પોતાને શોધી શકે છે.
હોપ ચેન વેઇલિયાંગ બ્લોગ ( https://www.chenweiliang.com/ ) એ શેર કર્યું "બાઈડુ સ્પાઈડર ક્રોલ નિષ્ફળતા નિદાન અસામાન્ય માહિતી જો સોકેટ વાંચવા અને લખવામાં ભૂલ કનેક્શન સમય સમાપ્ત થઈ જાય તો શું કરવું", જે તમારા માટે મદદરૂપ છે.
આ લેખની લિંક શેર કરવા માટે આપનું સ્વાગત છે:https://www.chenweiliang.com/cwl-29315.html
નવીનતમ અપડેટ્સ મેળવવા માટે ચેન વેઇલિઆંગના બ્લોગની ટેલિગ્રામ ચેનલ પર આપનું સ્વાગત છે!
📚 આ માર્ગદર્શિકામાં ઘણું મૂલ્ય છે, 🌟આ એક દુર્લભ તક છે, તેને ચૂકશો નહીં! ⏰⌛💨
ગમે તો શેર કરો અને લાઈક કરો!
તમારી શેરિંગ અને લાઈક્સ એ અમારી સતત પ્રેરણા છે!