கட்டுரை அடைவு
Baidu Spider அசாதாரணமான தகவலை வலம் வந்து கண்டறியும்: சாக்கெட் படிக்கப்பட்டாலோ அல்லது எழுதப்பட்டாலோ நான் என்ன செய்ய வேண்டும்?
உங்கள் இணையதளம் Baidu ஆல் அட்டவணைப்படுத்தப்படவில்லை என்று வைத்துக் கொண்டால், முதலில் Baidu தேடல் ஆதார தளத்தில் சிலந்தி ஊர்ந்து செல்வதைக் கண்டறிய வேண்டும்.
Baidu crawler கண்டறியும் இணைப்பை வலைவலம் செய்யத் தவறினால் நான் என்ன செய்ய வேண்டும்?
Baidu crawler பலமுறை வலம் வந்து கண்டறியத் தவறினால், ஃபயர்வால் கிராலரைத் தடுத்திருக்கலாம்.
Baidu தேடல் ஆதார தளம் > வலைவலம் கண்டறிதல் > வலைவலம் அசாதாரண தகவல்: சாக்கெட் வாசிப்பு/எழுது பிழை ▼
- குறிப்பாக Cloudflare CDN ஐப் பயன்படுத்தும் போது, இது இயல்பாகவே தடுக்கப்படும்.
- இணையத்தில், ஐபி முகவரியைச் சேர்ப்பது பற்றி பேசப்படுகிறது
xxx.xxx.xxx.xxx/24 - எனினும், முயற்சி பலனளிக்கவில்லை.
நான் சேவையகத்தில் Baidu ஸ்பைடர்களைத் தடுக்கவில்லை, எனவே பிரச்சனை கிளவுட்ஃப்ளேரின் WAF ஆக இருக்க வேண்டும்!
கிளவுட்ஃப்ளேரில் உள்நுழைக → பாதுகாப்பு → WAF → ஃபயர்வால் விதிகள் → ஃபயர்வால் விதியை உருவாக்கவும்
- கிளவுட்ஃப்ளேரில் கிராலர் தொடர்பான WAF விதிகளைத் தேடுகிறது மற்றும் "சட்டபூர்வமான ரோபோ கிராலர்" விருப்பத்தைக் கண்டறிந்தது ▼
- ஃபயர்வால் விதிகளை உருவாக்கிய பிறகு, 10 நிமிடங்கள் காத்திருக்கவும், பின்னர் நோயறிதலைப் பிடிக்கவும், அவை அனைத்தும் வெற்றிகரமாக கைப்பற்றப்பட்டன!
Baidu crawler தளவரைபடம் வலைவலம் செய்ய முடியவில்லை, இணைப்பு நேரம் முடிந்ததா?
தளவரைபட கோப்பு முகவரி Baidu தேடல் ஆதார தளத்தில் சமர்ப்பிக்கப்பட்டால், வலைவலம் தோல்வி மற்றும் இணைப்பு நேரம் முடிவடைதல் போன்ற சிக்கல்கள் ஏற்படும் ▼
தளவரைபட வரைபட தீர்வை வலைவலம் செய்வதில் Baidu crawler தோல்வியடைந்தது
Cloudflare → Security → WAF → Firewall Rules → Firewall விதிகளை உருவாக்கு ▼ இல் உள்நுழைக
- புலத்தில், பயனர் முகவரைத் தேர்ந்தெடுக்கவும்
- ஆபரேட்டர், "கொண்டுள்ளது" என்பதைத் தேர்ந்தெடுக்கவும்
- புதிய பயனர் முகவரைச் சேர்த்து, இறுதியில் "அல்லது" என்பதைக் கிளிக் செய்யவும்
- மதிப்பு, பின்வரும் Baidu Spider UA பயனர் முகவரை முறையே உள்ளிடவும்:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
முடிந்ததும், மீண்டும் சோதித்து எடுக்கவும், அதன் முடிவு HTTP தலைப்பு 200ஐத் தருகிறது, இது பெறுதல் வெற்றிகரமாக இருப்பதைக் குறிக்கிறது▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
மற்ற சிலந்திகள் மற்றும் கிராலர்களின் பயனர் முகவர்களும் அதே வழியில் தங்களைத் தேடலாம்.
ஹோப் சென் வெலியாங் வலைப்பதிவு ( https://www.chenweiliang.com/ ) "Baidu ஸ்பைடர் க்ரோலிங் தவறான தகவல் சாக்கெட்டைப் படிக்கவும் எழுதவும் பிழைகளைக் கண்டறிவதில் தோல்வியடைந்தது, இணைப்பு நேரம் முடிவடைவதைப் பற்றி என்ன செய்ய வேண்டும்", இது உங்களுக்கு உதவியாக இருக்கும்.
இந்தக் கட்டுரையின் இணைப்பைப் பகிர வரவேற்கிறோம்:https://www.chenweiliang.com/cwl-29315.html
சமீபத்திய புதுப்பிப்புகளைப் பெற, சென் வெலியாங்கின் வலைப்பதிவின் டெலிகிராம் சேனலுக்கு வரவேற்கிறோம்!
📚 இந்த வழிகாட்டியில் பெரும் மதிப்பு உள்ளது, 🌟இது ஒரு அரிய வாய்ப்பு, தவறவிடாதீர்கள்! ⏰⌛💨
பிடித்திருந்தால் ஷேர் செய்து லைக் செய்யுங்கள்!
உங்களின் பகிர்வும் விருப்பங்களும் எங்களின் தொடர்ச்சியான ஊக்கம்!