ලිපි නාමාවලිය
Baidu Spider අසාමාන්‍ය තොරතුරු බඩගාමින් රෝග විනිශ්චය කරයි: සොකට් එක කියවා හෝ ලියා ඇත්නම් මා කුමක් කළ යුතුද?
ඔබේ වෙබ් අඩවිය Baidu විසින් ඇතුළත් කර නොමැති බව උපකල්පනය කරමින්, ඔබ මුලින්ම Baidu සෙවුම් සම්පත් වේදිකාවේ මකුළු බඩගා යන රෝග විනිශ්චය සිදු කළ යුතුය.
Baidu crawler රෝග විනිශ්චය සබැඳිය රිංගා ගැනීමට අසමත් වුවහොත් මා කුමක් කළ යුතුද?
Baidu crawler crawl රෝග විනිශ්චය කිහිප වතාවක් අසාර්ථක වුවහොත්, ෆයර්වෝලය crawler වැඩසටහන අවහිර කර ඇත.
Baidu සෙවුම් සම්පත් වේදිකාව > බඩගා යන රෝග විනිශ්චය > බඩගාමින් අසාමාන්‍ය තොරතුරු: සොකට් කියවීමේ සහ ලිවීමේ දෝෂ ▼
- විශේෂයෙන්ම Cloudflare CDN භාවිතා කරන විට, එය පෙරනිමියෙන් අවහිර කරනු ලැබේ.
- අන්තර්ජාලයේ, IP ලිපිනයක් එකතු කිරීම ගැන කතා කරයි
xxx.xxx.xxx.xxx/24 - කෙසේ වෙතත්, එය උත්සාහ කළද ඵලක් නොවීය.
මම සේවාදායකයේ Baidu මකුළුවන් අවහිර නොකළෙමි, එබැවින් ගැටළුව Cloudflare හි WAF විය යුතුය!
Cloudflare වෙත පුරන්න → Security → WAF → Firewall Rules → Firewall Rule තනන්න
- Cloudflare හි බඩගා යන්නන් හා සම්බන්ධ WAF රීති සොයා, සහ "නීත්‍යානුකූල රොබෝ ක්‍රෝලර්" විකල්පය සොයා ගන්නා ලදී ▼
- ෆයර්වෝල් නීති නිර්මාණය කිරීමෙන් පසු, මිනිත්තු 10 ක් රැඳී සිටින්න, පසුව රෝග විනිශ්චය අල්ලා ගන්න, සහ ඒවා සියල්ලම සාර්ථකව අල්ලා ගන්නා ලදී!
Baidu crawler Sitemap crawling අසාර්ථක වීම සහ සම්බන්ධතා කාලය අවසන් වීම සම්බන්ධයෙන් ඇති වරද කුමක්ද?
අඩවි සිතියම් ගොනු ලිපිනය Baidu සෙවුම් සම්පත් වේදිකාව මත ඉදිරිපත් කරන්නේ නම්, බඩගා යාමේ අසාර්ථකත්වය සහ සම්බන්ධතා කල් ඉකුත් වීමේ ගැටළු ඇති වේ ▼
Baidu crawler අඩවි සිතියම් සිතියම් විසඳුම බඩගා යාමට අසමත් විය
Cloudflare වෙත පිවිසෙන්න → Security → WAF → Firewall Rules → Firewall Rules සාදන්න ▼
- ක්ෂේත්‍රය, පරිශීලක නියෝජිතයා තෝරන්න
- ක්රියාකරු, තෝරන්න අඩංගු වේ
- නව පරිශීලක නියෝජිතයා එක් කරන්න, අවසානයේ "හෝ" ක්ලික් කරන්න
- අගය, පිළිවෙලින් පහත Baidu Spider UA පරිශීලක නියෝජිතයා ඇතුළු කරන්න:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
සම්පූර්ණ කිරීමෙන් පසුව, නැවත ලබා ගැනීම පරීක්ෂා කරන්න, සහ ප්‍රතිඵලය HTTP ශීර්ෂය 200 ලබා දෙයි, ලබා ගැනීම සාර්ථක බව පෙන්නුම් කරයි▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
වෙනත් මකුළුවන් සහ බඩගා යන අයගේ පරිශීලක නියෝජිතයින්ට ද තමන් ගැනම සෙවිය හැකිය.
Hope Chen Weiliang බ්ලොග් ( https://www.chenweiliang.com/ ) බෙදාගත් "Baidu Spider Crawl Failure Diagnosis අසාමාන්‍ය තොරතුරු Socket Read and Write Error Connection Time Counted නම් කුමක් කළ යුතුද", එය ඔබට ප්‍රයෝජනවත් වේ.
මෙම ලිපියේ සබැඳිය බෙදා ගැනීමට සාදරයෙන් පිළිගනිමු:https://www.chenweiliang.com/cwl-29315.html
නවතම යාවත්කාලීන ලබා ගැනීමට Chen Weiliang ගේ බ්ලොගයේ Telegram නාලිකාව වෙත සාදරයෙන් පිළිගනිමු!
📚 මෙම මාර්ගෝපදේශයෙහි විශාල වටිනාකමක් ඇත, 🌟මෙය දුර්ලභ අවස්ථාවක්, එය අතපසු නොකරන්න! ⏰⌛💨
ඔබ කැමති නම් Share කර Like කරන්න!
ඔබගේ බෙදාගැනීම් සහ කැමැත්ත අපගේ අඛණ්ඩ අභිප්‍රේරණයයි!