ලිපි නාමාවලිය
මම මෑතකදී වෙබ් අඩවියේ පසුබිම පරීක්ෂා කළා, සාමාන්‍ය දෛනික පැමිණීම් දහස් ගණනක් පමණයි.
මම Google Analytics විවෘත කළ විට, මම සම්පූර්ණයෙන්ම තුෂ්නිම්භූත වුණා.
දිනක්, මගේ පිටු නැරඹීම් හදිසියේම 20,000 ඉක්මවා ගිය අතර, මම අවසානයේ ප්‍රසිද්ධියට පත්වනු ඇතැයි සිතමින් ප්‍රීතියෙන් පිරී සිටියෙමි. නමුත් බ්‍රව්සර් බෙදාහැරීම සමීපව පරීක්ෂා කිරීමේදී, ගමනාගමනයෙන් 90% ක්ම "හෙඩ්ලස් ක්‍රෝම්" ලෙස හඳුන්වන දෙයකින් පැමිණෙන බව මට පෙනී ගියේය.
මම ChatGTP ගෙන් ඇහුවා මේ මොන බ්‍රව්සරයද කියලා? මේක Chrome වල අලුත් අනුවාදයක්ද?
මෙය බ්‍රව්සරයක් නොවන බව AI ප්‍රතිචාර දැක්වීය.
මේ රොබෝ කෙනෙක්.
ඇත්තටම HeadlessChrome යනු කුමක්ද?
නමේ සඳහන් වන පරිදි, HeadlessChrome යනු Chrome හි headless මාදිලියයි. Chrome යනු ඔබ දිනපතා භාවිතා කරන බ්‍රව්සරයයි. Headless මාදිලිය බ්‍රව්සරයේ චිත්‍රක අතුරුමුහුණත අක්‍රීය කරයි, විධාන රේඛාව පමණක් භාවිතා කරමින් පසුබිමේ ක්‍රියාත්මක වීමට ඉඩ සලසයි.
ලිපින තීරුවක් නැත, පිටු සලකුණු තීරුවක් නැත, ඔබට දැකිය හැකි කිසිවක් නැත. එය බ්‍රව්සර් එන්ජිමක් කැඳවා, ඔබේ වෙබ් පිටුව පූරණය කර, පසුව අන්තර්ගතය ඉවත් කරන කේත කැබැල්ලක් පමණි.
සැබෑ පරිශීලකයින් කිසි විටෙකත් වෙබය පිරික්සීමට මෙවැනි දෙයක් භාවිතා නොකරනු ඇත. ඔබ සහ මම Taobao හි ප්‍රවෘත්ති කියවීමට, වීඩියෝ නැරඹීමට සහ සාප්පු යෑමට Chrome විවෘත කරමු . HeadlessChrome ඔබේ වෙබ් පිටුව විවෘත කර ඔබේ දත්ත ඉවත් කර ඉවත් කරයි.
ඉතින් ඔබේ සංඛ්‍යාලේඛන පසු අන්තයේ ගමනාගමනයෙන් 80%ක් හෝ 90%ක් හෙඩ්ලස් ක්‍රෝම් විසින් දරනු ලබන බව ඔබ දකින විට, මෙම ගමනාගමනය 100% බොට් ගමනාගමනය බව ඔබට නිගමනය කළ හැකිය.
මේ සියලු බොට් ගමනාගමනය පැමිණෙන්නේ කොහෙන්ද?
අවංකවම, මූලාශ්‍ර ඉතා විවිධාකාර වේ.
වඩාත් පොදු උදාහරණය වන්නේ වෙබ් සීරීමයි. සමහර සමාගම් හෝ පුද්ගලයින් හිස් නැති බ්‍රව්සර් දියත් කිරීමට සහ වෙබ් පිටු අන්තර්ගතය කාණ්ඩ සීරීමට Puppeteer, Playwright, හෝ Selenium වැනි ස්වයංක්‍රීයකරණ රාමු භාවිතා කරයි. සමහරු නිෂ්පාදන මිල ගණන් සීරීමට, සමහරු ප්‍රවෘත්ති ලිපි සීරීමට සහ සමහරු තරඟකරුවන්ගේ දත්ත සීරීමට ලක් කරති.
ඊට පස්සේ AI තියෙනවා. දැන්, විවිධ AI මෙවලම්, AI සෙවුම් යන්ත්‍ර සහ AI ලබා ගැනීමේ පද්ධති සියල්ලම පසුබිමේ වෙබ් පිටු විග්‍රහ කරනවා. ඔබ ලිපියක් ප්‍රකාශයට පත් කරන විට, AI නියෝජිතයන් දුසිම් ගණනක් ඔබේ අන්තර්ගතය එකවර කියවනවා විය හැකියි.
තවත්, වඩාත් සියුම් ක්‍රමයක් වන්නේ ඔබේම කාලසටහන්ගත කාර්යයන් ය. උදාහරණයක් ලෙස, ඔබට HeadlessChrome භාවිතයෙන් සෑම පැයකටම නිශ්චිත පිටුවක ශ්‍රේණිගත කිරීමේ වෙනස්කම් පරීක්ෂා කරන SEO අධීක්ෂණ ස්ක්‍රිප්ට් එකක් යෙදවිය හැකිය. නැතහොත් ඔබට මෙම මෙවලම භාවිතා කරමින් පිටුවේ පින්තූර වරින් වර ගන්නා ස්වයංක්‍රීය තිර දර්ශන සේවාවක් සැකසිය හැකිය.
වඩාත්ම කරදරකාරී වර්ගය වන්නේ අවසාන එකයි: අනිෂ්ට ස්කෑන් කිරීම. ස්වයංක්‍රීය ස්ක්‍රිප්ට් මඟින් ඔබේ වෙබ් අඩවිය අවදානම් සඳහා පරිලෝකනය කිරීමට, ඔබේ පසුපෙළ පිවිසුම් අතුරුමුහුණත පරීක්ෂා කිරීමට සහ තොග වශයෙන් ස්පෑම් අදහස් ඉදිරිපත් කිරීමට පවා ක්‍රියාත්මක වේ.
සංඛ්‍යාලේඛන පසු අන්තය HeadlessChrome හඳුනා ගන්නේ කෙසේද?
ඇත්තටම ඒක හරිම සරලයි. සෑම බ්‍රව්සරයක්ම වෙබ් පිටුවකට ප්‍රවේශ වන විට එහි ඉල්ලීම් ශීර්ෂයේ පරිශීලක-නියෝජිත ක්ෂේත්‍රයක් ඇතුළත් කරයි, එය සේවාදායකයට "මම කවුද" කියා කියයි. HeadlessChrome හි පෙරනිමි පරිශීලක-නියෝජිතයාට "HeadlessChrome" යන නූල ඇතුළත් වේ. මෙම ක්ෂේත්‍රය විග්‍රහ කළ පසු ඔබේ විශ්ලේෂණ පද්ධතිය මෙය දැන ගනු ඇත.
කෙසේ වෙතත්, වෙබ් ක්‍රෝලර් සංවර්ධකයා කේතයට සුළු වෙනස් කිරීමක් සිදු කළහොත්, පරිශීලක-නියෝජිතයා සාමාන්‍ය ක්‍රෝම් හෝ සෆාරි හඳුනාගැනීමක් ලෙස වෙනස් කළහොත්, ඔබට සංඛ්‍යාලේඛන පසුබිමෙන් කිසිසේත්ම කිව නොහැකි වනු ඇත. මෙය සැබෑ හිසරදයයි.
සදහාCloudflare WAF හරියටම හෙඩ්ලස් ක්‍රෝම් අවහිර කරයි.
හරි, අපි ගැටලුව හඳුනාගෙන තිබෙනවා. අපි එය විසඳන්නේ කෙසේද?
වඩාත්ම සෘජු හා ඵලදායී විසඳුම වන්නේ CDN හෝ WAF ස්ථරයේදී ගමනාගමනයට බාධා කිරීමයි. එය සැකසීමට පෙර ගමනාගමනය ඔබේ සේවාදායකයට ළඟා වන තෙක් බලා නොසිටින්න; දොරකඩදීම එය අවහිර කරන්න.
ඔබ Cloudflare භාවිතා කරන්නේ නම්, මෙහෙයුම ඇත්තෙන්ම ඉතා සරලයි.
ඔබගේ Cloudflare කොන්සෝලයට ලොග් වී, ඉලක්කගත වසම තෝරන්න, ආරක්ෂාව සොයා ගන්න, ඉන්පසු WAF ක්ලික් කරන්න, ඉන්පසු අභිරුචි නීති වෙත ගොස් නව රීතියක් සාදන්න.
රීති නාමය ඕනෑම දෙයක් විය හැකිය, උදාහරණයක් ලෙස, "Challenge Headless Chrome" සහ ඒ හා සමාන,
ඒක මතක තියාගන්න.
ක්ෂේත්‍ර තේරීමUser Agentක්‍රියාකරු තේරීමcontains, අගය පුරවන්නHeadlessChrome.
මෙම අවස්ථාවේදී ඔබට පෙරදසුන් ප්‍රකාශනයක් පෙනෙනු ඇත, එනම්http.user_agent contains "HeadlessChrome"
ඉන්පසු මෙහෙයුමේදී තෝරන්නManaged ChallengeහෝJS Challenge.
- මම තෝරා ගැනීමට යෝජනා කරනවා
Managed Challengeමන්ද එහි සත්‍යාපන ක්‍රමය වඩාත් බුද්ධිමත් වන අතර සැබෑ පරිශීලකයින්ට අඩු බලපෑමක් ඇති කරයි.
අවසාන වශයෙන්, යොදවන්න ක්ලික් කරන්න, එවිට මෙම රීතිය ගෝලීය වශයෙන් ක්‍රියාත්මක වනු ඇත.
ලොව පුරා Cloudflare සතුව නෝඩ් සිය ගණනක් ඇති අතර ඒවා දෙවන මට්ටමේ සමමුහුර්තකරණය සමඟ වින්‍යාස කර ඇත. මූලික වශයෙන්, ඔබ බොත්තම ක්ලික් කළ සැණින් හිස් නැති බ්‍රව්සරයේ ගමනාගමනය අවහිර වේ.
ආරක්ෂාව සහ උසස් වැළැක්වීමේ දී අන්ධ ලප
කෙසේ වෙතත්, "නමුත්" එකක් තිබේ.
පරිශීලක-නියෝජිතයා ගැලපීමෙන් පමණක් බොහෝ වෙබ් ක්‍රෝලර් වින්‍යාසයන් පෙරනිමි සැකසුම් සමඟ විසඳා ගත හැකිය. කෙසේ වෙතත්, දක්ෂ ක්‍රෝලර්වරුන්ට එරෙහිව එය ප්‍රමාණවත් නොවේ.
ක්‍රෝම් 110 සමඟින් පටන් ගෙන, ගූගල් නව හෙඩ්ලස් මාදිලියක් හඳුන්වා දුන්නේය, භාවිතා කරමින්...--headless=newපරාමිතිය ආරම්භය. මෙම ප්‍රකාරයේදී, HeadlessChrome හි පරිශීලක-නියෝජිතයා සාමාන්‍ය Chrome හා සමාන වන අතර, ඔබට කිසිසේත්ම වෙනස කිව නොහැක.
ක්‍රියාකාරීව අනුකරණය කරන ඒවා ද ඇත. වෙබ් ක්‍රෝලර් සංවර්ධකයින් පරිශීලක-නියෝජිතයා කේතයේ සාමාන්‍ය ක්‍රෝම් හෝ ජංගම බ්‍රව්සර් හඳුනාගැනීමක් සමඟ සෘජුවම ප්‍රතිස්ථාපනය කරයි, එමඟින් වඩාත් නිවැරදි නීති සමඟ පවා ගැලපීම කළ නොහැක.
මෙම අවස්ථාව සඳහා, Cloudflare සක්‍රීය කළ හැකි තවත් උසස් විශේෂාංග දෙකක් ද පිරිනමයි.
පළමු එක බ්‍රව්සර් අඛණ්ඩතා පරීක්ෂාව ලෙස හැඳින්වේ.
මෙම විශේෂාංගය සක්‍රීය කිරීමට, ආරක්ෂාව → සැකසීම් → බ්‍රව්සර් අඛණ්ඩතාව පරීක්ෂාව වෙත ගොස් ස්විචය සක්‍රිය කරන්න.
එය TLS ඇඟිලි සලකුණු හරහා අසාමාන්‍ය ගමනාගමනය හඳුනා ගනී. ඔබ පරිශීලක-නියෝජිතයා කොතරම් හොඳින් වෙස්වලා ගත්තත්, TLS ඇඟිලි සලකුණ ව්‍යාජ ලෙස සකස් කළ නොහැක.
දෙවැන්න බොට් සටන් මාදිලිය හෙවත් රොබෝ සටන් මාදිලිය ලෙස හැඳින්වේ.
මාර්ගය වන්නේ ආරක්ෂාව → ස්වයංක්‍රීය වැඩසටහන් → බොට් සටන් ප්‍රකාරය වන අතර එයද සක්‍රීය කළ යුතුය.
ඉල්ලීම් සංඛ්‍යාතය, මූසික චලන ගමන් පථය, පිටු රැඳී සිටින කාලය යනාදිය වැනි ගමනාගමනය බොට් වලට අයත් දැයි තීරණය කිරීම සඳහා මෙම විශේෂාංගය හැසිරීම් ලක්ෂණ ඒකාබද්ධ කරයි.
නිදහස් අනුවාදය සැක සහිත බොට් සඳහා කළමනාකරණය කළ අභියෝග ස්වයංක්‍රීයව යොදනු ඇති අතර, ගෙවූ අනුවාදය වඩාත් සියුම් නීති වින්‍යාසයකට ඉඩ සලසයි.
ස්පෑම් වල සිට වෙබ් ක්‍රෝලර් දක්වා, ප්‍රහාරකයින් සහ ආරක්ෂකයින් අතර සටන කිසිදා නතර වී නැත.
මේ ගැන කතා කරන විට හදිසියේම යමක් මතකයට ආවා.
ඇත්ත වශයෙන්ම, මේ ආකාරයේ ප්‍රහාරාත්මක සහ ආරක්ෂක ගැටුමක් අන්තර්ජාලයේ ඉතිහාසය පුරාම ක්‍රියාත්මක වී තිබේ. මුල් දිනවල ස්පෑම් බහුලව පැවති විටත් එය එසේම විය; ඔබ එක් විශේෂාංගයක් අවහිර කළ අතර, යවන්නා එය වෙනස් කළේය. ඔබ මූල පද පෙරහන් භාවිතා කළ අතර, යවන්නා සංවේදී වචන බිඳ දැමීය. ඔබ සංඛ්‍යාත සීමාවන් භාවිතා කළ අතර, යවන්නා යැවීමේ වාර ගණන අඩු කළේය.
අද වන විට එය වෙබ් අඩවි සහ වෙබ් බඩගා යන්නන් අතර සටනක් බවට පත්ව ඇත. ඔබ පරිශීලක-නියෝජිත පෙරහන භාවිතා කරන අතර අනෙක් පැත්ත පරිශීලක-නියෝජිතයා ලෙස පෙනී සිටියි. ඔබ TLS ඇඟිලි සලකුණු භාවිතා කරන අතර අනෙක් පැත්ත TLS ඇඟිලි සලකුණු අනුකරණය කරන්නේ කෙසේදැයි පර්යේෂණ කිරීමට පටන් ගනී.
තාක්ෂණය වෙනස් විය හැකි නමුත්, යටින් පවතින ක්‍රීඩා න්‍යාය තර්කනය කිසිදා වෙනස් වී නැත.
කෙසේ වෙතත්, බොහෝ වෙබ් අඩවි හිමිකරුවන් සඳහා, පෙර පියවර කිරීම ප්‍රමාණවත් වේ.
හිසක් නැති ක්‍රෝම් ගමනාගමනයෙන් 80% ක්ම පැමිණෙන්නේ වෙස්වළා ගැනීමට ඕනෑවට වඩා කම්මැලි වන පෙරනිමි වින්‍යාස ක්‍රෝලර්වරුන්ගෙනි, එය තනි WAF රීතියකින් විසඳා ගත හැකිය. නවීන වෙස්වළාගැනීම් ඇති අය සම්බන්ධයෙන් ගත් කල, ඔබට ආරක්ෂාව අවශ්‍ය විශේෂයෙන් සංවේදී දත්ත නොමැති නම්, ඕනෑවට වඩා කරදර වීමට අවශ්‍ය නැත.
ඔබ අවශ්‍ය සියලුම විශේෂාංග සක්‍රීය කළ පසු, ඔබ මූලික වශයෙන් සකසා ඇත.
අවසාන වශයෙන්, මම තවත් දෙයක් එකතු කිරීමට කැමතියි.
බොහෝ අය විශ්වාස කරන්නේ වෙබ් අඩවි තදබදය වැඩි වන තරමට වඩා හොඳ බවයි. කෙසේ වෙතත්, ඔබට සැබෑ ගමනාගමනය සහ බොට් අතර වෙනස හඳුනාගත නොහැකි නම්, එම ඉහළ යන සංඛ්‍යා හුදෙක් නිෂ්ඵල මිනුම් වේ. ඒවා ඔබේ විනිශ්චය නොමඟ යැවිය හැකි අතර, ඔබේ පිටුව විශාල වශයෙන් පූරණය කරන වෙබ් ක්‍රෝලර් එකක් වන විට ඇතැම් අන්තර්ගතයන් විශේෂයෙන් ජනප්‍රිය යැයි ඔබට සිතීමට සලස්වයි.
රථවාහන සංඛ්‍යා ලේඛන අනුගමනය කිරීමට වඩා රථවාහන තදබදයේ සැබෑ ස්වභාවය තේරුම් ගැනීම බෙහෙවින් වැදගත් වේ.
ඔබට වෙබ් අඩවි පවත්වාගෙන යන හෝ SEO කරන මිතුරන් සිටී නම්, මෙම ලිපිය ඔවුන්ට යොමු කිරීමට නිදහස් වන්න. බොහෝ දෙනෙකුට තම වෙබ් අඩවි බොට් විශාල සංඛ්‍යාවකින් ප්‍රහාරයට ලක්වන බව නොතේරෙනවා විය හැකි අතර, මෙම ගැටළුව විසඳීම ඇත්ත වශයෙන්ම තරමක් සරල බව ඔවුන් නොදැන සිටිය හැකිය.
මෙච්චර දුරක් කියවලා ඉවර නිසා, මේක ප්‍රයෝජනවත් කියලා හිතුනනම් like කරලා share කරන්න. මුලින්ම updates ලබා ගන්න කැමති නම්, මාව follow කරන්නත් පුළුවන්!
මගේ ලිපිය කියෙව්වට ස්තූතියි. ඊළඟ වතාවේ හමුවෙමු.
චෙන් වෙයිලියැන්ග්ගේ බ්ලොග් අඩවියේ ( https://www.chenweiliang.com/ ) බෙදාගත් "HeadlessChrome හි අසාමාන්‍ය රථවාහන පිපිරීමක්? Cloudflare හි 3-පියවර මාර්ගෝපදේශය එය සම්පූර්ණයෙන්ම අවහිර කිරීමට (WAF නීති සමඟ)" යන ලිපිය ඔබට ප්‍රයෝජනවත් වනු ඇතැයි අපි බලාපොරොත්තු වෙමු.
මෙම ලිපියේ සබැඳිය බෙදා ගැනීමට නිදහස් වන්න: https://www.chenweiliang.com/cwl-34500.html