HeadlessChrome அசாதாரணமாக அதிக டிராஃபிக்கை எதிர்கொள்கிறதா? அதை முழுமையாகத் தடுப்பதற்கான Cloudflare-இன் 3-படி வழிகாட்டி (WAF விதிகளுடன்)

நான் சமீபத்தில் வலைத்தளத்தின் பின்தளத்தைச் சரிபார்த்தேன், அதில் சராசரி தினசரி வருகைகள் சில ஆயிரங்கள் மட்டுமே உள்ளன.

நான் கூகுள் அனலிட்டிக்ஸைத் திறந்தபோது, ​​முற்றிலும் திகைத்துப்போனேன்.

ஒரு நாள், என் பக்கப் பார்வைகள் திடீரென 20,000-ஐத் தாண்டி உயர்ந்தன. நான் இறுதியாகப் பிரபலமாகிவிட்டேன் என்று எண்ணிப் பேரானந்தம் அடைந்தேன். ஆனால், உலாவி விநியோகத்தை உன்னிப்பாக ஆய்வு செய்தபோது, ​​90% போக்குவரத்து "ஹெட்லெஸ் குரோம்" (HeadlessChrome) எனப்படும் ஒன்றிலிருந்து வருவதைக் கண்டறிந்தேன்.

இது என்ன உலாவி? இது குரோமின் புதிய பதிப்பா? என்று நான் ChatGTP-யிடம் கேட்டேன்.

இது ஒரு உலாவி அல்ல என்று அந்தச் செயற்கை நுண்ணறிவு பதிலளித்தது.

இது ஒரு ரோபோ.

ஹெட்லெஸ் குரோம் என்றால் சரியாக என்ன?

பெயர் குறிப்பிடுவது போலவே, ஹெட்லெஸ் குரோம் என்பது குரோமின் வரைகலை இடைமுகம் இல்லாத பயன்முறையாகும். குரோம் என்பது நீங்கள் தினமும் பயன்படுத்தும் உலாவி. வரைகலை இடைமுகம் இல்லாத பயன்முறையானது, உலாவியின் வரைகலை இடைமுகத்தை முடக்கி, கட்டளை வரியை மட்டும் பயன்படுத்தி அதை பின்னணியில் இயங்க அனுமதிக்கிறது.

முகவரிப் பட்டி இல்லை, புக்மார்க்ஸ் பட்டி இல்லை, நீங்கள் பார்க்கக்கூடிய எதுவும் இல்லை. அது ஒரு பிரவுசர் இன்ஜினை இயக்கி, உங்கள் வலைப்பக்கத்தை ஏற்றி, பின்னர் அதன் உள்ளடக்கத்தைச் சுரண்டி எடுக்கும் ஒரு நிரல் துண்டு மட்டுமே.

உண்மையான பயனர்கள் இணையத்தில் உலாவ இது போன்ற ஒன்றை ஒருபோதும் பயன்படுத்த மாட்டார்கள். நீங்களும் நானும் செய்திகளைப் படிக்கவும், வீடியோக்களைப் பார்க்கவும், Taobao- வில் ஷாப்பிங் செய்யவும் Chrome-ஐத் திறக்கிறோம் . HeadlessChrome உங்கள் தரவுகளைச் சுரண்டிவிட்டு வெளியேறுவதற்காக உங்கள் வலைப்பக்கத்தைத் திறக்கிறது.

எனவே, உங்கள் புள்ளிவிவரப் பின்தளத்தில் HeadlessChrome 80% அல்லது 90% போக்குவரத்தைக் கொண்டிருப்பதைக் காணும்போது, ​​இந்தப் போக்குவரத்து 100% போட் போக்குவரத்து என்று நீங்கள் முடிவு செய்யலாம்.

இந்த போட் போக்குவரத்து எல்லாம் எங்கிருந்து வருகிறது?

உண்மையைச் சொல்வதானால், ஆதாரங்கள் மிகவும் வேறுபட்டவை.

இதற்கு மிகவும் பொதுவான உதாரணம் வலைவழித் தரவுச் சேகரிப்பு (web scraping) ஆகும். சில நிறுவனங்கள் அல்லது தனிநபர்கள், வலைப்பக்க உள்ளடக்கத்தைத் திரையில் காட்டாத உலாவிகளை (headless browsers) இயக்கி, வலைப்பக்க உள்ளடக்கத்தை மொத்தமாகச் சேகரிப்பதற்காக பப்பெட்டியர் (Puppeteer), பிளேரைட் (Playwright) அல்லது செலினியம் (Selenium) போன்ற தானியக்கக் கட்டமைப்புகளைப் (automation frameworks) பயன்படுத்துகின்றனர். சிலர் தயாரிப்பு விலைகளையும், சிலர் செய்திக் கட்டுரைகளையும், மேலும் சிலர் போட்டியாளர்களின் தரவுகளையும் சேகரிக்கின்றனர்.

மேலும், செயற்கை நுண்ணறிவும் உள்ளது. தற்போது, ​​பல்வேறு செயற்கை நுண்ணறிவுக் கருவிகள், தேடுபொறிகள் மற்றும் மீட்டெடுப்பு அமைப்புகள் அனைத்தும் பின்னணியில் வலைப்பக்கங்களைப் பகுப்பாய்வு செய்கின்றன. நீங்கள் ஒரு கட்டுரையை வெளியிடும்போது, ​​டஜன் கணக்கான செயற்கை நுண்ணறிவு முகவர்கள் ஒரே நேரத்தில் உங்கள் உள்ளடக்கத்தைப் படித்துக்கொண்டிருக்கலாம்.

மற்றொரு, இன்னும் நுட்பமான முறை என்பது உங்கள் சொந்த திட்டமிடப்பட்ட பணிகளாகும். உதாரணமாக, HeadlessChrome-ஐப் பயன்படுத்தி, ஒவ்வொரு மணி நேரமும் ஒரு குறிப்பிட்ட பக்கத்தின் தரவரிசை மாற்றங்களைச் சரிபார்க்கும் ஒரு SEO கண்காணிப்பு ஸ்கிரிப்டை நீங்கள் நிறுவலாம். அல்லது, இதே கருவியைப் பயன்படுத்தி, பக்கத்தின் படங்களை அவ்வப்போது எடுக்கும் ஒரு தானியங்கி ஸ்கிரீன்ஷாட் சேவையையும் நீங்கள் அமைக்கலாம்.

மிகவும் எரிச்சலூட்டும் வகை கடைசியானது: தீங்கிழைக்கும் ஸ்கேனிங். தானியங்கு ஸ்கிரிப்டுகள் இயங்கி, உங்கள் இணையதளத்தில் உள்ள பாதுகாப்புக் குறைபாடுகளை ஸ்கேன் செய்யவும், உங்கள் பின்தள உள்நுழைவு இடைமுகத்தைச் சோதிக்கவும், மேலும் மொத்தமாக ஸ்பேம் கருத்துகளைச் சமர்ப்பிக்கவும் செய்கின்றன.

புள்ளிவிவர பின்தளம் ஹெட்லெஸ் குரோமை எவ்வாறு அடையாளம் காண்கிறது?

உண்மையில் இது மிகவும் எளிமையானது. ஒவ்வொரு உலாவியும் ஒரு வலைப்பக்கத்தை அணுகும்போது, ​​அதன் கோரிக்கை தலைப்பில் (request header) 'நான் யார்' என்பதை சேவையகத்திற்குத் தெரிவிக்கும் ஒரு பயனர் முகவர் (User-Agent) புலத்தைச் சேர்க்கிறது. HeadlessChrome-இன் இயல்புநிலை பயனர் முகவர், "HeadlessChrome" என்ற சரத்தைக் கொண்டுள்ளது. உங்கள் பகுப்பாய்வு அமைப்பு இந்தப் புலத்தைப் பகுப்பாய்வு செய்தவுடன் இதை அறிந்துகொள்ளும்.

இருப்பினும், வெப் கிராலர் டெவலப்பர் கோடில் ஒரு சிறிய மாற்றத்தைச் செய்து, யூசர்-ஏஜென்ட்டை ஒரு சாதாரண குரோம் அல்லது சஃபாரி அடையாளங்காட்டியாக மாற்றினால், புள்ளிவிவரப் பின்தளத்திலிருந்து உங்களால் அதைக் கண்டறியவே முடியாது. இதுதான் உண்மையான தலைவலி.

க்குCloudFlare WAF, ஹெட்லெஸ் குரோமைத் துல்லியமாகத் தடுக்கிறது.

சரி, நாம் சிக்கலைக் கண்டறிந்துவிட்டோம். அதை எப்படித் தீர்ப்பது?

CDN அல்லது WAF அடுக்கிலேயே தரவுப் போக்குவரத்தை இடைமறிப்பதே மிகவும் நேரடியான மற்றும் பயனுள்ள தீர்வாகும். தரவுப் போக்குவரத்து உங்கள் சேவையகத்தை வந்தடையும் வரை காத்திருந்து அதைச் செயலாக்க வேண்டாம்; வாசலிலேயே அதைத் தடுத்துவிடுங்கள்.

நீங்கள் கிளவுட்ஃபிளேரைப் பயன்படுத்தினால், இந்தச் செயல்பாடு உண்மையில் மிகவும் எளிமையானது.

உங்கள் Cloudflare கன்சோலில் உள்நுழைந்து, இலக்கு டொமைனைத் தேர்ந்தெடுத்து, பாதுகாப்பைக் (Security) கண்டறிந்து, பின்னர் WAF-ஐக் கிளிக் செய்து, தனிப்பயன் விதிகளுக்குச் (Custom Rules) சென்று, ஒரு புதிய விதியை உருவாக்கவும்.

விதியின் பெயர் எதுவாகவும் இருக்கலாம், எடுத்துக்காட்டாக, "Challenge Headless Chromeமற்றும் அது போன்றவைகள்,

அதை நினைவில் வைத்துக் கொள்ளுங்கள்.

புலத் தேர்வுUser Agentஆபரேட்டர் தேர்வுcontainsமதிப்பை நிரப்பவும்HeadlessChrome.

இந்தக் கட்டத்தில் நீங்கள் ஒரு முன்னோட்ட வெளிப்பாட்டைக் காண்பீர்கள், அது...http.user_agent contains "HeadlessChrome"

பின்னர் செயல்பாட்டில் தேர்ந்தெடுக்கவும்Managed Challengeஅல்லதுJS Challenge.

• தேர்ந்தெடுக்குமாறு நான் பரிந்துரைக்கிறேன்.Managed Challengeஏனெனில் அதன் சரிபார்ப்பு முறை மிகவும் புத்திசாலித்தனமானது மற்றும் உண்மையான பயனர்கள் மீது குறைவான தாக்கத்தையே ஏற்படுத்துகிறது.

இறுதியாக, 'செயல்படுத்து' (Deploy) என்பதைக் கிளிக் செய்யவும், இந்த விதி உலகளவில் நடைமுறைக்கு வரும்.

கிளவுட்ஃபிளேர் உலகெங்கிலும் இரண்டாம் நிலை ஒத்திசைவுடன் கட்டமைக்கப்பட்ட நூற்றுக்கணக்கான நோடுகளைக் கொண்டுள்ளது. அடிப்படையில், நீங்கள் பொத்தானைக் கிளிக் செய்த உடனேயே ஹெட்லெஸ் பிரவுசரின் போக்குவரத்து தடுக்கப்படுகிறது.

பாதுகாப்பு மற்றும் மேம்பட்ட தடுப்பில் உள்ள குறைபாடுகள்

ஆனாலும், ஒரு 'ஆனால்' இருக்கிறது.

இயல்புநிலை அமைப்புகளுடன் User-Agent-ஐ மட்டும் பொருத்துவதன் மூலம் பெரும்பாலான வலை ஊர்வனவற்றின் உள்ளமைப்புகளைச் சரிசெய்ய முடியும். இருப்பினும், திறமையான ஊர்வனவற்றுக்கு எதிராக இது போதுமானதாக இல்லை.

Chrome 110-இல் தொடங்கி, கூகிள் ஒரு புதிய ஹெட்லெஸ் பயன்முறையை அறிமுகப்படுத்தியது, அது...--headless=newஅளவுரு தொடக்கம். இந்தப் பயன்முறையில், HeadlessChrome-இன் பயனர் முகவர் (User-Agent) வழக்கமான Chrome-இன் பயனர் முகவரைப் போலவே இருக்கும், மேலும் உங்களால் வேறுபாட்டைச் சிறிதும் கண்டறிய முடியாது.

தீவிரமாக ஏமாற்றுபவர்களும் உள்ளனர். வலை கிராலர் உருவாக்குநர்கள், குறியீட்டில் உள்ள யூசர்-ஏஜென்ட்டை ஒரு சாதாரண குரோம் அல்லது மொபைல் உலாவி அடையாளங்காட்டியுடன் நேரடியாக மாற்றிவிடுகிறார்கள். இதனால், மிகவும் துல்லியமான விதிகளைக் கொண்டு கூட பொருத்துவது சாத்தியமற்றதாகிறது.

இந்தச் சூழ்நிலைக்காக, கிளவுட்ஃபிளேர் செயல்படுத்தக்கூடிய மேலும் இரண்டு மேம்பட்ட அம்சங்களையும் வழங்குகிறது.

முதலாவது உலாவி ஒருமைப்பாட்டுச் சரிபார்ப்பு என்று அழைக்கப்படுகிறது.

இந்த அம்சத்தை இயக்க, பாதுகாப்பு → அமைப்புகள் → உலாவி ஒருமைப்பாட்டுச் சரிபார்ப்பு என்பதற்குச் சென்று , நிலைமாற்றியை இயக்கவும்.

இது TLS கைரேகைகள் மூலம் அசாதாரண தரவுப் போக்குவரத்தை அடையாளம் காண்கிறது. நீங்கள் யூசர்-ஏஜென்ட்டை எவ்வளவு சிறப்பாக மறைத்தாலும், TLS கைரேகையைப் போலியாக உருவாக்க முடியாது.

இரண்டாவது, பாட் ஃபைட் மோடு அல்லது ரோபோ சண்டை முறை என்று அழைக்கப்படுகிறது.

அதற்கான வழி பாதுகாப்பு → தானியங்கி நிரல்கள் → போட் ஃபைட் மோடு ஆகும், அதையும் இயக்க வேண்டும்.

இந்த அம்சம், கோரிக்கை அதிர்வெண், மவுஸ் அசைவின் பாதை, பக்கத்தில் செலவிடும் நேரம் போன்ற நடத்தை சார்ந்த பண்புகளை ஒருங்கிணைத்து, போக்குவரத்து போட்களுக்குச் சொந்தமானதா என்பதைத் தீர்மானிக்கிறது.

இலவசப் பதிப்பு சந்தேகத்திற்கிடமான போட்களுக்கு நிர்வகிக்கப்பட்ட சவால்களைத் தானாகவே செயல்படுத்தும், அதே சமயம் கட்டணப் பதிப்பு மேலும் நுணுக்கமான விதி உள்ளமைவை அனுமதிக்கிறது.

ஸ்பேம் முதல் வெப் கிராலர்கள் வரை, தாக்குபவர்களுக்கும் தடுப்பவர்களுக்கும் இடையிலான போராட்டம் ஒருபோதும் ஓயவில்லை.

அதைப்பற்றிப் பேசும்போது, ​​திடீரென்று ஒன்று நினைவுக்கு வந்தது.

உண்மையில், இந்த வகையான தாக்குதல் மற்றும் தற்காப்பு மோதல் இணையத்தின் வரலாறு நெடுகிலும் நிகழ்ந்து வருகிறது. ஆரம்ப நாட்களில் ஸ்பேம் பரவலாக இருந்தபோதும் இதுபோலவேதான் இருந்தது; நீங்கள் ஒரு அம்சத்தைத் தடுத்தால், அனுப்புநர் அதை மாற்றிவிடுவார். நீங்கள் முக்கியச் சொல் வடிகட்டலைப் பயன்படுத்தினால், அனுப்புநர் முக்கியமான சொற்களைப் பிரித்துவிடுவார். நீங்கள் அனுப்பும் அதிர்வெண் வரம்புகளைப் பயன்படுத்தினால், அனுப்புநர் அனுப்பும் அதிர்வெண்ணைக் குறைத்துவிடுவார்.

இன்று, இது வலைத்தளங்களுக்கும் வலை ஊர்வனவற்றுக்கும் இடையிலான ஒரு போராக மாறியுள்ளது. நீங்கள் பயனர் முகவர் வடிகட்டலைப் பயன்படுத்துகிறீர்கள், எதிர்தரப்பு பயனர் முகவராக ஆள்மாறாட்டம் செய்கிறது. நீங்கள் TLS கைரேகைப் பதிவைப் பயன்படுத்துகிறீர்கள், எதிர்தரப்பு TLS கைரேகைப் பதிவுகளை எவ்வாறு போலியாக உருவாக்குவது என்று ஆராயத் தொடங்குகிறது.

தொழில்நுட்பம் மாறலாம், ஆனால் விளையாட்டுக் கோட்பாட்டின் அடிப்படைத் தர்க்கம் ஒருபோதும் மாறியதில்லை.

இருப்பினும், பெரும்பாலான இணையதள உரிமையாளர்களுக்கு முந்தைய படியைச் செய்வதே போதுமானது.

ஹெட்லெஸ் குரோம் டிராஃபிக்கில் 80%, தங்களை மறைத்துக்கொள்ள சோம்பேறித்தனமாக இருக்கும் இயல்புநிலை உள்ளமைவு கிராலர்களிடமிருந்து வருகிறது, இதை ஒரே ஒரு WAF விதியைக் கொண்டு தீர்க்க முடியும். நுட்பமான மாறுவேடங்களைக் கொண்டிருப்பவர்களைப் பொறுத்தவரை, பாதுகாக்கப்பட வேண்டிய மிகவும் முக்கியமான தரவுகள் உங்களிடம் இல்லையென்றால், அதிகமாகக் கவலைப்படத் தேவையில்லை.

தேவையான அனைத்து அம்சங்களையும் இயக்கிவிட்டால், உங்கள் வேலை முடிந்தது.

இறுதியாக, நான் இன்னொன்றையும் சேர்க்க விரும்புகிறேன்.

இணையதளப் போக்குவரத்து எவ்வளவு அதிகமாக இருக்கிறதோ, அவ்வளவு நல்லது என்று பலர் நம்புகிறார்கள். இருப்பினும், உண்மையான போக்குவரத்திற்கும் போட்களுக்கும் இடையில் உங்களால் வேறுபடுத்திப் பார்க்க முடியாவிட்டால், அந்த உயர்ந்து செல்லும் எண்கள் வெறும் பகட்டு அளவீடுகளாகவே இருக்கும். அவை உங்கள் கணிப்பைத் தவறாக வழிநடத்தக் கூடும்; அதாவது, உங்கள் பக்கத்தை மொத்தமாக ஏற்றிக்கொண்டிருக்கும் ஒரு வெப் கிராலராக மட்டுமே அது இருக்கும்போது, ​​ஒரு குறிப்பிட்ட உள்ளடக்கம் மிகவும் பிரபலமானது என்று உங்களை நினைக்க வைத்துவிடும்.

போக்குவரத்து புள்ளிவிவரங்களைத் தேடுவதை விட, போக்குவரத்தின் உண்மையான தன்மையைப் புரிந்துகொள்வது மிகவும் முக்கியமானது.

இணையதளங்களை நடத்தும் அல்லது SEO செய்யும் நண்பர்கள் உங்களுக்கு இருந்தால், இந்தக் கட்டுரையை அவர்களுக்கு அனுப்பலாம். தங்களது இணையதளங்கள் ஏராளமான போட்களால் தாக்கப்படுகின்றன என்பதைப் பலர் உணராமல் இருக்கலாம்; மேலும், இந்தப் பிரச்சனையைத் தீர்ப்பது உண்மையில் மிகவும் எளிமையானது என்பதும் அவர்களுக்குத் தெரியாது.

இதுவரை படித்த உங்களுக்கு இது பயனுள்ளதாக இருந்தால், தயவுசெய்து லைக் செய்து பகிருங்கள். புதிய தகவல்களை முதலில் பெற விரும்பினால், நீங்கள் என்னைப் பின்தொடரவும் செய்யலாம்!

என் கட்டுரையைப் படித்ததற்கு நன்றி. அடுத்த முறை சந்திப்போம்.