HeadlessChrome g'ayritabiiy darajada yuqori trafikni boshdan kechirmoqdami? Uni butunlay blokirovka qilish bo'yicha Cloudflare'ning 3 bosqichli qo'llanmasi (WAF qoidalari bilan)

Yaqinda veb-saytning orqa tomonini tekshirib ko'rdim va o'rtacha kunlik tashriflar atigi bir necha mingni tashkil qiladi.

Google Analytics’ni ochganimda, butunlay hayratda qoldim.

Bir kuni sahifa ko'rishlarim to'satdan 20 000 dan oshdi va nihoyat mashhur bo'laman deb o'ylab, juda xursand bo'ldim. Lekin brauzer distributivini diqqat bilan tekshirib ko'rganimda, trafikning 90% "HeadlessChrome" deb nomlangan narsadan kelganini aniqladim.

Men ChatGTP dan bu qanday brauzer ekanligini so'radim. Bu Chrome ning yangi versiyasimi?

Sun'iy intellekt bu brauzer emasligini aytdi.

Bu robot.

HeadlessChrome nima o'zi?

HeadlessChrome, nomidan ko'rinib turibdiki, Chrome'ning boshsiz rejimidir. Chrome - bu siz har kuni foydalanadigan brauzer. Headless rejimi brauzerning grafik interfeysini o'chirib qo'yadi va unga faqat buyruq satri yordamida fonda ishlashga imkon beradi.

Manzil satri, xatcho'plar paneli yo'q, siz ko'ra oladigan hech narsa yo'q. Bu shunchaki brauzer dvigatelini ishga tushiradigan, veb-sahifangizni yuklaydigan va keyin kontentni qirib tashlaydigan kod parchasi.

Haqiqiy foydalanuvchilar hech qachon internetda sayr qilish uchun bunday narsadan foydalanmaydilar. Siz va men yangiliklarni o'qish, videolarni tomosha qilish va Taobao'da xarid qilish uchun Chrome'ni ochamiz . HeadlessChrome ma'lumotlaringizni qirib tashlash va ketish uchun veb-sahifangizni ochadi.

Shunday qilib, HeadlessChrome statistika serveringizdagi trafikning 80% yoki hatto 90% ni tashkil qilishini ko'rsangiz, bu trafik 100% bot trafiki degan xulosaga kelishingiz mumkin.

Bu bot trafikining barchasi qaerdan keladi?

Rostini aytsam, manbalar juda xilma-xil.

Eng keng tarqalgan misol - veb-skriping. Ba'zi kompaniyalar yoki shaxslar boshsiz brauzerlarni ishga tushirish va veb-sahifa kontentini ommaviy ravishda skrip qilish uchun Puppeteer, Playwright yoki Selenium kabi avtomatlashtirish tizimlaridan foydalanadilar. Ba'zilari mahsulot narxlarini, ba'zilari yangiliklar maqolalarini va ba'zilari raqobatchilar ma'lumotlarini skrip qilishadi.

Va keyin sun'iy intellekt mavjud. Endi turli xil sun'iy intellekt vositalari, sun'iy intellekt qidiruv tizimlari va sun'iy intellektni qidirish tizimlari veb-sahifalarni fonda tahlil qilmoqda. Maqola nashr qilganingizda, o'nlab sun'iy intellekt agentlari bir vaqtning o'zida sizning kontentingizni o'qishi mumkin.

Yana bir nozikroq usul - bu o'zingizning rejalashtirilgan vazifalaringiz. Masalan, siz HeadlessChrome yordamida har soatda ma'lum bir sahifaning reyting o'zgarishlarini tekshiradigan SEO monitoring skriptini joylashtirishingiz mumkin. Yoki siz ushbu vositadan foydalanib, vaqti-vaqti bilan sahifaning rasmlarini oladigan avtomatik skrinshot xizmatini o'rnatishingiz mumkin.

Eng zerikarli turi oxirgisi: zararli skanerlash. Avtomatlashtirilgan skriptlar veb-saytingizni zaifliklarni tekshirish, orqa tomonga kirish interfeysingizni tekshirish va hatto ommaviy ravishda spam-izohlarni yuborish uchun ishlaydi.

Statistika orqa tomoni HeadlessChrome-ni qanday aniqlaydi?

Aslida bu juda oddiy. Har bir brauzer veb-sahifaga kirishda so'rov sarlavhasiga "User-Agent" maydonini qo'shadi va bu serverga "men kimligimni" aytadi. HeadlessChrome-ning standart User-Agentida "HeadlessChrome" satri mavjud. Sizning tahlil tizimingiz ushbu maydonni tahlil qilgandan so'ng buni bilib oladi.

Biroq, agar veb-qidiruv vositasini ishlab chiquvchi kodga ozgina o'zgartirish kiritsa, User-Agentni oddiy Chrome yoki Safari identifikatoriga o'zgartirsa, statistika orqa tomonidan umuman ayta olmaysiz. Bu haqiqiy bosh og'rig'i.

foydalanishCloudFlare WAF Headless Chrome’ni aniq bloklaydi.

Xo'sh, muammoni aniqladik. Uni qanday hal qilamiz?

Eng to'g'ridan-to'g'ri va samarali yechim - trafikni CDN yoki WAF qatlamida ushlab turish. Trafikni qayta ishlashdan oldin serveringizga yetib borishini kutmang; uni eshik oldida bloklang.

Agar siz Cloudflare dan foydalanayotgan bo'lsangiz, operatsiya aslida juda oddiy.

Cloudflare konsolingizga kiring, maqsadli domenni tanlang, Xavfsizlikni toping, so'ngra WAF tugmasini bosing, so'ngra Maxsus qoidalarga o'ting va yangi qoida yarating.

Qoida nomi istalgan narsa bo'lishi mumkin, masalan, "Challenge Headless Chrome"va shunga o'xshashlar,

Shunchaki eslab qoling.

Maydon tanlashUser AgentOperatorni tanlashcontains, qiymatni to'ldiringHeadlessChrome.

Bu nuqtada siz oldindan ko'rish ifodasini ko'rasiz, buhttp.user_agent contains "HeadlessChrome"

Keyin operatsiyada tanlangManaged ChallengeyokiJS Challenge.

• Men tanlashni taklif qilamanManaged ChallengeChunki uning tekshirish usuli yanada aqlli va haqiqiy foydalanuvchilarga kamroq ta'sir qiladi.

Nihoyat, "Joylashtirish" tugmasini bosing va bu qoida butun dunyo bo'ylab kuchga kiradi.

Cloudflare butun dunyo bo'ylab yuzlab tugunlarga ega, ular ikkinchi darajali sinxronizatsiya bilan sozlangan. Asosan, boshsiz brauzerning trafiki tugmani bosishingiz bilan bloklanadi.

Himoya va ilg'or profilaktikadagi ko'r nuqtalar

Biroq, bir "lekin" bor.

Faqatgina User-Agentni moslashtirish ko'pgina veb-brauzer konfiguratsiyalarini standart sozlamalar bilan hal qilishi mumkin. Biroq, bu malakali brauzerlarga qarshi yetarli emas.

Chrome 110 dan boshlab, Google yangi boshsiz rejimni taqdim etdi, unda...--headless=newParametrni ishga tushirish. Ushbu rejimda HeadlessChrome foydalanuvchi agenti oddiy Chrome bilan bir xil va siz farqni umuman ko'ra olmaysiz.

Shuningdek, faol ravishda soxtalashtiruvchilar ham mavjud. Veb-qidiruv dasturchilari foydalanuvchi agentini koddagi oddiy Chrome yoki mobil brauzer identifikatori bilan to'g'ridan-to'g'ri almashtiradilar, bu esa hatto eng aniq qoidalar bilan ham mos kelishni imkonsiz qiladi.

Ushbu vaziyat uchun Cloudflare shuningdek, yoqilishi mumkin bo'lgan yana ikkita rivojlangan xususiyatni taklif etadi.

Birinchisi Brauzer yaxlitligini tekshirish deb ataladi.

Ushbu funksiyani yoqish uchun Xavfsizlik → Sozlamalar → Brauzer yaxlitligini tekshirish bo'limiga o'ting va tugmani yoqing.

U TLS barmoq izlari orqali g'ayritabiiy trafikni aniqlaydi. Foydalanuvchi agentini qanchalik yaxshi yashirsangiz ham, TLS barmoq izini soxtalashtirib bo'lmaydi.

Ikkinchisi Bot Fight Mode yoki robot jang rejimi deb ataladi.

Yo'l Xavfsizlik → Avtomatik Dasturlar → Bot Jang Rejimi bo'lib, uni ham yoqish kerak.

Bu xususiyat trafikning botlarga tegishli ekanligini aniqlash uchun xulq-atvor xususiyatlarini birlashtiradi, masalan, so'rov chastotasi, sichqoncha harakati traektoriyasi, sahifaning kutish vaqti va boshqalar.

Bepul versiya shubhali botlarga avtomatik ravishda boshqariladigan muammolarni qo'llaydi, pullik versiya esa qoida konfiguratsiyasini batafsilroq ko'rib chiqish imkonini beradi.

Spamdan tortib veb-qidiruv tizimlarigacha, hujumchilar va himoyachilar o'rtasidagi kurash hech qachon to'xtamagan.

Bu haqda gapirganda, to'satdan bir narsa xayolga keldi.

Darhaqiqat, bu turdagi hujumkor va mudofaa qarama-qarshiligi internet tarixi davomida davom etib kelgan. Dastlabki kunlarda spam keng tarqalgan paytda ham xuddi shunday edi; siz bitta funksiyani blokladingiz va jo'natuvchi uni o'zgartirdi. Siz kalit so'zlarni filtrlashdan foydalandingiz va jo'natuvchi nozik so'zlarni ajratdi. Siz chastota chegaralaridan foydalandingiz va jo'natuvchi yuborish chastotasini kamaytirdi.

Bugungi kunda bu veb-saytlar va veb-qidiruv tizimlari o'rtasidagi jangga aylandi. Siz User-Agent filtrlashdan foydalanasiz, ikkinchi tomon esa User-Agentni taqlid qiladi. Siz TLS barmoq izlaridan foydalanasiz va ikkinchi tomon TLS barmoq izlarini qanday simulyatsiya qilishni o'rganishni boshlaydi.

Texnologiya o'zgarishi mumkin, ammo o'yin nazariyasining asosiy mantig'i hech qachon o'zgarmagan.

Biroq, aksariyat veb-sayt egalari uchun oldingi bosqichni bajarish kifoya.

Boshsiz Chrome trafikining 80% o'zlarini yashirishga juda dangasa bo'lgan standart konfiguratsiyali brauzerlardan keladi, bu esa bitta WAF qoidasi bilan hal qilinishi mumkin. Murakkab niqoblarga ega bo'lganlarga kelsak, agar sizda himoyaga muhtoj bo'lgan ayniqsa maxfiy ma'lumotlar bo'lmasa, ortiqcha tashvishlanishga hojat yo'q.

Barcha kerakli funksiyalarni yoqgandan so'ng, siz asosan tayyorsiz.

Nihoyat, yana bir narsani qo'shmoqchiman.

Ko'p odamlar veb-sayt trafiki qancha ko'p bo'lsa, shuncha yaxshi, deb hisoblashadi. Biroq, agar siz haqiqiy trafik va botlarni ajrata olmasangiz, bu ko'tarilgan raqamlar shunchaki bema'nilik ko'rsatkichlari. Ular hatto sizning fikringizni chalg'itishi mumkin, bu esa ma'lum bir kontent, ayniqsa, sahifangizni ommaviy yuklayotgan veb-qidiruv vositasi bo'lsa, ayniqsa mashhur deb o'ylashga majbur qiladi.

Yo'l harakati ko'rsatkichlarini aniqlashdan ko'ra, uning asl mohiyatini tushunish ancha muhimroq.

Agar veb-saytlarni boshqaradigan yoki SEO bilan shug'ullanadigan do'stlaringiz bo'lsa, ushbu maqolani ularga yuborishingiz mumkin. Ko'p odamlar o'z veb-saytlariga ko'plab botlar hujum qilayotganini anglamasliklari mumkin, shuningdek, bu muammoni hal qilish aslida juda oddiy ekanligini bilishmaydi.

Siz shu yergacha o'qiganingiz uchun, agar foydali bo'lgan bo'lsa, iltimos, layk bosing va ulashing. Agar birinchi bo'lib yangiliklardan xabardor bo'lishni istasangiz, meni kuzatib borishingiz ham mumkin!

Maqolamni o'qiganingiz uchun tashakkur. Keyingi safar ko'rishguncha.