Ali ima HeadlessChrome nenavadno veliko prometa? Cloudflarejev 3-stopenjski vodnik za popolno blokiranje (s pravili WAF)

Pred kratkim sem preveril zaledno delovanje spletnega mesta in povprečni dnevni obiski so le nekaj tisoč.

Ko sem odprl Google Analytics, sem bil popolnoma osupel.

Nekega dne se je število ogledov moje strani nenadoma povečalo na več kot 20.000 in bil sem navdušen, saj sem mislil, da bom končno postal slaven. Toda po natančnejšem pregledu porazdelitve brskalnikov sem ugotovil, da 90 % prometa prihaja iz nečesa, kar se imenuje »HeadlessChrome«.

Vprašal sem ChatGTP, kateri brskalnik je to? Je to nova različica Chroma?

Umetna inteligenca je odgovorila, da to ni brskalnik.

To je robot.

Kaj točno je HeadlessChrome?

HeadlessChrome, kot že ime pove, je Chromeov način brez glave. Chrome je brskalnik, ki ga uporabljate vsak dan. Način brez glave onemogoči grafični vmesnik brskalnika in mu omogoči delovanje v ozadju samo z ukazno vrstico.

Ni naslovne vrstice, vrstice z zaznamki, ničesar, kar bi lahko videli. To je le delček kode, ki pokliče brskalnik, naloži vašo spletno stran in nato strga vsebino.

Pravi uporabniki ne bi nikoli uporabili česa takega za brskanje po spletu. Midva odpreva Chrome za branje novic, gledanje videoposnetkov in nakupovanje na Taobau . HeadlessChrome odpre vašo spletno stran, da postrga vaše podatke in odide.

Ko torej vidite, da HeadlessChrome predstavlja 80 % ali celo 90 % prometa v vašem statističnem zaledju, lahko sklepate, da je ta promet 100 % prometa botov.

Od kod prihaja ves ta promet botov?

Iskreno povedano, viri so zelo raznoliki.

Najpogostejši primer je spletno strganje. Nekatera podjetja ali posamezniki uporabljajo ogrodja za avtomatizacijo, kot so Puppeteer, Playwright ali Selenium, za zagon brskalnikov brez glave in paketno strganje vsebine spletnih strani. Nekateri strgajo cene izdelkov, nekateri strgajo novice in nekateri strgajo podatke o konkurenci.

In potem je tu še umetna inteligenca. Različna orodja umetne inteligence, iskalniki z umetno inteligenco in sistemi za iskanje z umetno inteligenco v ozadju razčlenjujejo spletne strani. Ko objavite članek, lahko vašo vsebino hkrati bere več deset agentov umetne inteligence.

Druga, bolj subtilna metoda so vaša lastna načrtovana opravila. Na primer, lahko z uporabo orodja HeadlessChrome namestimo skript za spremljanje SEO , ki vsako uro preverja spremembe uvrstitve določene strani. Lahko pa nastavimo samodejno storitev za posnetke zaslona, ​​ki periodično posname slike strani, prav tako z uporabo tega orodja.

Najbolj nadležna vrsta je zadnja: zlonamerno skeniranje. Avtomatizirani skripti se izvajajo za skeniranje vašega spletnega mesta za ranljivosti, testiranje vašega prijavnega vmesnika in celo za množično pošiljanje neželenih komentarjev.

Kako statistični zaledni sistem prepozna HeadlessChrome?

Pravzaprav je precej preprosto. Vsak brskalnik pri dostopu do spletne strani v glavo zahteve vključi polje User-Agent, ki strežniku pove, »kdo sem«. Privzeti User-Agent brskalnika HeadlessChrome vključuje niz »HeadlessChrome«. Vaš analitični sistem bo to vedel, ko bo to polje razčlenil.

Če pa razvijalec spletnega pajka nekoliko spremeni kodo in spremeni uporabniškega agenta v običajni identifikator Chroma ali Safarija, tega v zaledju statističnih podatkov sploh ne boste mogli ugotoviti. To je prava težava.

用Cloudflare WAF natančno blokira Headless Chrome.

V redu, prepoznali smo težavo. Kako jo bomo rešili?

Najbolj neposredna in učinkovita rešitev je prestrezanje prometa na ravni CDN ali WAF. Ne čakajte, da promet doseže vaš strežnik, preden ga obdelate; blokirajte ga na pragu.

Če uporabljate Cloudflare, je postopek pravzaprav zelo preprost.

Prijavite se v konzolo Cloudflare, izberite ciljno domeno, poiščite možnost Varnost, nato kliknite WAF, nato pojdite na Pravila po meri in ustvarite novo pravilo.

Ime pravila je lahko poljubno, na primer "Challenge Headless Chrome"in podobno,

Samo zapomni si.

Izbira poljaUser AgentIzbira operaterjacontains, vnesite vrednostHeadlessChrome.

Na tej točki boste videli predogled izraza, ki jehttp.user_agent contains "HeadlessChrome"

Nato v operaciji izberiteManaged ChallengealiJS Challenge.

• Predlagam, da izbereteManaged ChallengeKer je njegova metoda preverjanja bolj inteligentna in ima manjši vpliv na dejanske uporabnike.

Na koncu kliknite Uvedi in to pravilo bo začelo veljati globalno.

Cloudflare ima po vsem svetu na stotine vozlišč, konfiguriranih s sinhronizacijo druge ravni. V bistvu se promet brskalnika brez glave blokira v trenutku, ko kliknete gumb.

Slepe pege pri zaščiti in napredni preventivi

Vendar pa obstaja "ampak".

Samo ujemanje uporabniškega agenta lahko reši večino konfiguracij spletnega pajka s privzetimi nastavitvami. Vendar to ni dovolj proti izkušenim pajkom.

Google je s Chromom 110, začenši z novim načinom brez nadzora, predstavil nov način brez nadzora ...--headless=newZagon parametra. V tem načinu je uporabniški agent HeadlessChrome popolnoma enak kot v običajnem Chromu in razlike sploh ni opaziti.

Obstajajo tudi tisti, ki aktivno ponarejajo. Razvijalci spletnih pajkov v kodi neposredno zamenjajo uporabniškega agenta z običajnim identifikatorjem brskalnika Chrome ali mobilnega brskalnika, zaradi česar je nemogoče ujemanje niti z najbolj natančnimi pravili.

V tej situaciji Cloudflare ponuja tudi dve naprednejši funkciji, ki ju je mogoče omogočiti.

Prvi se imenuje Preverjanje integritete brskalnika.

Če želite omogočiti to funkcijo, pojdite v Varnost → Nastavitve → Preverjanje integritete brskalnika in vklopite stikalo.

Prepozna nenormalen promet prek prstnih odtisov TLS. Ne glede na to, kako dobro prikrijete uporabniškega agenta, prstnega odtisa TLS ni mogoče ponarediti.

Drugi se imenuje Bot Fight Mode ali način robotskega boja.

Pot je Varnost → Samodejni programi → Način boja z boti, ki bi moral biti tudi omogočen.

Ta funkcija združuje vedenjske značilnosti, da ugotovi, ali promet pripada botom, kot so pogostost zahtev, pot gibanja miške, čas zadrževanja na strani itd.

Brezplačna različica bo samodejno uporabila upravljane izzive za sumljive bote, medtem ko plačljiva različica omogoča natančnejšo konfiguracijo pravil.

Od neželene pošte do spletnih pajkov se boj med napadalci in branilci ni nikoli ustavil.

Ko smo že ravno pri tem, mi je nenadoma nekaj prišlo na misel.

Pravzaprav se ta vrsta ofenzivnega in obrambnega soočenja odvija skozi celotno zgodovino interneta. Enako je bilo, ko je v zgodnjih dneh divjala neželena pošta; blokirali ste eno funkcijo in pošiljatelj jo je spremenil. Uporabili ste filtriranje ključnih besed in pošiljatelj je razčlenil občutljive besede. Uporabili ste omejitve pogostosti in pošiljatelj je zmanjšal pogostost pošiljanja.

Danes je to postal boj med spletnimi stranmi in spletnimi pajki. Vi uporabljate filtriranje uporabniškega agenta, druga stran pa pooseblja uporabniškega agenta. Vi uporabljate TLS prstne odtise, druga stran pa začne raziskovati, kako simulirati TLS prstne odtise.

Tehnologija se morda spreminja, vendar se osnovna logika teorije iger ni nikoli spremenila.

Vendar pa je za večino lastnikov spletnih mest prejšnji korak dovolj.

80 % prometa v Chromu brez nadzora izvira iz pajkov s privzeto konfiguracijo, ki so preveč leni, da bi se prikrili, kar je mogoče rešiti z enim samim pravilom WAF. Kar zadeva tiste s prefinjenimi prikritji, razen če imate posebej občutljive podatke, ki potrebujejo zaščito, ni treba pretirano skrbeti.

Ko omogočite vse potrebne funkcije, ste v bistvu pripravljeni.

Na koncu bi rad dodal še nekaj.

Mnogi ljudje verjamejo, da več prometa na spletni strani pomeni boljše. Če pa ne morete ločiti med dejanskim prometom in boti, so te naraščajoče številke le nečimrne meritve. Lahko celo zavajajo vašo presojo in vas navedejo, da mislite, da je določena vsebina še posebej priljubljena, medtem ko gre zgolj za spletni pajek, ki množično nalaga vašo stran.

Razumevanje resnične narave prometa je veliko pomembnejše od sledenja prometnim številkam.

Če imate prijatelje, ki vodijo spletne strani ali se ukvarjajo z SEO, jim lahko ta članek posredujete. Mnogi ljudje se morda ne zavedajo, da njihova spletna mesta napada veliko število botov, niti ne vedo, da je rešitev te težave pravzaprav precej preprosta.

Ker ste prebrali do sem, vas prosim, da všečkate in delite, če se vam je zdelo koristno. Če želite prvi prejemati posodobitve, mi lahko tudi sledite!

Hvala, ker ste prebrali moj članek. Se vidimo naslednjič.