Ervaar HeadlessChrome abnormaal hoë verkeer? Cloudflare se 3-stap gids om dit heeltemal te blokkeer (met WAF-reëls)

Ek het onlangs die webwerf se agterkant nagegaan, en die gemiddelde daaglikse besoeke is slegs 'n paar duisend.

Toe ek Google Analytics oopmaak, was ek heeltemal verstom.

Eendag het my bladsybesigtigings skielik tot meer as 20 000 gestyg, en ek was verheug en het gedink ek het uiteindelik beroemd geword. Maar na nadere ondersoek van die blaaierverspreiding het ek ontdek dat 90% van die verkeer van iets genaamd "HeadlessChrome" afkomstig was.

Ek het vir ChatGTP gevra watter blaaier dit is? Is dit 'n nuwe weergawe van Chrome.

Die KI het geantwoord dat dit nie 'n blaaier is nie.

Dit is 'n robot.

Wat presies is HeadlessChrome?

HeadlessChrome, soos die naam aandui, is Chrome se koplose modus. Chrome is die blaaier wat jy elke dag gebruik. Koplose modus deaktiveer die blaaier se grafiese koppelvlak, wat dit toelaat om in die agtergrond te loop met slegs die opdragreël.

Daar is geen adresbalk, geen boekmerkbalk, niks wat jy kan sien nie. Dis net 'n stukkie kode wat 'n blaaier-enjin aanroep, jou webblad laai en dan die inhoud skraap.

Regte gebruikers sou nooit so iets gebruik om op die web te blaai nie. Jy en ek maak Chrome oop om nuus te lees, video's te kyk en op Taobao te koop . HeadlessChrome maak jou webblad oop om jou data te skraap en te vertrek.

So wanneer jy sien dat HeadlessChrome verantwoordelik is vir 80% of selfs 90% van die verkeer in jou statistieke-agtergrond, kan jy aflei dat hierdie verkeer 100% botverkeer is.

Waar kom al hierdie botverkeer vandaan?

Eerlikwaar, die bronne is baie uiteenlopend.

Die mees algemene voorbeeld is webskraap. Sommige maatskappye of individue gebruik outomatiseringsraamwerke soos Puppeteer, Playwright of Selenium om koplose blaaiers te loods en webbladinhoud in groepe te skraap. Sommige skraap produkpryse, sommige skraap nuusartikels en sommige skraap mededingerdata.

En dan is daar KI. Nou is verskeie KI-gereedskap, KI-soekenjins en KI-herwinningstelsels besig om webblaaie in die agtergrond te ontleed. Wanneer jy 'n artikel publiseer, kan dosyne KI-agente gelyktydig jou inhoud lees.

Nog 'n meer subtiele metode is jou eie geskeduleerde take. Byvoorbeeld, jy kan 'n SEO -moniteringskrip ontplooi wat die rangordeveranderinge van 'n spesifieke bladsy elke uur nagaan, met behulp van HeadlessChrome. Of jy kan 'n outomatiese skermkiekiediens opstel wat periodiek foto's van die bladsy neem, ook met behulp van hierdie hulpmiddel.

Die mees irriterende tipe is die laaste een: kwaadwillige skandering. Outomatiese skripte loop om jou webwerf vir kwesbaarhede te skandeer, jou backend-aanmeldkoppelvlak te toets, en selfs strooiposkommentaar in grootmaat in te dien.

Hoe identifiseer die statistieke-agtergrond HeadlessChrome?

Dit is eintlik redelik eenvoudig. Elke blaaier sluit 'n Gebruiker-Agent-veld in sy versoekkop in wanneer 'n webblad besoek word, wat vir die bediener sê "wie ek is". HeadlessChrome se standaard Gebruiker-Agent sluit die string "HeadlessChrome" in. Jou analitiese stelsel sal dit weet sodra dit hierdie veld ontleed.

As die webkruiper-ontwikkelaar egter 'n geringe wysiging aan die kode maak deur die gebruikersagent na 'n normale Chrome- of Safari-identifiseerder te verander, sal jy dit glad nie uit die statistieke-agtergrond kan sien nie. Dit is die eintlike hoofpyn.

gebruikCloudflare WAF blokkeer Headless Chrome presies.

Goed, ons het die probleem geïdentifiseer. Hoe los ons dit op?

Die mees direkte en effektiewe oplossing is om die verkeer by die CDN- of WAF-laag te onderskep. Moenie wag totdat die verkeer jou bediener bereik voordat jy dit verwerk nie; blokkeer dit by die voordeur.

As jy Cloudflare gebruik, is die operasie eintlik baie eenvoudig.

Meld aan by jou Cloudflare-konsole, kies die teikendomein, vind Sekuriteit, klik dan WAF, gaan dan na Pasgemaakte Reëls en skep 'n nuwe reël.

Die reëlnaam kan enigiets wees, byvoorbeeld, "Challenge Headless Chrome"en dies meer,

Onthou dit net.

VeldkeuseUser AgentOperateurkeusecontains, vul die waarde inHeadlessChrome.

Op hierdie stadium sal jy 'n voorskou-uitdrukking sien, wat ishttp.user_agent contains "HeadlessChrome"

Kies dan in die operasieManaged ChallengeofJS Challenge.

• Ek stel voor om te kiesManaged ChallengeOmdat die verifikasiemetode intelligenter is en minder impak op regte gebruikers het.

Klik laastens op Implementeer, en hierdie reël sal wêreldwyd in werking tree.

Cloudflare het honderde nodusse wêreldwyd, gekonfigureer met tweedevlak-sinchronisasie. Basies word die koplose blaaier se verkeer geblokkeer die oomblik as jy op die knoppie klik.

Blinde kolle in beskerming en gevorderde voorkoming

Daar is egter 'n "maar".

Deur alleen die ooreenstemmende Gebruiker-Agent te gebruik, kan die meeste webkruiperkonfigurasies met standaardinstellings opgelos word. Dit is egter nie genoeg teen bekwame kruipers nie.

Beginnende met Chrome 110, het Google 'n nuwe koplose modus bekendgestel, met behulp van ...--headless=newParameter-opstart. In hierdie modus is HeadlessChrome se gebruikersagent presies dieselfde as dié van gewone Chrome, en jy kan glad nie die verskil sien nie.

Daar is ook dié wat aktief namaak. Webkruiper-ontwikkelaars vervang die gebruikersagent direk met 'n normale Chrome- of mobiele blaaier-identifiseerder in die kode, wat dit onmoontlik maak om selfs met die mees presiese reëls te pas.

Vir hierdie situasie bied Cloudflare ook twee meer gevorderde funksies wat geaktiveer kan word.

Die eerste een word Blaaierintegriteitskontrole genoem.

Om hierdie kenmerk te aktiveer, gaan na Sekuriteit → Instellings → Blaaierintegriteitskontrole en skakel die skakelaar aan.

Dit identifiseer abnormale verkeer deur TLS-vingerafdrukke. Maak nie saak hoe goed jy die gebruikersagent vermom nie, die TLS-vingerafdruk kan nie vervals word nie.

Die tweede een word Bot Fight Mode, of robot fight mode, genoem.

Die pad is Sekuriteit → Outomatiese Programme → Botgevegmodus, wat ook geaktiveer moet wees.

Hierdie kenmerk kombineer gedragseienskappe om te bepaal of verkeer aan robotte behoort, soos versoekfrekwensie, muisbewegingstrajek, bladsyverblyftyd, ens.

Die gratis weergawe sal outomaties bestuurde uitdagings op verdagte botte toepas, terwyl die betaalde weergawe meer gedetailleerde reëlkonfigurasie moontlik maak.

Van strooipos tot webkruipers, die stryd tussen aanvallers en verdedigers het nog nooit opgehou nie.

Toe ek hiervan praat, het iets skielik by my opgekom.

Trouens, hierdie soort aanvallende en verdedigende konfrontasie speel al deur die geskiedenis van die internet af. Dit was dieselfde toe strooipos in die vroeë dae hoogty gevier het; jy het een kenmerk geblokkeer, en die sender het dit verander. Jy het sleutelwoordfiltrering gebruik, en die sender het die sensitiewe woorde afgebreek. Jy het frekwensielimiete gebruik, en die sender het die frekwensie van versending verminder.

Vandag het dit 'n stryd tussen webwerwe en webkruipers geword. Jy gebruik gebruikersagent-filtering, en die ander kant boots die gebruikersagent na. Jy gebruik TLS-vingerafdrukke, en die ander kant begin navorsing doen oor hoe om TLS-vingerafdrukke te simuleer.

Tegnologie mag verander, maar die onderliggende spelteorie-logika het nooit verander nie.

Vir die meeste webwerf-eienaars is dit egter voldoende om die vorige stap te doen.

80% van Chrome-verkeer sonder kop kom van kruipers met standaardkonfigurasies wat te lui is om hulself te vermom, wat met 'n enkele WAF-reël opgelos kan word. Wat diegene met gesofistikeerde vermommings betref, tensy jy besonder sensitiewe data het wat beskerming benodig, hoef jy nie oormatig bekommerd te wees nie.

Sodra jy al die nodige funksies geaktiveer het, is jy basies gereed.

Laastens wil ek nog een ding byvoeg.

Baie mense glo dat hoe meer webwerfverkeer, hoe beter. As jy egter nie kan onderskei tussen werklike verkeer en robotte nie, is daardie stygende syfers bloot ydelheidsstatistieke. Hulle kan selfs jou oordeel mislei en jou laat dink dat sekere inhoud besonder gewild is wanneer dit bloot 'n webkruiper is wat jou bladsy massaal laai.

Om die ware aard van verkeer te verstaan, is baie belangriker as om verkeersyfers na te jaag.

As jy vriende het wat webwerwe bestuur of SEO doen, stuur gerus hierdie artikel aan hulle aan. Baie mense besef dalk nie dat hul webwerwe deur 'n groot aantal robotte aangeval word nie, en hulle weet ook nie dat die oplossing van hierdie probleem eintlik redelik eenvoudig is nie.

Aangesien jy tot hier gelees het, as jy dit nuttig gevind het, like en deel dit asseblief. As jy eerste opdaterings wil ontvang, kan jy my ook volg!

Dankie dat jy my artikel gelees het. Sien jou volgende keer.