Rendellenesen nagy forgalmat tapasztal a HeadlessChrome? A Cloudflare 3 lépéses útmutatója a teljes blokkolásához (WAF szabályokkal)

Nemrég megnéztem a weboldal backendjét, és az átlagos napi látogatások száma mindössze néhány ezer.

Amikor megnyitottam a Google Analytics-et, teljesen ledöbbentem.

Egy nap az oldalmegtekintéseim száma hirtelen meghaladta a 20 000-et, és elragadtatott voltam, azt gondolva, hogy végre híres lettem. De a böngészők szerinti eloszlás alaposabb vizsgálata után rájöttem, hogy a forgalom 90%-a valami „HeadlessChrome” nevű dologból származik.

Megkérdeztem a ChatGTP-től, hogy ez milyen böngésző? A Chrome egy új verziója.

A mesterséges intelligencia azt válaszolta, hogy ez nem böngésző.

Ez egy robot.

Mi is pontosan a HeadlessChrome?

A HeadlessChrome, ahogy a neve is sugallja, a Chrome headless módja. A Chrome az a böngésző, amit minden nap használsz. A headless mód letiltja a böngésző grafikus felületét, lehetővé téve, hogy a háttérben fusson, csak a parancssor használatával.

Nincs címsáv, nincs könyvjelzősáv, semmi látható. Ez csak egy kódrészlet, ami elindít egy böngészőmotort, betölti a weboldaladat, majd kiolvassa a tartalmat.

A valódi felhasználók soha nem használnának ilyesmit böngészésre a weben. Te és én a Chrome-ot nyitjuk meg hírek olvasására, videók nézésére és vásárlásra a Taobaón . A HeadlessChrome megnyitja a weboldaladat, lekéri az adataidat, majd elhagyja az oldalt.

Tehát, amikor azt látod, hogy a HeadlessChrome a forgalom 80%-át vagy akár 90%-át teszi ki a statisztikai háttérrendszeredben, arra a következtetésre juthatsz, hogy ez a forgalom 100%-ban botforgalom.

Honnan származik ez a sok botforgalom?

Őszintén szólva, a források nagyon változatosak.

A leggyakoribb példa a webes adatgyűjtés. Egyes cégek vagy magánszemélyek olyan automatizálási keretrendszereket használnak, mint a Puppeteer, a Playwright vagy a Selenium, hogy fej nélküli böngészőket indítsanak, és kötegelt weboldal-tartalom-gyűjtést végezzenek. Vannak, akik termékárakat, híreket, és vannak, akik versenytársak adatait gyűjtik.

És akkor ott van még a mesterséges intelligencia. Manapság különféle MI-eszközök, MI-keresőmotorok és MI-visszakereső rendszerek mind elemzik a weboldalakat a háttérben. Amikor közzéteszel egy cikket, több tucat MI-ügynök olvashatja egyszerre a tartalmat.

Egy másik, kifinomultabb módszer a saját ütemezett feladataid. Például telepíthetsz egy SEO- figyelő szkriptet, amely óránként ellenőrzi egy adott oldal rangsorolásának változásait a HeadlessChrome használatával. Vagy beállíthatsz egy automatikus képernyőkép-szolgáltatást, amely rendszeresen képeket készít az oldalról, szintén ezzel az eszközzel.

A legbosszantóbb típus az utolsó: a rosszindulatú keresés. Automatizált szkriptek futnak le, amelyek sebezhetőségeket keresnek a webhelyeden, tesztelik a háttérbeli bejelentkezési felületet, sőt tömegesen küldenek be spam jellegű hozzászólásokat.

Hogyan azonosítja a statisztikai háttérrendszer a HeadlessChrome-ot?

Valójában elég egyszerű. Minden böngésző tartalmaz egy User-Agent mezőt a kérés fejlécében, amikor egy weboldalt ér el, amely közli a szerverrel, hogy „ki vagyok”. A HeadlessChrome alapértelmezett User-Agentje tartalmazza a „HeadlessChrome” karakterláncot. Az elemző rendszered ezt tudni fogja, miután elemezte ezt a mezőt.

Azonban, ha a webes robot fejlesztője apró módosítást hajt végre a kódon, és a felhasználói ügynököt egy normál Chrome vagy Safari azonosítóra cseréli, akkor ezt egyáltalán nem fogja tudni megállapítani a statisztikai háttérből. Ez az igazi fejfájás.

用CloudFlare A WAF pontosan elfogja a HeadlessChrome-ot

Rendben, azonosítottuk a problémát. Hogyan oldjuk meg?

A legközvetlenebb és leghatékonyabb megoldás a forgalom elfogása a CDN vagy a WAF rétegen. Ne várd meg, amíg a forgalom eléri a szerveredet a feldolgozással; blokkold a küszöbön.

Ha Cloudflare-t használsz, a művelet valójában nagyon egyszerű.

Jelentkezz be a Cloudflare konzolba, válaszd ki a céltartományt, keresd meg a Biztonság elemet, majd kattints a WAF elemre, és lépj az Egyéni szabályok menüpontra, és hozz létre egy új szabályt.

A szabály neve bármi lehet, például: "Challenge Headless Chrome"és hasonlók,

Csak emlékezz rá.

MezőkiválasztásUser AgentOperátor kiválasztásacontains, töltse ki az értéketHeadlessChrome.

Ezen a ponton egy előnézeti kifejezést fog látni, amely a következő:http.user_agent contains "HeadlessChrome"

Ezután válassza ki a műveletetManaged ChallengevagyJS Challenge.

• Azt javaslom, hogy válasszonManaged ChallengeMivel az ellenőrzési módszere intelligensebb és kevesebb hatással van a valódi felhasználókra.

Végül kattintson a Telepítés gombra, és ez a szabály globálisan érvénybe lép.

A Cloudflare világszerte több száz csomóponttal rendelkezik, amelyek másodszintű szinkronizációval vannak konfigurálva. Alapvetően a fej nélküli böngésző forgalma blokkolva van, amint rákattintunk a gombra.

Vakfoltok a védelemben és a fejlett megelőzésben

Azonban van egy „de”.

A felhasználói ügynökök egyezésének megtalálása önmagában megoldhatja a legtöbb webes robot konfigurációját az alapértelmezett beállításokkal. Ez azonban nem elég a képzett robotok ellen.

A Chrome 110-es verziójától kezdődően a Google bevezette az új, fej nélküli módot, amely a következőket használja...--headless=newParaméter indítása. Ebben a módban a HeadlessChrome felhasználói ügynöke pontosan ugyanaz, mint a normál Chrome-é, és egyáltalán nem látszik a különbség.

Vannak olyanok is, akik aktívan hamisítják a felhasználókat. A webes robotfejlesztők közvetlenül lecserélik a felhasználói ügynököt egy normál Chrome- vagy mobilböngésző-azonosítóra a kódban, így még a legpontosabb szabályokkal sem lehet egyeztetni.

Erre a helyzetre a Cloudflare két további fejlett funkciót is kínál, amelyek engedélyezhetők.

Az elsőt böngésző integritás-ellenőrzésnek hívják.

A funkció engedélyezéséhez lépjen a Biztonság → Beállítások → Böngésző integritásának ellenőrzése menüpontra , és kapcsolja be a kapcsolót.

A TLS ujjlenyomatok segítségével azonosítja a rendellenes forgalmat. Nem számít, mennyire jól álcázod a felhasználói ügynököt, a TLS ujjlenyomatot nem lehet hamisítani.

A másodikat Bot Fight Mode-nak, vagy robotharci módnak hívják.

Az elérési út a Biztonság → Automatikus programok → Bot Harc Mód, amelyet szintén engedélyezni kell.

Ez a funkció viselkedési jellemzőket kombinál annak meghatározására, hogy a forgalom botokhoz tartozik-e, például a kérések gyakoriságát, az egér mozgásának pályáját, az oldalon tartózkodási időt stb.

Az ingyenes verzió automatikusan felügyelt kihívásokat alkalmaz a gyanús botokra, míg a fizetős verzió részletesebb szabálykonfigurációt tesz lehetővé.

A spamtől a webes keresőrobotokig a támadók és a védők közötti csata soha nem állt meg.

Ha már erről beszélünk, hirtelen eszembe jutott valami.

Valójában ez a fajta támadó és védekező konfrontáció az internet története során végigvonult. Ugyanez volt a helyzet a spam elterjedésével a kezdeti időkben is; blokkoltál egy funkciót, és a feladó megváltoztatta. Kulcsszószűrést használtál, és a feladó lebontotta az érzékeny szavakat. Gyakorisági korlátozásokat alkalmaztál, és a feladó csökkentette a küldés gyakoriságát.

Mára a weboldalak és a webes robotok közötti csatává vált. Te User-Agent szűrést használsz, a másik oldal pedig a User-Agentet utánozza. Te TLS ujjlenyomat-készítést használsz, a másik oldal pedig elkezd kutatni, hogyan lehetne TLS ujjlenyomatokat szimulálni.

A technológia változhat, de az alapjául szolgáló játékelméleti logika sosem változott.

A legtöbb weboldal-tulajdonos számára azonban elegendő az előző lépés elvégzése.

A fej nélküli Chrome-forgalom 80%-a alapértelmezett konfigurációjú robotoktól származik, amelyek túl lusták az álcázáshoz, ami egyetlen WAF szabállyal megoldható. Ami a kifinomult álcázást használókat illeti, hacsak nincsenek különösen érzékeny, védelmet igénylő adataid, nincs ok a túlzott aggodalomra.

Miután engedélyezte az összes szükséges funkciót, alapvetően készen is van.

Végül még egy dolgot szeretnék hozzáfűzni.

Sokan hiszik azt, hogy minél nagyobb a weboldal forgalma, annál jobb. Ha azonban nem tudsz különbséget tenni a valódi forgalom és a botok forgalma között, ezek az egekbe szökő számok csupán hiúsági mutatók. Még félre is vezethetik a megítélésedet, azt a benyomást keltve, hogy bizonyos tartalmak különösen népszerűek, miközben csupán egy webes robot tölti be tömegesen az oldaladat.

A forgalom valódi természetének megértése sokkal fontosabb, mint a forgalmi adatok követése.

Ha vannak olyan barátaid, akik weboldalakat üzemeltetnek vagy SEO-val foglalkoznak, nyugodtan továbbítsd nekik ezt a cikket. Sokan talán nem is tudják, hogy weboldalaikat rengeteg bot támadja, és azt sem tudják, hogy ennek a problémának a megoldása valójában meglehetősen egyszerű.

Mivel idáig elolvastad, ha hasznosnak találtad, kérlek lájkold és oszd meg. Ha elsőként szeretnél értesülni a frissítésekről, követhetsz is!

Köszönöm, hogy elolvastad a cikkemet. Találkozunk legközelebb.