Nakasinati ba ang HeadlessChrome og dili normal nga taas nga trapiko? Ang 3-lakang nga giya sa Cloudflare aron hingpit nga babagan kini (gamit ang mga lagda sa WAF)

Bag-ohay lang nakong gisusi ang backend sa website, ug ang aberids nga adlaw-adlaw nga pagbisita pipila lang ka libo.

Pag-abli nako sa Google Analytics, nahingangha gyud ko.

Usa ka adlaw, kalit nga nisaka ang akong pageviews ngadto sa kapin sa 20,000, ug nalipay kaayo ko, naghunahuna nga sa katapusan mahimo na kong sikat. Apan sa pagsusi pag-ayo sa distribusyon sa browser, akong nadiskobrehan nga 90% sa trapiko gikan sa usa ka butang nga gitawag og "HeadlessChrome".

Nangutana ko sa ChatGTP unsa ni nga browser? Bag-ong bersyon ba ni sa Chrome?

Mitubag ang AI nga dili kini usa ka browser.

Robot ni.

Unsa gyud ang HeadlessChrome?

Ang HeadlessChrome, sama sa gisugyot sa ngalan, mao ang headless mode sa Chrome. Ang Chrome mao ang browser nga imong gigamit kada adlaw. Ang headless mode nag-disable sa graphical interface sa browser, nga nagtugot niini nga modagan sa background gamit lamang ang command line.

Walay address bar, walay bookmarks bar, walay makita. Usa lang kini ka piraso sa code nga mo-invoke sa browser engine, mo-load sa imong webpage, ug dayon mo-scrape sa content.

Ang tinuod nga mga tiggamit dili gyud mogamit niini nga butang aron mag-browse sa web. Kitang duha mag-abli sa Chrome aron magbasa og balita, motan-aw og mga video, ug mamalit sa Taobao . Ang HeadlessChrome mag-abli sa imong webpage aron i-scrape ang imong data ug dayon mobiya.

Mao nga kung makita nimo ang HeadlessChrome nga nagkantidad og 80% o bisan 90% sa trapiko sa imong statistics backend, makahinapos ka nga kini nga trapiko 100% bot traffic.

Asa gikan kining tanang trapiko sa bot?

Sa tinuod lang, lainlain kaayo ang mga tinubdan.

Ang labing komon nga ehemplo mao ang web scraping. Ang ubang mga kompanya o indibidwal naggamit og mga automation framework sama sa Puppeteer, Playwright, o Selenium aron maglunsad og mga headless browser ug mag-batch scrape sa sulod sa web page. Ang uban nag-scrape sa mga presyo sa produkto, ang uban nag-scrape sa mga artikulo sa balita, ug ang uban nag-scrape sa datos sa mga kakompetensya.

Ug naa pay AI. Karon, lain-laing AI tools, AI search engines, ug AI retrieval systems ang nag-parse sa mga web page sa background. Kung mag-publish ka og artikulo, daghang AI agent ang posibleng nagbasa sa imong content sa samang higayon.

Laing mas maliputon nga pamaagi mao ang imong kaugalingong naka-eskedyul nga mga buluhaton. Pananglitan, mahimo kang mag-deploy og SEO monitoring script nga nagsusi sa mga pagbag-o sa ranggo sa usa ka piho nga panid matag oras, gamit ang HeadlessChrome. O mahimo kang mag-set up og awtomatikong serbisyo sa screenshot nga matag karon ug unya magkuha og mga litrato sa panid, gamit usab kini nga himan.

Ang pinaka-makalagot nga klase mao ang katapusan: malicious scanning. Ang mga automated script modagan aron i-scan ang imong website para sa mga kahuyangan, sulayan ang imong backend login interface, ug gani magsumiter og mga spam nga komento nga daghan.

Giunsa pag-ila sa statistics backend ang HeadlessChrome?

Sayon ra gyud ni. Ang matag browser adunay User-Agent field sa request header niini kon mo-access sa webpage, nga nagsulti sa server "kon kinsa ko." Ang default nga User-Agent sa HeadlessChrome naglakip sa string nga "HeadlessChrome." Mahibal-an kini sa imong analytics system kon ma-parse na niini kini nga field.

Apan, kon ang web crawler developer mohimo og gamay nga pag-usab sa code, nga mag-ilis sa User-Agent ngadto sa normal nga Chrome o Safari identifier, dili gyud nimo mahibaw-an gikan sa statistics backend. Mao kini ang tinuod nga sakit sa ulo.

paggamitCloudflare Tukmang gibabagan sa WAF ang Headless Chrome.

Okay, atong nailhan ang problema. Unsaon nato kini pagsulbad?

Ang pinakadirekta ug epektibo nga solusyon mao ang pag-intercept sa trapiko sa CDN o WAF layer. Ayaw paghulat nga makaabot ang trapiko sa imong server sa dili pa kini iproseso; babagan kini sa pultahan.

Kon Cloudflare ang imong gigamit, ang operasyon sayon ​​ra kaayo.

Mag-log in sa imong Cloudflare console, pilia ang target domain, pangitaa ang Security, dayon i-klik ang WAF, dayon adto sa Custom Rules, ug paghimo og bag-ong rule.

Ang ngalan sa lagda mahimong bisan unsa, pananglitan, "Challenge Headless Chrome"ug uban pa,

Hinumdumi lang.

Pagpili sa umaUser AgentPagpili sa operatorcontains, pun-a ang biliHeadlessChrome.

Niini nga punto, makakita ka og preview expression, nga mao anghttp.user_agent contains "HeadlessChrome"

Dayon pilia sa operasyonManaged ChallengeoJS Challenge.

• Akong gisugyot ang pagpiliManaged ChallengeTungod kay ang pamaagi sa pag-verify niini mas intelihente ug adunay gamay nga epekto sa tinuod nga mga tiggamit.

Sa katapusan, i-klik ang Deploy, ug kini nga lagda moepekto sa tibuok kalibutan.

Ang Cloudflare adunay gatusan ka mga node sa tibuok kalibutan, nga gi-configure nga adunay ikaduhang lebel nga synchronization. Sa panguna, ang trapiko sa headless browser gibabagan dayon sa higayon nga imong i-klik ang buton.

Mga buta nga bahin sa proteksyon ug abanteng pagpugong

Apan, naa gyuy "apan".

Ang pagpares sa User-Agent lamang makasulbad sa kadaghanan sa mga configuration sa web crawler nga adunay default settings. Apan, dili kini igo batok sa mga hanas nga crawler.

Sugod sa Chrome 110, gipaila sa Google ang usa ka bag-ong headless mode, gamit ang...--headless=newPagsugod sa Parameter. Niini nga mode, ang User-Agent sa HeadlessChrome parehas ra sa regular nga Chrome, ug dili gyud nimo makita ang kalainan.

Adunay usab kadtong aktibong nangopya. Direktang gipulihan sa mga web crawler developer ang User-Agent og normal nga Chrome o mobile browser identifier sa code, nga naghimo niini nga imposible nga ipares bisan sa labing tukma nga mga lagda.

Alang niini nga sitwasyon, ang Cloudflare nagtanyag usab og duha pa ka abante nga mga bahin nga mahimong magamit.

Ang una gitawag nga Browser Integrity Check.

Aron ma-enable kini nga feature, adto sa Security → Settings → Browser Integrity Check ug i-on ang switch.

Kini makaila sa abnormal nga trapiko pinaagi sa mga TLS fingerprint. Bisan unsa pa nimo ka maayo sa pagtago sa User-Agent, ang TLS fingerprint dili mahimong pekeon.

Ang ikaduha gitawag og Bot Fight Mode, o robot battle mode.

Ang agianan mao ang Security → Automatic Programs → Bot Fight Mode, nga kinahanglan usab nga ma-enable.

Kini nga bahin naghiusa sa mga kinaiya sa pamatasan aron mahibal-an kung ang trapiko iya ba sa mga bot, sama sa frequency sa hangyo, trajectory sa paglihok sa mouse, oras sa pagpabilin sa panid, ug uban pa.

Ang libre nga bersyon awtomatikong mo-apply sa mga gidumala nga hagit ngadto sa mga kadudahang bot, samtang ang bayad nga bersyon nagtugot alang sa mas detalyado nga pag-configure sa lagda.

Gikan sa spam ngadto sa mga web crawler, ang gubat tali sa mga tig-atake ug mga tigpanalipod wala gayud mohunong.

Samtang naghisgot bahin niini, kalit nga adunay misantop sa akong hunahuna.

Sa tinuod lang, kining matang sa opensiba ug depensiba nga komprontasyon nagpadayon na sa tibuok kasaysayan sa internet. Parehas ra kini sa dihang kaylap ang spam sa unang mga adlaw; imong gibabagan ang usa ka bahin, ug giusab kini sa nagpadala. Gigamit nimo ang keyword filtering, ug gibungkag sa nagpadala ang sensitibo nga mga pulong. Gigamit nimo ang mga limitasyon sa frequency, ug gipakunhod sa nagpadala ang frequency sa pagpadala.

Karon, nahimo na kining usa ka gubat tali sa mga website ug mga web crawler. Mogamit ka og User-Agent filtering, ug ang pikas nga bahin magpakaaron-ingnon nga User-Agent. Mogamit ka og TLS fingerprinting, ug ang pikas nga bahin magsugod sa pagpanukiduki kon unsaon pag-simulate ang mga TLS fingerprint.

Mahimong mausab ang teknolohiya, apan ang nagpahiping lohika sa teorya sa dula wala gayud mausab.

Apan, alang sa kadaghanan sa mga tag-iya sa website, ang pagbuhat sa miaging lakang igo na.

80% sa headless Chrome traffic gikan sa default-configuration crawlers nga tapulan kaayo mo-disguise sa ilang kaugalingon, nga masulbad gamit ang usa lang ka WAF rule. Alang niadtong adunay sopistikado nga mga disguise, gawas kon duna kay sensitibo nga datos nga kinahanglan og proteksyon, dili ka angay mabalaka pag-ayo.

Kung na-enable na nimo ang tanan nga kinahanglanon nga mga bahin, andam ka na.

Sa katapusan, gusto nakong idugang ang usa pa ka butang.

Daghang mga tawo ang nagtuo nga kon mas daghan ang trapiko sa website, mas maayo. Apan, kon dili nimo mailhan ang tinuod nga trapiko ug mga bot, kining nagkataas nga mga numero mga vanity metrics lang. Mahimo pa gani kini nga makapahisalaag sa imong panghukom, nga makapahunahuna kanimo nga ang pipila ka sulud labi ka sikat kung kini usa lang ka web crawler nga nahitabo nga nag-mass-load sa imong panid.

Ang pagsabot sa tinuod nga kinaiya sa trapiko mas importante kay sa pagsubay sa mga numero sa trapiko.

Kon duna kay mga higala nga nagpadagan og mga website o naghimo og SEO, ayaw pagpanuko sa pagpadala niini nga artikulo ngadto kanila. Daghang mga tawo ang wala makaamgo nga ang ilang mga website giatake sa daghang mga bot, ni sila nahibalo nga ang pagsulbad niini nga problema sa tinuod sayon ​​ra.

Tungod kay nabasa na nimo hangtod dinhi, kung nakita nimo nga makatabang kini, palihug i-like ug i-share. Kung gusto nimo makadawat una og mga update, mahimo ka usab nga mag-follow kanako!

Salamat sa pagbasa sa akong artikulo. Magkita ta sa sunod.