Num HeadlessChrome frequentiam insolitam experitur? Dux Cloudflare trium graduum ad eam omnino obstruendam (cum regulis WAF)

Nuper partem internam situs interretialis inspexi, et mediae visitationes quotidianae tantum pauca milia sunt.

Cum Google Analytics aperui, prorsus obstupui.

Quodam die, numerus paginarum mearum subito ad plus quam viginti milia ascendit, et ego laetus eram, putans me tandem clarum futurum esse. Sed accuratius inspecta distributione navigatoris, inveni nonaginta centesimas commeatus ex aliquo nomine "HeadlessChrome" venire.

ChatGTP rogavi quodnam navigatrum interretiale hoc sit? An nova versio Chrome sit?

Intellegentia artificialis respondit hoc non esse navigatrum.

Hic est automatus.

Quidnam reapse est HeadlessChrome?

"HeadlessChrome," ut nomen indicat, est modus "headless" navigatoris Chrome. Chrome est navigatrum quod quotidie uteris. Modus "headless" interfaciem graphicam navigatoris inactivat, permittens ei in curriculo currere sola linea mandatorum utens.

Nulla est vectis inscriptionum, nulla vectis signorum, nihil quod videre possis. Est tantum fragmentum codicis qui machinam navigatoris invocat, paginam tuam oneravit, deinde contenta extrahit.

Veri usores numquam tale quid ad navigandum per interrete uterentur. Tu et ego Chrome aperimus ad nuntios legendos, videos spectandos, et in Taobao mercandos . HeadlessChrome paginam tuam interretialem aperit ut notitias tuas colligat et discedat.

Ergo cum videris HeadlessChrome octoginta centesimas vel etiam nonaginta centesimas commeatus in statisticis tuis administrantibus repraesentare, concludere potes hunc commeatum centum centesimas commeatus automatorum esse.

Unde omnis hic commeatus automatorum venit?

Vere, fontes valde varii sunt.

Exemplum frequentissimum est "web scraping" (extractio paginarum interretialium). Nonnullae societates vel singuli structuras automatarias sicut Puppeteer, Playwright, vel Selenium adhibent ad navigatra sine indice aperienda et contenta paginarum interretialium in serie extrahendum. Aliae pretia productorum, aliae nuntios, aliae autem notitias competitorum extrahunt.

Deinde est intellegentia artificialis (IA). Nunc, varia instrumenta IA, machinae quaerendi IA, et systemata recuperandi IA omnia paginas interretiales in curriculo resolvunt. Cum articulum edis, plurimi agentes IA contenta tua simul legere possunt.

Alia methodus, subtilior, est tua propria opera ordinata. Exempli gratia, scriptum monitorium SEO adhibere potes quod mutationes ordinis paginae specificae singulis horis inspicit, HeadlessChrome utens. Vel officium automaticum captionis imaginum constituere potes quod periodica imagines paginae capit, hoc instrumento quoque utens.

Molestissimum genus ultimum est: perscrutatio maligna. Scripta automatica currunt ad situs interretialis tuus vulnerabilitates perscrutandas, interfaciem inscriptionis posterioris probandam, et etiam commentarios inutiles in magna copia submittendos.

Quomodo statisticarum administratio HeadlessChrome identificat?

Re vera satis simplex est. Omnis navigator campum "User-Agent" in capite petitionis suae includit cum paginam interretialem adit, servitori "quis sim" dicens. "User-Agent" implicitus HeadlessChrome seriem litterarum "HeadlessChrome" includit. Systema tuum analyticum hoc sciet postquam hoc campum interpretaturum est.

Attamen, si fabricator programmatis "web crawler" leviter codicem modificat, "User-Agent" in identificatorem normalem Chrome vel Safari mutans, ex statisticis omnino discernere non poteris. Hoc est verum dolorem capitis.

ususCloudflare WAF accurate Chrome sine capite impedit.

Bene, problema invenimus. Quomodo id solvimus?

Solutio directissima et efficacissima est intercipere commeatum in strato CDN vel WAF. Ne exspectes dum commeatus ad servitorem tuum perveniat antequam eum tractes; eum ad limen obstrue.

Si Cloudflare uteris, operatio revera facillima est.

Ini sessionem in consola Cloudflare tua, elige dominium destinatum, inveni "Securitatem", deinde preme "WAF", deinde vade ad "Regulas Personales", et novam regulam crea.

Nomen regulae potest esse quodlibet, exempli gratia, "Challenge Headless Chrome"et similia,"

Modo memento.

Selectio agriUser AgentSelectio operatoriscontains, valorem inscribeHeadlessChrome.

Hoc loco expressionem praevisam videbis, quae esthttp.user_agent contains "HeadlessChrome"

Deinde in operatione eligeManaged ChallengeuelJS Challenge.

• Suadeo eligereManaged ChallengeQuia eius modus verificationis est intelligentior et minus effectum in veros usores habet.

Denique, preme "Deploy" (Distribuere), et haec regula globaliter valebit.

Cloudflare centenas nodorum toto orbe terrarum habet, synchronizatione secundi gradus configuratos. Fere, commeatus navigatoris sine capite obstruitur momento quo bullam premis.

Caeca loca in protectione et praeventione provecta

Attamen est "sed".

Sola congruentia inter User-Agent plerasque configurationes repertorum interretialium cum optionibus praedefinitis solvere potest. Attamen, contra peritos repertores non sufficit.

Incipiens a Chrome 110, Google novum modum sine capite introduxit, utens...--headless=newInitium parametrorum. Hoc modo, agens usoris HeadlessChrome idem est ac Chrome regularis, et differentiam omnino non animadvertere potes.

Sunt etiam qui actu simulant. Fabricatores programmatum interretialium "User-Agent" directe cum identificatore navigatoris Chrome vel mobilis normali in codice substituunt, ita ut congruere etiam cum regulis accuratissimis impossibile sit.

In hanc condicionem, Cloudflare etiam duas alias functiones provectiores offert quae activari possunt.

Primum "Navigator Integrity Check" appellatur.

Ad hanc functionem activandam, vade ad Securitatem → Optiones → Inspectio Integritatis Navigatoris et optionem accende.

Commeatum abnormalem per vestigia digitorum TLS detegit. Quamvis bene Agentem Usoris celaveris, vestigium digitorum TLS falsificari non potest.

Secundus Modus Pugnae Robotarum, sive modus pugnae robotarum, appellatur.

Semita est Securitas → Programmata Automatica → Modus Pugnae Contra Bots, quae etiam activa esse debet.

Haec facultas proprietates morum coniungit ad determinandum utrum commeatus ad automatas pertineat necne, ut frequentiam petitionum, trajectoriam motus muris, tempus morae paginae, et cetera.

Versio gratuita provocationes administratas automatis suspectis applicabit, dum versio soluta configurationem regularum subtiliorem permittit.

A nuntiis inutilibus ad exploratores interretiales, pugna inter aggressores et defensores numquam desiit.

De hac re loquens, subito aliquid in mentem venit.

Re vera, hoc genus contentionis offensivae et defensivae per totam historiam interretialis evenit. Idem erat cum epistulae inutiles (spam) primis diebus grassarentur; unam functionem obstruebas, et mittentem eam mutabat. Filtrationem verborum clavium adhibebas, et mittentem verba sensibilia dividebat. Limites frequentiae adhibebas, et mittentem frequentiam mittendi minuebat.

Hodie, certamen inter situs interretiales et exploratores interretiales factum est. Tu filtratione User-Agent uteris, altera pars User-Agent imitatur. TLS impressiones digitales uteris, altera pars investigationem incipit quomodo TLS impressiones digitales simulet.

Technologia fortasse mutatur, sed logica subiacens theoriae ludorum numquam mutata est.

Tamen, plerisque dominis situs interretialis, gradum priorem facere sufficit.

Octoginta centesimae negotiationis Chrome sine indice a repertoribus configurationis praedefinitae proveniunt, qui nimis pigri sunt ad se occultandos, quod una regula WAF solvi potest. Quod ad eos attinet qui occultationes subtiles habent, nisi notitias sensibiles habes quae protectione indigent, non est necesse nimium sollicitari.

Cum omnes functiones necessariae activaveris, fere paratus es.

Denique, unum adhuc addere velim.

Multi credunt quo plus commeatus interretialis, eo melius. Attamen, si inter verum commeatum et automata distinguere non potes, hi numeri ascendentes tantummodo vanitatis mensurae sunt. Etiam iudicium tuum fallere possunt, te cogitare facientes quoddam contentum praecipue populare esse cum sit simpliciter reptator interretialis qui paginam tuam in massa onerare solet.

Veram naturam commeatus intellegere multo maioris momenti est quam numeros commeatus persequi.

Si amicos habes qui situs interretiales administrant vel optimizationem machinarum quaesitoriarum (SEO) faciunt, hunc articulum ad eos libenter mitte. Multi fortasse nesciunt situs suos interretiales a magno numero automatorum oppugnari, nec sciunt hanc difficultatem solvere re vera satis facile esse.

Quoniam hucusque legeris, si utile invenisti, quaeso ut "laude" et communices. Si primum nuntios accipere vis, me quoque sequi potes!

Gratias tibi ago quod articulum meum legisti. Te iterum videbo.