Apa HeadlessChrome ngalami lalu lintas sing ora normal? Pandhuan 3 langkah Cloudflare kanggo mblokir kabeh (kanthi aturan WAF)

Aku bubar mriksa backend situs web, lan rata-rata kunjungan saben dina mung sawetara ewu.

Nalika aku mbukak Google Analytics, aku kaget banget.

Ing sawijining dina, pageviewku dumadakan mundhak nganti luwih saka 20.000, lan aku bungah banget, mikir yen pungkasane aku bakal misuwur. Nanging sawise mriksa distribusi browser kanthi luwih cetha, aku nemokake yen 90% lalu lintas asale saka sing diarani "HeadlessChrome".

Aku takon ChatGTP iki browser apa? Apa iki versi anyar saka Chrome?

AI nanggapi yen iki dudu browser.

Iki robot.

Apa sejatine HeadlessChrome kuwi?

HeadlessChrome, kaya jenenge, iku mode headless Chrome. Chrome iku browser sing digunakake saben dina. Mode headless mateni antarmuka grafis browser, saengga bisa mlaku ing latar mburi mung nggunakake baris perintah.

Ora ana bilah alamat, ora ana bilah tetenger, ora ana sing bisa dideleng. Iku mung potongan kode sing ngundang mesin browser, mbukak kaca web sampeyan, banjur ngerok isine.

Pangguna nyata ora bakal nggunakake kaya iki kanggo browsing web. Kowé lan aku mbukak Chrome kanggo maca warta, nonton video, lan blanja ing Taobao . HeadlessChrome mbukak kaca web sampeyan kanggo ngikis data sampeyan lan banjur metu.

Dadi nalika sampeyan ndeleng HeadlessChrome nyumbang 80% utawa malah 90% lalu lintas ing backend statistik sampeyan, sampeyan bisa nyimpulake manawa lalu lintas iki 100% lalu lintas bot.

Saka ngendi kabeh lalu lintas bot iki asale?

Sejatine, sumber-sumber kasebut maneka warna banget.

Conto sing paling umum yaiku web scraping. Sawetara perusahaan utawa individu nggunakake framework otomatisasi kaya Puppeteer, Playwright, utawa Selenium kanggo ngluncurake browser tanpa kepala lan nge-scrape konten kaca web kanthi batch. Sawetara nge-scrape rega produk, sawetara artikel berita nge-scrape, lan sawetara data pesaing nge-scrape.

Lan banjur ana AI. Saiki, macem-macem piranti AI, mesin telusur AI, lan sistem pengambilan AI kabeh lagi ngurai kaca web ing latar mburi. Nalika sampeyan nerbitake artikel, puluhan agen AI bisa uga maca konten sampeyan bebarengan.

Cara liya sing luwih alus yaiku tugas sing wis dijadwalake dhewe. Contone, sampeyan bisa nggunakake skrip pemantauan SEO sing mriksa owah-owahan peringkat kaca tartamtu saben jam, nggunakake HeadlessChrome. Utawa sampeyan bisa nyetel layanan tangkapan layar otomatis sing njupuk gambar kaca kanthi periodik, uga nggunakake alat iki.

Jinis sing paling ngganggu yaiku sing terakhir: pemindaian mbebayani. Skrip otomatis mlaku kanggo mindhai situs web sampeyan kanggo nggoleki kerentanan, nguji antarmuka login backend sampeyan, lan malah ngirim komentar spam kanthi massal.

Kepiye carane backend statistik ngenali HeadlessChrome?

Iki sejatine cukup prasaja. Saben browser kalebu kolom User-Agent ing header panyuwunan nalika ngakses kaca web, sing ngandhani server "sapa aku." User-Agent standar HeadlessChrome kalebu string "HeadlessChrome." Sistem analitik sampeyan bakal ngerti iki sawise ngurai kolom iki.

Nanging, nèk pangembang web crawler nggawé modifikasi sithik ing kode kasebut, ngganti User-Agent dadi identifier Chrome utawa Safari normal, sampeyan ora bakal bisa ngerti saka backend statistik babar pisan. Iki masalah sing sejatine.

kanggocloudflare WAF kanthi tepat nyegat HeadlessChrome

Oke, kita wis nemokake masalahe. Kepiye carane ngatasi?

Solusi sing paling langsung lan efektif yaiku nyegat lalu lintas ing lapisan CDN utawa WAF. Aja ngenteni nganti lalu lintas tekan server sampeyan sadurunge ngolah; blokir ing ngarep lawang.

Yen sampeyan nggunakake Cloudflare, operasine pancen gampang banget.

Mlebu menyang konsol Cloudflare sampeyan, pilih domain target, golek Keamanan, banjur klik WAF, banjur pindhah menyang Aturan Khusus, lan gawe aturan anyar.

Jeneng aturan bisa apa wae, contone, "Challenge Headless Chrome"lan liya-liyane,

Mung eling wae.

Pemilihan lapanganUser AgentPilihan operatorcontains, isi nilaineHeadlessChrome.

Ing titik iki sampeyan bakal weruh ekspresi pratinjau, yaikuhttp.user_agent contains "HeadlessChrome"

Banjur pilih ing operasi kasebutManaged ChallengeutawaJS Challenge.

• Aku saranake milihManaged ChallengeAmarga metode verifikasine luwih cerdas lan nduweni pengaruh sing luwih sithik marang pangguna nyata.

Pungkasan, klik Deploy, lan aturan iki bakal ditrapake sacara global.

Cloudflare duwé atusan node ing saindenging jagad, sing dikonfigurasi nganggo sinkronisasi tingkat loro. Sejatine, lalu lintas browser tanpa kepala bakal diblokir nalika sampeyan ngeklik tombol kasebut.

Titik buta ing pangayoman lan pencegahan lanjut

Nanging, ana "nanging".

Nyocogake Agen Pangguna wae wis bisa ngatasi sebagian besar konfigurasi crawler web nganggo setelan gawan. Nanging, iku durung cukup kanggo nglawan crawler trampil.

Diwiwiti karo Chrome 110, Google ngenalake mode tanpa sirah anyar, nggunakake...--headless=newPambukaan parameter. Ing mode iki, Agen Panganggo HeadlessChrome padha persis karo Chrome biasa, lan sampeyan ora bisa mbedakake babar pisan.

Ana uga sing aktif ngapusi. Pengembang crawler web langsung ngganti Agen-Pengguna nganggo pengenal Chrome utawa browser seluler normal ing kode kasebut, saengga ora bisa dicocogake sanajan nganggo aturan sing paling tepat.

Kanggo kahanan iki, Cloudflare uga nawakake rong fitur canggih liyane sing bisa diaktifake.

Sing pertama diarani Pemeriksa Integritas Browser.

Kanggo ngaktifake fitur iki, bukak Keamanan → Setelan → Pamriksan Integritas Browser lan uripake saklar kasebut.

Iki ngenali lalu lintas abnormal liwat sidik jari TLS. Ora preduli sepira apike sampeyan nyamarke Agen Panganggo, sidik jari TLS ora bisa dipalsu.

Sing nomer loro diarani Mode Perang Bot, utawa mode perang robot.

Jalure yaiku Keamanan → Program Otomatis → Mode Perang Bot, sing uga kudu diaktifake.

Fitur iki nggabungake karakteristik perilaku kanggo nemtokake apa lalu lintas kasebut kalebu bot, kayata frekuensi panjalukan, lintasan gerakan mouse, wektu tinggal kaca, lan liya-liyane.

Versi gratis bakal kanthi otomatis ngetrapake tantangan sing dikelola menyang bot sing mencurigakan, dene versi mbayar ngidini konfigurasi aturan sing luwih rinci.

Saka spam nganti crawler web, perang antarane penyerang lan pembela ora tau mandheg.

Ngomong bab iki, dumadakan ana sing muncul ing pikirane.

Nyatane, konfrontasi nyerang lan defensif kaya iki wis kedadeyan sajrone sejarah internet. Kaya nalika spam merajalela ing jaman biyen; sampeyan mblokir siji fitur, lan pengirim ngganti. Sampeyan nggunakake penyaringan kata kunci, lan pengirim ngrusak tembung-tembung sensitif. Sampeyan nggunakake watesan frekuensi, lan pengirim nyuda frekuensi pengiriman.

Saiki, iki dadi perang antarane situs web lan crawler web. Sampeyan nggunakake filtering User-Agent, lan pihak liyane nyamar dadi User-Agent. Sampeyan nggunakake sidik jari TLS, lan pihak liyane miwiti riset babagan carane simulasi sidik jari TLS.

Teknologi bisa uga owah, nanging logika teori game sing ndasari ora tau owah.

Nanging, kanggo umume pemilik situs web, nindakake langkah sadurunge wis cukup.

80% lalu lintas Chrome tanpa sirah asale saka crawler konfigurasi standar sing kesed banget kanggo nyamar, sing bisa diatasi nganggo siji aturan WAF. Kanggo sing nganggo penyamaran canggih, kajaba sampeyan duwe data sensitif sing butuh perlindungan, ora perlu kuwatir banget.

Sawise sampeyan ngaktifake kabeh fitur sing dibutuhake, sampeyan wis siyap.

Pungkasanipun, kula kepingin nambahaken satunggal bab malih.

Akeh wong sing percaya yen luwih akeh lalu lintas situs web, luwih apik. Nanging, yen sampeyan ora bisa mbedakake antarane lalu lintas nyata lan bot, angka-angka sing mundhak kasebut mung metrik kesombongan. Malah bisa mbingungake penilaian sampeyan, nggawe sampeyan mikir yen konten tartamtu misuwur banget nalika mung crawler web sing kebetulan lagi mbukak kaca sampeyan kanthi massal.

Ngerteni sifat lalu lintas sing sejatine luwih penting tinimbang ngoyak angka lalu lintas.

Yen sampeyan duwe kanca sing nglakokake situs web utawa SEO, aja ragu-ragu kanggo nerusake artikel iki menyang dheweke. Akeh wong sing ora ngerti yen situs web dheweke diserang dening akeh bot, lan uga ora ngerti yen ngrampungake masalah iki sejatine cukup gampang.

Amarga sampeyan wis maca nganti tekan kene, yen sampeyan nganggep iki migunani, monggo di-like lan di-share. Yen sampeyan pengin nampa kabar paling anyar dhisik, sampeyan uga bisa ngetutake aku!

Matur nuwun sampun maos artikel kula. Ketemu malih.