Adakah HeadlessChrome mengalami trafik yang luar biasa tinggi? Panduan 3 langkah Cloudflare untuk menyekatnya sepenuhnya (dengan peraturan WAF)

Baru-baru ini saya menyemak bahagian belakang laman web, dan purata kunjungan harian hanya beberapa ribu.

Apabila saya membuka Google Analytics, saya benar-benar tergamam.

Pada suatu hari, paparan halaman saya tiba-tiba melonjak kepada lebih 20,000, dan saya sangat gembira, kerana menyangka saya akhirnya akan menjadi terkenal. Tetapi setelah memeriksa pengedaran pelayar dengan lebih teliti, saya mendapati bahawa 90% trafik datang daripada sesuatu yang dipanggil "HeadlessChrome".

Saya tanya ChatGTP pelayar apa ini? Adakah ia versi baharu Chrome?

AI menjawab bahawa ini bukan pelayar.

Ini robot.

Apakah sebenarnya HeadlessChrome?

HeadlessChrome, seperti namanya, ialah mod tanpa kepala Chrome. Chrome ialah pelayar yang anda gunakan setiap hari. Mod tanpa kepala melumpuhkan antara muka grafik pelayar, membolehkannya berjalan di latar belakang hanya menggunakan baris arahan.

Tiada bar alamat, tiada bar penanda halaman, tiada apa yang anda boleh lihat. Ia hanyalah sekeping kod yang memanggil enjin pelayar, memuatkan halaman web anda, dan kemudian mengikis kandungannya.

Pengguna sebenar tidak akan pernah menggunakan sesuatu seperti ini untuk melayari web. Anda dan saya membuka Chrome untuk membaca berita, menonton video dan membeli-belah di Taobao . HeadlessChrome membuka halaman web anda untuk mengikis data anda dan kemudian pergi.

Jadi apabila anda melihat HeadlessChrome menyumbang 80% atau 90% trafik dalam bahagian belakang statistik anda, anda boleh menyimpulkan bahawa trafik ini adalah 100% trafik bot.

Dari mana datangnya semua trafik bot ini?

Sejujurnya, sumbernya sangat pelbagai.

Contoh yang paling biasa ialah pengikisan web. Sesetengah syarikat atau individu menggunakan rangka kerja automasi seperti Puppeteer, Playwright atau Selenium untuk melancarkan pelayar tanpa kepala dan mengikis kandungan halaman web secara berkumpulan. Ada yang mengikis harga produk, ada yang mengikis artikel berita dan ada yang mengikis data pesaing.

Dan kemudian ada AI. Kini, pelbagai alat AI, enjin carian AI dan sistem pencarian AI semuanya menghuraikan halaman web di latar belakang. Apabila anda menerbitkan artikel, berpuluh-puluh ejen AI mungkin membaca kandungan anda secara serentak.

Satu lagi kaedah yang lebih halus ialah tugasan berjadual anda sendiri. Contohnya, anda mungkin menggunakan skrip pemantauan SEO yang menyemak perubahan kedudukan halaman tertentu setiap jam, menggunakan HeadlessChrome. Atau anda mungkin menyediakan perkhidmatan tangkapan skrin automatik yang mengambil gambar halaman secara berkala, juga menggunakan alat ini.

Jenis yang paling menjengkelkan ialah yang terakhir: pengimbasan berniat jahat. Skrip automatik dijalankan untuk mengimbas laman web anda untuk kelemahan, menguji antara muka log masuk bahagian belakang anda dan juga menghantar komen spam secara pukal.

Bagaimanakah bahagian belakang statistik mengenal pasti HeadlessChrome?

Ia sebenarnya agak mudah. ​​Setiap pelayar menyertakan medan Ejen-Pengguna dalam pengepala permintaannya semasa mengakses halaman web, memberitahu pelayan "siapa saya." Ejen-Pengguna lalai HeadlessChrome menyertakan rentetan "HeadlessChrome." Sistem analitik anda akan mengetahui perkara ini sebaik sahaja ia menghuraikan medan ini.

Walau bagaimanapun, jika pembangun perayap web membuat sedikit pengubahsuaian pada kod, menukar Ejen Pengguna kepada pengecam Chrome atau Safari biasa, anda tidak akan dapat membezakannya langsung daripada bahagian belakang statistik. Inilah masalah sebenar.

GunaCloudFlare WAF menyekat Headless Chrome dengan tepat.

Baiklah, kita telah mengenal pasti masalahnya. Bagaimana kita menyelesaikannya?

Penyelesaian yang paling langsung dan berkesan adalah memintas trafik pada lapisan CDN atau WAF. Jangan tunggu sehingga trafik sampai ke pelayan anda sebelum memprosesnya; sekatnya di depan pintu.

Jika anda menggunakan Cloudflare, operasinya sebenarnya sangat mudah.

Log masuk ke konsol Cloudflare anda, pilih domain sasaran, cari Keselamatan, kemudian klik WAF, kemudian pergi ke Peraturan Tersuai dan cipta peraturan baharu.

Nama peraturan boleh jadi apa sahaja, contohnya, "Challenge Headless Chrome"dan seumpamanya,

Ingat sahaja.

Pemilihan medanUser AgentPemilihan pengendalicontains, isikan nilaiHeadlessChrome.

Pada ketika ini anda akan melihat ungkapan pratonton, iaituhttp.user_agent contains "HeadlessChrome"

Kemudian pilih dalam operasiManaged ChallengeatauJS Challenge.

• Saya cadangkan memilihManaged ChallengeKerana kaedah pengesahannya lebih pintar dan kurang memberi impak kepada pengguna sebenar.

Akhir sekali, klik Gunakan, dan peraturan ini akan berkuat kuasa secara global.

Cloudflare mempunyai ratusan nod di seluruh dunia, dikonfigurasikan dengan penyegerakan peringkat kedua. Pada asasnya, trafik pelayar tanpa kepala disekat sebaik sahaja anda mengklik butang tersebut.

Titik buta dalam perlindungan dan pencegahan lanjutan

Walau bagaimanapun, ada "tetapi".

Pemadanan Ejen Pengguna sahaja boleh menyelesaikan kebanyakan konfigurasi perayap web dengan tetapan lalai. Walau bagaimanapun, ia tidak mencukupi untuk perayap mahir.

Bermula dengan Chrome 110, Google memperkenalkan mod tanpa kepala baharu, menggunakan...--headless=newPermulaan parameter. Dalam mod ini, Ejen Pengguna HeadlessChrome adalah sama seperti Chrome biasa, dan anda langsung tidak dapat membezakannya.

Terdapat juga yang secara aktif memalsukan. Pembangun perayap web menggantikan Ejen Pengguna secara langsung dengan pengecam Chrome atau pelayar mudah alih biasa dalam kod, menjadikannya mustahil untuk dipadankan walaupun dengan peraturan yang paling tepat.

Untuk situasi ini, Cloudflare juga menawarkan dua ciri lanjutan yang boleh diaktifkan.

Yang pertama dipanggil Semakan Integriti Pelayar.

Untuk mendayakan ciri ini, pergi ke Keselamatan → Tetapan → Semakan Integriti Pelayar dan hidupkan suis.

Ia mengenal pasti trafik yang tidak normal melalui cap jari TLS. Tidak kira betapa baiknya anda menyamarkan Ejen Pengguna, cap jari TLS tidak boleh dipalsukan.

Yang kedua dipanggil Mod Pertarungan Bot, atau mod pertempuran robot.

Laluannya ialah Keselamatan → Program Automatik → Mod Pertarungan Bot, yang juga harus diaktifkan.

Ciri ini menggabungkan ciri-ciri tingkah laku untuk menentukan sama ada trafik milik bot, seperti kekerapan permintaan, trajektori pergerakan tetikus, masa menunggu halaman, dsb.

Versi percuma akan secara automatik menggunakan cabaran terurus pada bot yang mencurigakan, manakala versi berbayar membolehkan konfigurasi peraturan yang lebih terperinci.

Daripada spam kepada perayap web, pertempuran antara penyerang dan pembela tidak pernah berhenti.

Bercakap tentang perkara ini, tiba-tiba sesuatu terlintas di fikiran.

Malah, konfrontasi ofensif dan defensif seperti ini telah berlaku sepanjang sejarah internet. Ia sama seperti ketika spam berleluasa pada zaman dahulu; anda menyekat satu ciri, dan penghantar mengubahnya. Anda menggunakan penapisan kata kunci, dan penghantar memecahkan perkataan sensitif. Anda menggunakan had kekerapan, dan penghantar mengurangkan kekerapan penghantaran.

Hari ini, ia menjadi pertempuran antara laman web dan perayap web. Anda menggunakan penapisan Ejen Pengguna, dan pihak yang satu lagi menyamar sebagai Ejen Pengguna. Anda menggunakan cap jari TLS, dan pihak yang satu lagi mula menyelidik cara mensimulasikan cap jari TLS.

Teknologi mungkin berubah, tetapi logik teori permainan yang mendasarinya tidak pernah berubah.

Walau bagaimanapun, bagi kebanyakan pemilik laman web, melakukan langkah sebelumnya sudah memadai.

80% trafik Chrome tanpa kepala datang daripada perayap konfigurasi lalai yang terlalu malas untuk menyamar, yang boleh diselesaikan dengan satu peraturan WAF. Bagi mereka yang mempunyai penyamaran yang canggih, melainkan anda mempunyai data yang sangat sensitif yang memerlukan perlindungan, anda tidak perlu risau secara berlebihan.

Sebaik sahaja anda mendayakan semua ciri yang diperlukan, anda pada asasnya telah ditetapkan.

Akhir sekali, saya ingin menambah satu lagi perkara.

Ramai orang percaya bahawa lebih banyak trafik laman web, lebih baik. Walau bagaimanapun, jika anda tidak dapat membezakan antara trafik sebenar dan bot, angka yang melonjak itu hanyalah metrik kesombongan. Ia juga boleh mengelirukan pertimbangan anda, membuatkan anda berfikir bahawa kandungan tertentu sangat popular sedangkan ia hanyalah perayap web yang memuatkan halaman anda secara besar-besaran.

Memahami sifat sebenar trafik adalah jauh lebih penting daripada mengejar angka trafik.

Jika anda mempunyai rakan yang mengendalikan laman web atau melakukan SEO, sila teruskan artikel ini kepada mereka. Ramai orang mungkin tidak menyedari bahawa laman web mereka diserang oleh sebilangan besar bot, dan mereka juga tidak tahu bahawa menyelesaikan masalah ini sebenarnya agak mudah.

Memandangkan anda telah membaca setakat ini, jika anda mendapati ia membantu, sila suka dan kongsikannya. Jika anda ingin menerima kemas kini terlebih dahulu, anda juga boleh mengikuti saya!

Terima kasih kerana membaca artikel saya. Jumpa lagi di lain masa.