دليل المادة
لقد قمت مؤخراً بفحص الواجهة الخلفية للموقع الإلكتروني، ووجدت أن متوسط عدد الزيارات اليومية لا يتجاوز بضعة آلاف.
عندما فتحت برنامج Google Analytics، شعرت بالذهول التام.
في أحد الأيام، ارتفع عدد مشاهدات صفحتي فجأة إلى أكثر من 20 ألف مشاهدة، وشعرت بسعادة غامرة، ظننت أنني أصبحت مشهورًا أخيرًا. ولكن عند التدقيق في توزيع المتصفحات، اكتشفت أن 90% من الزيارات تأتي من شيء يُسمى "HeadlessChrome".
سألتُ ChatGTP عن نوع المتصفح المستخدم، وهل هو إصدار جديد من متصفح Chrome؟
أجاب الذكاء الاصطناعي بأن هذا ليس متصفحًا.
هذا روبوت.
ما هو HeadlessChrome تحديداً؟
وضع HeadlessChrome، كما يوحي اسمه، هو وضع التشغيل بدون واجهة رسومية في متصفح Chrome. Chrome هو المتصفح الذي تستخدمه يوميًا. يعمل هذا الوضع على تعطيل واجهة المستخدم الرسومية للمتصفح، مما يسمح له بالعمل في الخلفية باستخدام سطر الأوامر فقط.
لا يوجد شريط عناوين، ولا شريط إشارات مرجعية، ولا أي شيء يمكنك رؤيته. إنه مجرد جزء من التعليمات البرمجية التي تستدعي محرك المتصفح، وتحمل صفحة الويب الخاصة بك، ثم تستخرج المحتوى.
لن يستخدم المستخدمون الحقيقيون أبدًا برنامجًا كهذا لتصفح الإنترنت. نحن نفتح متصفح كروم لقراءة الأخبار ومشاهدة الفيديوهات والتسوق على تاوباو . أما HeadlessChrome فيفتح صفحة الويب الخاصة بك لجمع بياناتك ثم يغادر.
لذلك عندما ترى أن HeadlessChrome يمثل 80٪ أو حتى 90٪ من حركة المرور في إحصائياتك الخلفية، يمكنك أن تستنتج أن حركة المرور هذه هي حركة مرور روبوتات بنسبة 100٪.
من أين تأتي كل هذه الزيارات من الروبوتات؟
بصراحة، المصادر متنوعة للغاية.
أكثر الأمثلة شيوعًا هو استخراج البيانات من مواقع الويب. تستخدم بعض الشركات أو الأفراد أطر عمل آلية مثل Puppeteer وPlaywright وSelenium لتشغيل متصفحات بدون واجهة رسومية واستخراج محتوى صفحات الويب دفعة واحدة. يستخرج البعض أسعار المنتجات، والبعض الآخر المقالات الإخبارية، بينما يستخرج آخرون بيانات المنافسين.
ثم هناك الذكاء الاصطناعي. الآن، تقوم أدوات الذكاء الاصطناعي المختلفة، ومحركات البحث التي تعمل بالذكاء الاصطناعي، وأنظمة استرجاع المعلومات التي تعمل بالذكاء الاصطناعي، بتحليل صفحات الويب في الخلفية. فعندما تنشر مقالاً، قد يقرأ العشرات من وكلاء الذكاء الاصطناعي محتواك في وقت واحد.
هناك طريقة أخرى أكثر دقة، وهي استخدام مهام مجدولة خاصة بك. على سبيل المثال، يمكنك نشر برنامج نصي لمراقبة تحسين محركات البحث (SEO) يتحقق من تغييرات ترتيب صفحة معينة كل ساعة، باستخدام HeadlessChrome. أو يمكنك إعداد خدمة التقاط لقطات شاشة تلقائية تلتقط صورًا للصفحة بشكل دوري، باستخدام هذه الأداة أيضًا.
أما النوع الأكثر إزعاجاً فهو الأخير: الفحص الخبيث. حيث تعمل برامج نصية آلية على فحص موقعك الإلكتروني بحثاً عن الثغرات الأمنية، واختبار واجهة تسجيل الدخول الخاصة بك، وحتى إرسال تعليقات غير مرغوب فيها بكميات كبيرة.
كيف تحدد الواجهة الخلفية للإحصائيات موقع HeadlessChrome؟
الأمر في غاية البساطة. كل متصفح يُضمّن حقل User-Agent في ترويسة الطلب عند الوصول إلى صفحة ويب، ليُعرّف الخادم بهويته. يتضمن User-Agent الافتراضي لمتصفح HeadlessChrome السلسلة "HeadlessChrome". سيتعرف نظام التحليلات لديك على ذلك بمجرد تحليل هذا الحقل.
لكن إذا أجرى مطور برنامج زحف الويب تعديلاً طفيفاً على الكود، بتغيير مُعرّف المستخدم (User-Agent) إلى مُعرّف عادي لمتصفح كروم أو سفاري، فلن تتمكن من معرفة ذلك من خلال نظام الإحصائيات. هذه هي المشكلة الحقيقية.
用كلودفلاري يعترض جدار حماية تطبيقات الويب (WAF) بدقة متصفح كروم بدون واجهة رسومية (HeadlessChrome).
حسناً، لقد حددنا المشكلة. كيف نحلها؟
الحل الأمثل والأكثر فعالية هو اعتراض حركة البيانات عند مستوى شبكة توصيل المحتوى (CDN) أو جدار حماية تطبيقات الويب (WAF). لا تنتظر حتى تصل حركة البيانات إلى خادمك قبل معالجتها؛ بل امنعها من البداية.
إذا كنت تستخدم Cloudflare، فإن العملية بسيطة للغاية في الواقع.
قم بتسجيل الدخول إلى وحدة تحكم Cloudflare الخاصة بك، وحدد النطاق المستهدف، وابحث عن الأمان، ثم انقر فوق WAF، ثم انتقل إلى القواعد المخصصة، وقم بإنشاء قاعدة جديدة.
يمكن أن يكون اسم القاعدة أي شيء، على سبيل المثال، "Challenge Headless Chromeوما شابه ذلك،
تذكر ذلك فقط.
تحديد الحقولUser Agentاختيار المشغلcontainsأدخل القيمةHeadlessChrome.
في هذه المرحلة سترى تعبيرًا معاينة، وهوhttp.user_agent contains "HeadlessChrome"
ثم حدد في العمليةManaged ChallengeأوJS Challenge.
- أقترح الاختيار
Managed Challengeلأن طريقة التحقق الخاصة بها أكثر ذكاءً ولها تأثير أقل على المستخدمين الحقيقيين.
وأخيرًا، انقر فوق "نشر"، وسيتم تطبيق هذه القاعدة على مستوى العالم.
تمتلك Cloudflare مئات العُقد حول العالم، مُهيأة بمزامنة من المستوى الثاني. بمعنى آخر، يتم حظر حركة مرور المتصفح بدون واجهة رسومية فور النقر على الزر.
نقاط عمياء في الحماية والوقاية المتقدمة
لكن هناك "لكن".
يمكن حل معظم مشاكل برامج زحف الويب ذات الإعدادات الافتراضية بمجرد مطابقة وكيل المستخدم. ومع ذلك، لا يكفي ذلك لمواجهة برامج الزحف الماهرة.
ابتداءً من الإصدار 110 من متصفح كروم، قدمت جوجل وضعًا جديدًا بدون واجهة رسومية، باستخدام...--headless=newبدء تشغيل المعلمة. في هذا الوضع، يكون وكيل المستخدم الخاص بـ HeadlessChrome مطابقًا تمامًا لوكيل المستخدم الخاص بـ Chrome العادي، ولا يمكنك ملاحظة أي فرق على الإطلاق.
وهناك أيضاً من يقومون بانتحال الهوية بشكل فعلي. إذ يقوم مطورو برامج زحف الويب باستبدال مُعرّف User-Agent مباشرةً بمعرّف متصفح Chrome أو متصفح جوال عادي في الكود، مما يجعل المطابقة مستحيلة حتى مع أكثر القواعد دقة.
في هذه الحالة، تقدم Cloudflare أيضًا ميزتين متقدمتين إضافيتين يمكن تفعيلهما.
الأول يسمى فحص سلامة المتصفح.
لتفعيل هذه الميزة، انتقل إلى الأمان ← الإعدادات ← فحص سلامة المتصفح وقم بتشغيل المفتاح.
يكشف هذا النظام عن حركة البيانات غير الطبيعية من خلال بصمات بروتوكول TLS. ومهما بلغت دقة إخفاء وكيل المستخدم، لا يمكن تزوير بصمة TLS.
أما الوضع الثاني فيسمى وضع قتال الروبوتات، أو وضع معركة الروبوتات.
المسار هو: الأمان ← البرامج التلقائية ← وضع مكافحة الروبوتات، والذي يجب تفعيله أيضًا.
تجمع هذه الميزة بين الخصائص السلوكية لتحديد ما إذا كانت حركة المرور تنتمي إلى برامج الروبوت، مثل تكرار الطلب، ومسار حركة الماوس، ووقت بقاء المستخدم في الصفحة، وما إلى ذلك.
سيقوم الإصدار المجاني تلقائيًا بتطبيق التحديات المُدارة على الروبوتات المشبوهة، بينما يسمح الإصدار المدفوع بتكوين قواعد أكثر دقة.
من الرسائل المزعجة إلى برامج الزحف على الويب، لم تتوقف المعركة بين المهاجمين والمدافعين قط.
وبالحديث عن هذا، خطرت لي فكرة فجأة.
في الواقع، لطالما تكرر هذا النوع من المواجهة الهجومية والدفاعية عبر تاريخ الإنترنت. كان الوضع مماثلاً عندما انتشرت الرسائل المزعجة في بداياتها؛ كنتَ تحجب ميزةً ما، فيقوم المُرسِل بتغييرها. كنتَ تستخدم تصفية الكلمات المفتاحية، فيقوم المُرسِل بتحليل الكلمات الحساسة. كنتَ تحدد عدد مرات الإرسال، فيقوم المُرسِل بتقليل عدد مرات الإرسال.
اليوم، أصبح الأمر أشبه بمعركة بين المواقع الإلكترونية وبرامج زحف الويب. تستخدم أنت تصفية وكيل المستخدم، فيقوم الطرف الآخر بانتحال وكيل المستخدم. تستخدم أنت بصمة TLS، فيبدأ الطرف الآخر بالبحث عن كيفية محاكاة بصمات TLS.
قد تتغير التكنولوجيا، لكن منطق نظرية الألعاب الأساسي لم يتغير أبداً.
ومع ذلك، بالنسبة لمعظم أصحاب المواقع الإلكترونية، فإن القيام بالخطوة السابقة يكفي.
يأتي 80% من حركة مرور متصفح كروم بدون واجهة رسومية من برامج زحف افتراضية لا تُخفي هويتها، ويمكن حل هذه المشكلة بقاعدة واحدة في جدار حماية تطبيقات الويب (WAF). أما بالنسبة لبرامج الزحف المتطورة، فلا داعي للقلق المفرط إلا إذا كانت لديك بيانات حساسة للغاية تتطلب حماية.
بمجرد تفعيل جميع الميزات الضرورية، تكون قد انتهيت من كل شيء.
وأخيراً، أود أن أضيف شيئاً آخر.
يعتقد الكثيرون أن زيادة عدد زوار الموقع الإلكتروني أمرٌ إيجابي. لكن إن لم تستطع التمييز بين الزيارات الحقيقية والزيارات الآلية، فإن هذه الأرقام المرتفعة ليست سوى مؤشرات زائفة. بل قد تُضلل حكمك، فتجعلك تظن أن محتوىً معيناً يحظى بشعبية كبيرة، بينما هو في الواقع مجرد برنامج زحف ويب يقوم بتحميل صفحتك بشكل عشوائي.
إن فهم الطبيعة الحقيقية لحركة المرور أهم بكثير من مجرد متابعة أرقام حركة المرور.
إذا كان لديك أصدقاء يديرون مواقع إلكترونية أو يعملون في مجال تحسين محركات البحث، فلا تتردد في مشاركة هذه المقالة معهم. قد لا يدرك الكثيرون أن مواقعهم تتعرض لهجمات من عدد كبير من البرامج الآلية، كما أنهم لا يعلمون أن حل هذه المشكلة بسيط للغاية.
بما أنك قرأت حتى هذه النقطة، إذا وجدت هذا المحتوى مفيدًا، يُرجى الإعجاب به ومشاركته. وإذا كنت ترغب في تلقي التحديثات أولًا، يمكنك أيضًا متابعتي!
شكراً لكم على قراءة مقالتي. أراكم في المرة القادمة.
نأمل أن تكون المقالة "انفجار حركة المرور غير الطبيعي في HeadlessChrome؟ دليل Cloudflare المكون من 3 خطوات لحظره تمامًا (باستخدام قواعد WAF)" التي تمت مشاركتها على مدونة Chen Weiliang ( https://www.chenweiliang.com/ ) مفيدة لك.
لا تتردد في مشاركة رابط هذه المقالة: https://www.chenweiliang.com/cwl-34500.html