Ṣé HeadlessChrome ń ní ìjìnlẹ̀ tó pọ̀ jù? Ìtọ́sọ́nà ìgbésẹ̀ mẹ́ta ti Cloudflare láti dènà rẹ̀ pátápátá (pẹ̀lú àwọn òfin WAF)

Mo ṣẹ̀ṣẹ̀ wo ẹ̀yìn ojú-òpó wẹ́ẹ̀bù náà, iye àwọn tí wọ́n ń lọ sí ojú-òpó wẹ́ẹ̀bù náà sì jẹ́ ẹgbẹ̀rún díẹ̀ péré.

Nígbà tí mo ṣí Google Analytics, mo yà lẹ́nu gan-an.

Lọ́jọ́ kan, ojú ìwé tí mo rí lójijì pọ̀ sí i ju ẹgbẹ̀rún méjìlélógún lọ, inú mi sì dùn gan-an, mo rò pé màá di olókìkí nígbẹ̀yìn-gbẹ́yín. Ṣùgbọ́n nígbà tí mo ṣe àyẹ̀wò fínnífínní lórí bí mo ṣe ń lo ẹ̀rọ ayélujára, mo rí i pé 90% àwọn ènìyàn tó ń lo ẹ̀rọ ayélujára náà wá láti inú ohun kan tí wọ́n ń pè ní "HeadlessChrome".

Mo bi ChatGTP pe iru ẹrọ lilọ kiri ayelujara wo ni eyi? Ṣe ẹya tuntun ti Chrome ni?

AI dahun pe eyi kii ṣe ẹrọ aṣawakiri.

Rọ́bọ́ọ̀tì ni èyí.

Kí ni HeadlessChrome gan-an?

Gẹ́gẹ́ bí orúkọ rẹ̀ ṣe sọ, HeadlessChrome ni ọ̀nà tí kò ní orí Chrome. Chrome ni ọ̀nà tí o ń lò lójoojúmọ́. Ọ̀nà tí kò ní orí máa ń mú kí àwòrán ojú ẹ̀rọ aṣàwárí náà má ṣiṣẹ́, èyí sì máa ń jẹ́ kí ó ṣiṣẹ́ ní ẹ̀yìn nípa lílo ìlà àṣẹ nìkan.

Kò sí àdírẹ́sì, kò sí àkọọ́lẹ̀, kò sí ohunkóhun tí o lè rí. Ó jẹ́ àkójọ kódù kan tí ó ń pe ẹ̀rọ aṣàwákiri, ó ń kó ojú-ìwé wẹ́ẹ̀bù rẹ, lẹ́yìn náà ó ń yọ àwọn ohun tí ó wà nínú rẹ̀ kúrò.

Àwọn olùlò gidi kì yóò lo irú nǹkan bẹ́ẹ̀ láti wo ojú-òpó wẹ́ẹ̀bù. Èmi àti ìwọ ṣí Chrome láti ka ìròyìn, láti wo àwọn fídíò, àti láti rajà lórí Taobao . HeadlessChrome ṣí ojú-òpó wẹ́ẹ̀bù rẹ láti yọ àwọn dátà rẹ kúrò kí o sì lọ.

Nítorí náà, nígbà tí o bá rí HeadlessChrome tó jẹ́ 80% tàbí 90% àwọn ìjáde nínú àwọn statistiki rẹ, o lè parí èrò sí pé ìjáde bot yìí jẹ́ 100% àwọn ìjáde.

Níbo ni gbogbo ìrìn àjò bot yìí ti wá?

Ni otitọ, awọn orisun yatọ pupọ.

Àpẹẹrẹ tó wọ́pọ̀ jùlọ ni ìfọ́mọ́ wẹ́ẹ̀bù. Àwọn ilé-iṣẹ́ kan tàbí àwọn ènìyàn kan máa ń lo àwọn ìlànà ìdámọ̀-ẹ̀rọ bíi Puppeteer, Playwright, tàbí Selenium láti ṣe ìfilọ́lẹ̀ àwọn ẹ̀rọ amóhùnmáwòrán tí kò ní orí àti àkójọpọ̀ ojú-ìwé wẹ́ẹ̀bù ìfọ́mọ́ra. Àwọn kan máa ń fọ́ owó ọjà, àwọn kan máa ń fọ́ àwọn ìròyìn, àti àwọn mìíràn máa ń fọ́ àwọn data ìdíje.

Lẹ́yìn náà, AI wà níbẹ̀. Nísinsìnyí, onírúurú irinṣẹ́ AI, ẹ̀rọ ìwákiri AI, àti àwọn ètò ìgbàpadà AI gbogbo wọn ń ṣe àtúnyẹ̀wò àwọn ojú ìwé wẹ́ẹ̀bù ní ẹ̀yìn. Nígbà tí o bá ń gbé àpilẹ̀kọ kan jáde, ọ̀pọ̀lọpọ̀ àwọn aṣojú AI lè máa ka àkóónú rẹ ní àkókò kan náà.

Ọ̀nà mìíràn tó rọrùn jù ni iṣẹ́ tí o ṣètò fún ara rẹ. Fún àpẹẹrẹ, o lè lo ìwé àkójọpọ̀ SEO tí ó ń ṣàyẹ̀wò àwọn àyípadà ìpele ojú ìwé pàtó kan ní gbogbo wákàtí, nípa lílo HeadlessChrome. Tàbí o lè ṣètò iṣẹ́ àwòkọ aláfọwọ́ṣe kan tí ó máa ń ya àwòrán ojú ìwé náà lẹ́ẹ̀kọ̀ọ̀kan, pẹ̀lú lílo irinṣẹ́ yìí.

Irú èyí tó burú jùlọ ni èyí tó kẹ́yìn: ìwòran búburú. Àwọn ìwé àfọwọ́kọ aládàáṣe máa ń ṣiṣẹ́ láti wo ojú-òpó wẹ́ẹ̀bù rẹ fún àwọn àléébù, dán ìfọwọ́sowọ́pọ̀ ìwọlé backend rẹ wò, àti láti fi àwọn àkíyèsí àwúrúju ránṣẹ́ ní ọ̀pọ̀lọpọ̀.

Báwo ni àwọn statistiki backend ṣe ń dá HeadlessChrome mọ̀?

Ó rọrùn gan-an. Gbogbo ẹ̀rọ aṣàwárí ní pápá Olùlò-Aṣojú nínú àkọlé ìbéèrè rẹ̀ nígbà tí ó bá ń wọlé sí ojú-ìwé wẹ́ẹ̀bù kan, tí ó ń sọ fún olupin náà pé “ta ni mí.” Olùlò-Aṣojú HeadlessChrome tí a gbé kalẹ̀ ní okùn “HeadlessChrome.” Ètò àgbéyẹ̀wò rẹ yóò mọ̀ èyí nígbà tí ó bá ṣe àgbéyẹ̀wò pápá yìí.

Sibẹsibẹ, ti oluṣeto wẹẹbu crawler ba ṣe iyipada diẹ si koodu naa, ti o yi aṣoju olumulo pada si idanimọ Chrome tabi Safari deede, iwọ kii yoo ni anfani lati mọ lati ẹhin awọn iṣiro rara. Eyi ni orififo gidi.

loOju awọsanma WAF ṣe àdéhùn Chrome aláìléwu.

Ó dára, a ti mọ ìṣòro náà. Báwo la ṣe lè yanjú rẹ̀?

Ojutu taara julọ ati ti o munadoko julọ ni lati da ijabọ naa duro ni ipele CDN tabi WAF. Maṣe duro titi ijabọ naa yoo fi de ọdọ olupin rẹ ṣaaju ṣiṣe rẹ; dina ni ẹnu-ọna.

Tí o bá ń lo Cloudflare, iṣẹ́ náà rọrùn gan-an.

Wọlé sínú ẹ̀rọ ìṣiṣẹ́ Cloudflare rẹ, yan agbègbè ìforúkọsílẹ̀ rẹ, wá Ààbò, lẹ́yìn náà tẹ WAF, lẹ́yìn náà lọ sí Àwọn Òfin Àṣà, kí o sì ṣẹ̀dá òfin tuntun kan.

Orukọ ofin naa le jẹ ohunkohun, fun apẹẹrẹ, "Challenge Headless Chrome"ati iru bẹẹ,

Má gbàgbé rẹ̀.

Yiyan aayeUser AgentYiyan oniṣẹcontains, kún iye naaHeadlessChrome,

Ní aaye yii iwọ yoo ri ikosile awotẹlẹ kan, eyiti o jẹhttp.user_agent contains "HeadlessChrome"

Lẹhinna yan ninu iṣẹ naaManaged ChallengetabiJS Challenge,

• Mo daba pe ki o yanManaged ChallengeNítorí pé ọ̀nà ìfìdí rẹ̀ jẹ́ èyí tó gbọ́n jù, kò sì ní ipa púpọ̀ lórí àwọn olùlò gidi.

Níkẹyìn, tẹ Iṣẹ́ Deploy, òfin yìí yóò sì bẹ̀rẹ̀ sí ṣiṣẹ́ kárí ayé.

Cloudflare ní ọgọ́rọ̀ọ̀rún àwọn nódù kárí ayé, tí a ṣe àtúnṣe pẹ̀lú ìṣiṣẹ́pọ̀ ìpele kejì. Ní pàtàkì, ìjádelọ àwọn ẹ̀rọ aṣàwárí aláìlórí ni a ó dí ní kété tí o bá tẹ bọ́tìnì náà.

Awọn abawọn afọju ni aabo ati idena ilọsiwaju

Sibẹsibẹ, nibẹ ni "ṣugbọn".

Ṣíṣe àfikún Olùlò-Aṣojú nìkan lè yanjú ọ̀pọ̀lọpọ̀ àwọn ìṣètò ìṣàfihàn ìkànnì wẹ́ẹ̀bù pẹ̀lú àwọn ètò àìyípadà. Síbẹ̀síbẹ̀, kò tó fún àwọn olùṣàyẹ̀wò ìkànnì tó ní ìmọ̀.

Bẹ̀rẹ̀ pẹ̀lú Chrome 110, Google ṣe àgbékalẹ̀ ipò tuntun kan tí kò ní orí, nípa lílo...--headless=newÌbẹ̀rẹ̀ paramita. Ní ipò yìí, Aṣojú Olùlò HeadlessChrome jẹ́ ọ̀kan náà gẹ́gẹ́ bí ti Chrome déédéé, o kò sì le mọ ìyàtọ̀ rárá.

Àwọn kan tún wà tí wọ́n ń ṣe àrékérekè. Àwọn olùgbékalẹ̀ ìkànnì ayélujára rọ́pò Olùlò-Agent pẹ̀lú àmì ìdámọ̀ Chrome tàbí ẹ̀rọ ìṣàwárí alágbéká nínú kódì náà, èyí tí ó mú kí ó ṣòro láti bá àwọn òfin tí ó péye jùlọ mu.

Fun ipo yii, Cloudflare tun nfunni ni awọn ẹya meji ti o ni ilọsiwaju diẹ sii ti o le mu ṣiṣẹ.

Èkíní ni a ń pè ní Browser Integrity Check.

Láti mú kí iṣẹ́ yìí ṣiṣẹ́, lọ sí Ààbò → Ètò → Ṣàyẹ̀wò Ìwà Títọ́ Ẹ̀rọ Aṣàwárí kí o sì tan ìyípadà náà.

Ó ń fi àwọn ìjáde tí kò báradé hàn nípasẹ̀ ìka ọwọ́ TLS. Láìka bí o ṣe ń fi àṣírí olùlò hàn dáadáa tó, a kò lè fi àṣírí ìka ọwọ́ TLS ṣe èké.

Èkejì ni a ń pè ní Bot Fight Mode, tàbí robot battle mode.

Ọ̀nà náà ni Ààbò → Àwọn Ètò Àìfọwọ́ṣe → Ipò Ìjà Bot, èyí tí ó yẹ kí ó tún ṣiṣẹ́.

Ẹ̀yà ara yìí so àwọn ànímọ́ ìwà pọ̀ láti mọ̀ bóyá ìjáde ọkọ̀ jẹ́ ti àwọn bot, bí ìbéèrè ìgbàkúgbà, ipa ọ̀nà ìṣípo eku, àkókò ìdúró ojú ìwé, àti bẹ́ẹ̀ bẹ́ẹ̀ lọ.

Ẹ̀yà ọ̀fẹ́ náà yóò lo àwọn ìpèníjà tí a ṣàkóso láìfọwọ́sí sí àwọn bot tí a fura sí, nígbàtí ẹ̀yà tí a sanwó náà fúnni láàyè láti ṣe àtúnṣe òfin onípele púpọ̀ sí i.

Láti inú spam sí àwọn arìnrìn-àjò wẹ́ẹ̀bù, ogun láàárín àwọn ajìjàgbara àti àwọn olùgbèjà kò tí ì dáwọ́ dúró.

Nígbà tí a ń sọ̀rọ̀ nípa èyí, nǹkan kan lójijì wá sí ọkàn wa.

Ní gidi, irú ìkọlù àti ìgbèjà yìí ti ń ṣẹlẹ̀ jálẹ̀ ìtàn ìkànnì ayélujára. Ó rí bẹ́ẹ̀ nígbà tí spam wọ́pọ̀ ní àwọn ọjọ́ ìbẹ̀rẹ̀; o dí ẹ̀yà kan, olùránṣẹ́ sì yí i padà. O lo ìṣàlẹ̀ ọ̀rọ̀-ọ̀rọ̀, olùránṣẹ́ sì fọ́ àwọn ọ̀rọ̀ onímọ̀lára náà. O lo ààlà ìgbàlódé, olùránṣẹ́ sì dín ìgbàlódé tí a fi ń ránṣẹ́ kù.

Lónìí, ó ti di ìjà láàárín àwọn ojú òpó wẹ́ẹ̀bù àti àwọn arìnrìn-àjò wẹ́ẹ̀bù. O lo àlẹ̀mọ́ User-Agent, apá kejì sì ń ṣe àfarawé User-Agent. O lo ìtẹ̀wé TLS, apá kejì sì bẹ̀rẹ̀ sí í ṣe ìwádìí lórí bí a ṣe ń ṣe àfarawé TLS.

Ìmọ̀ ẹ̀rọ lè yípadà, ṣùgbọ́n ìlànà ẹ̀kọ́ eré tí ó wà ní ìpìlẹ̀ kò tíì yípadà rí.

Sibẹsibẹ, fun ọpọlọpọ awọn oniwun oju opo wẹẹbu, ṣiṣe igbesẹ ti tẹlẹ to.

80% ti ijabọ Chrome ti ko ni ori wa lati awọn crawlers aiyipada-configuration ti o ni ọlẹ lati fi ara wọn pamọ, eyiti a le yanju pẹlu ofin WAF kan. Niti awọn ti o ni awọn aṣọ-ibora ti o ni oye, ayafi ti o ba ni data pataki ti o nilo aabo, ko si idi lati ṣe aniyan pupọ.

Nígbà tí o bá ti mú gbogbo àwọn ohun èlò tó yẹ ṣiṣẹ́, o ti ṣètò tán pátápátá.

Níkẹyìn, mo fẹ́ fi ohun kan kún un.

Ọ̀pọ̀ ènìyàn gbàgbọ́ pé bí ìtajà ojú òpó wẹ́ẹ̀bù bá pọ̀ tó, bẹ́ẹ̀ náà ni yóò ṣe dára tó. Àmọ́, tí o kò bá lè mọ ìyàtọ̀ láàárín àwọn ìtajà gidi àti àwọn bot, àwọn nọ́mbà tó ń pọ̀ sí i wọ̀nyẹn jẹ́ ìwọ̀n àṣehàn lásán. Wọ́n tilẹ̀ lè ṣi ìpinnu rẹ lọ́nà, èyí tó lè mú kí o rò pé àwọn ohun kan wà tó gbajúmọ̀ nígbà tí ó jẹ́ pé ẹ̀rọ ìwádìí ojú òpó wẹ́ẹ̀bù ló ń kó ojú ìwé rẹ jọ.

Lílóye ìwà gidi ti ìrìnàjò ṣe pàtàkì ju lílépa àwọn ènìyàn tí ń rìnrìnàjò lọ.

Tí o bá ní àwọn ọ̀rẹ́ tí wọ́n ń lo àwọn ojú òpó wẹ́ẹ̀bù tàbí tí wọ́n ń ṣe SEO, má ṣe lọ́ tìkọ̀ láti fi àpilẹ̀kọ yìí ránṣẹ́ sí wọn. Ọ̀pọ̀ ènìyàn lè má mọ̀ pé ọ̀pọ̀lọpọ̀ àwọn bot ló ń kọlù àwọn ojú òpó wẹ́ẹ̀bù wọn, bẹ́ẹ̀ ni wọn kò mọ̀ pé yíyanjú ìṣòro yìí rọrùn gan-an.

Nítorí pé o ti ka ìwé yìí tán, tí o bá rí i pé ó wúlò, jọ̀wọ́ fẹ́ràn rẹ̀ kí o sì pín in. Tí o bá fẹ́ gba àwọn ìròyìn tuntun ní àkọ́kọ́, o lè tẹ̀lé mi pẹ̀lú!

Ẹ ṣeun fún kíkà àpilẹ̀kọ mi. Ẹ tún rí ara yín nígbà míì.