Baidu spider crawling failure diagnosis រន្ធ​ព័ត៌មាន​មិន​ប្រក្រតី អាន​និង​សរសេរ​កំហុស​ការ​តភ្ជាប់​អស់ពេល​អ្វីដែលត្រូវធ្វើ

Baidu Spider ​វារ​និង​វិភាគ​ព័ត៌មាន​មិន​ប្រក្រតី​៖ ​តើ​ខ្ញុំ​គួរ​ធ្វើ​ដូចម្តេច​ប្រសិនបើ​រន្ធ​ត្រូវបាន​អាន​ឬ​សរសេរ​?

ដោយសន្មត់ថាគេហទំព័ររបស់អ្នកមិនត្រូវបានធ្វើលិបិក្រមដោយ Baidu ទេ ដំបូងអ្នកត្រូវតែធ្វើការវិនិច្ឆ័យរោគពីងពាងនៅលើវេទិកាធនធានស្វែងរក Baidu ។

តើខ្ញុំគួរធ្វើដូចម្តេចប្រសិនបើឧបករណ៍ចាប់សញ្ញា Baidu បរាជ័យក្នុងការរុករកតំណភ្ជាប់រោគវិនិច្ឆ័យ?

ប្រសិនបើ Baidu crawler បរាជ័យក្នុងការវារ និងធ្វើរោគវិនិច្ឆ័យច្រើនដង នោះ Firewall ប្រហែលជាបានរារាំង crawler ហើយ។

Baidu Search Resource Platform > Crawl Diagnosis > Crawl Abnormal Information: កំហុសក្នុងការអាន/សរសេររន្ធ ▼

• ជាពិសេសនៅពេលប្រើ Cloudflare CDN ដែលត្រូវបានរារាំងតាមលំនាំដើម។
• នៅលើអ៊ីនធឺណិតមានការពិភាក្សាអំពីការបន្ថែមអាសយដ្ឋាន IP xxx.xxx.xxx.xxx/24
• ទោះ​ជា​យ៉ាង​ណា​ព្យាយាម​មិន​បាន​ផល។

ខ្ញុំមិនរារាំង Baidu ពីងពាងនៅលើម៉ាស៊ីនមេទេ ដូច្នេះបញ្ហាគួរតែជា WAF របស់ Cloudflare!

ចូល Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rule

• កំពុងរកមើលច្បាប់ WAF ទាក់ទងនឹង crawler នៅលើ Cloudflare ហើយបានរកឃើញជម្រើស "Legal Robot Crawler" ▼

• • បន្ទាប់ពីបង្កើតច្បាប់ជញ្ជាំងភ្លើង សូមរង់ចាំ 10 នាទី ហើយបន្ទាប់មកចាប់យកការវិនិច្ឆ័យ ហើយពួកគេទាំងអស់ត្រូវបានចាប់យកដោយជោគជ័យ!

Baidu crawler Sitemap បរាជ័យក្នុងការរុករក ការតភ្ជាប់អស់ពេលមែនទេ?

ប្រសិនបើអាសយដ្ឋានឯកសារផែនទីគេហទំព័រត្រូវបានដាក់ជូននៅលើវេទិកាធនធានស្វែងរក Baidu នោះនឹងមានបញ្ហានៃការបរាជ័យក្នុងការរុករក និងការអស់ពេលនៃការតភ្ជាប់ ▼

Baidu crawler បានបរាជ័យក្នុងការរុករកដំណោះស្រាយផែនទីគេហទំព័រ

ចូល Cloudflare → Security → WAF → Firewall Rules → Create Firewall Rules ▼

1. វាល ជ្រើសរើស User-Agent
2. ប្រតិបត្តិករ, ជ្រើសរើស "មាន"
3. បន្ថែមភ្នាក់ងារអ្នកប្រើប្រាស់ថ្មី ចុច "ឬ" នៅចុងបញ្ចប់
4. តម្លៃ សូមបញ្ចូលភ្នាក់ងារអ្នកប្រើប្រាស់ Baidu Spider UA ខាងក្រោមរៀងៗខ្លួន៖

បន្ទាប់ពីបញ្ចប់ សាកល្បង និងទៅយកម្តងទៀត ហើយលទ្ធផលត្រឡប់ HTTP header 200 ដោយបង្ហាញថាការទៅយកបានជោគជ័យ▼

ភ្នាក់ងារអ្នកប្រើប្រាស់នៃសត្វពីងពាង និងអ្នករុករកផ្សេងទៀតក៏អាចស្វែងរកខ្លួនឯងតាមរបៀបដូចគ្នាដែរ។