სტატიების დირექტორია
Baidu Spider იჭერს სადიაგნოსტიკო გამონაკლისის ინფორმაციას: რა უნდა გავაკეთო, თუ სოკეტი არასწორად კითხულობს და წერს?
თუ ვივარაუდებთ, რომ თქვენი ვებსაიტი არ არის ჩართული Baidu-ს მიერ, თქვენ ჯერ უნდა შეასრულოთ ობობის მცოცავი დიაგნოზი Baidu-ს საძიებო რესურსების პლატფორმაზე.
რა უნდა გავაკეთო, თუ Baidu crawler ვერ ახერხებს დიაგნოსტიკური ბმულების დაცვით?
თუ Baidu crawler crawl-ის დიაგნოზი რამდენჯერმე ვერ მოხერხდა, შესაძლოა, ფეიერვოლმა დაბლოკა მცოცავი პროგრამა.
Baidu-ს საძიებო რესურსების პლატფორმა > Crawl Diagnosis > Crawl Exception Information: სოკეტის წაკითხვისა და ჩაწერის შეცდომები ▼
- განსაკუთრებით Cloudflare CDN-ის გამოყენებისას, ის ნაგულისხმევად დაბლოკილია.
- ინტერნეტში ამბობენ, რომ დაამატეთ IP მისამართი
xxx.xxx.xxx.xxx/24 - თუმცა, ეს სცადა უშედეგოდ.
მე არ დავბლოკე Baidu spiders სერვერზე, ამიტომ პრობლემა უნდა იყოს Cloudflare-ის WAF!
შედით Cloudflare-ში → უსაფრთხოება → WAF → Firewall-ის წესები → Firewall-ის წესის შექმნა
- იპოვეთ WAF წესები, რომლებიც დაკავშირებულია მცოცავებთან Cloudflare-ზე და იპოვნეთ „ლეგიტიმური რობოტის მცოცავი“ ▼
- Firewall-ის წესების შექმნის შემდეგ, დაელოდეთ 10 წუთს და შემდეგ აითვისეთ დიაგნოზი და ყველა მათგანი წარმატებით იქნა აღბეჭდილი!
რისი ბრალია Baidu-ს მცოცავი საიტის რუქის მცოცავი წარუმატებლობა და კავშირის დრო ამოიწურა?
თუ Baidu-ს საძიებო რესურსების პლატფორმაზე გამოაგზავნით საიტის რუქის ფაილის მისამართს, წარმოიქმნება ისეთი პრობლემები, როგორიცაა მცოცავი უკმარისობა და დაკავშირების დრო ▼
გამოსავალი Baidu crawler-მა ვერ აითვისა საიტის რუქა
შედით Cloudflare-ში → უსაფრთხოება → WAF → Firewall-ის წესები → Firewall-ის წესების შექმნა ▼
- ველი, აირჩიეთ "მომხმარებლის აგენტი"
- ოპერატორი, აირჩიეთ შეიცავს
- დაამატეთ ახალი მომხმარებლის აგენტი, დააწკაპუნეთ ბოლო "ან"
- მნიშვნელობა, შესაბამისად, შეიყვანეთ შემდეგი Baidu Spider UA მომხმარებლის აგენტი:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
დასრულების შემდეგ ხელახლა გამოსცადეთ ჩაწერა და შედეგი დააბრუნებს HTTP სათაურს 200, რაც მიუთითებს, რომ მიღება წარმატებით დასრულდა ▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
სხვა ობობებისა და მცოცავების მომხმარებლის აგენტებს ასევე შეუძლიათ საკუთარი თავის ძებნა იმავე გზით.
იმედი ჩენ ვეილიანგის ბლოგი ( https://www.chenweiliang.com/ ) გააზიარა "Baidu Spider Crawl Failure Diagnosis-ის არანორმალური ინფორმაცია რა უნდა გააკეთოთ, თუ სოკეტის წაკითხვისა და წერის შეცდომის დაკავშირების დრო ამოიწურა", რაც თქვენთვის სასარგებლოა.
კეთილი იყოს თქვენი მობრძანება ამ სტატიის ბმულის გასაზიარებლად:https://www.chenweiliang.com/cwl-29315.html
კეთილი იყოს თქვენი მობრძანება Chen Weiliang-ის ბლოგის ტელეგრამის არხზე, რომ მიიღოთ უახლესი განახლებები!
📚 ეს სახელმძღვანელო შეიცავს უზარმაზარ ღირებულებას, 🌟ეს იშვიათი შესაძლებლობაა, არ გამოტოვოთ! ⏰⌛💨
გააზიარეთ და მოიწონეთ თუ მოგეწონათ!
თქვენი გაზიარება და მოწონებები ჩვენი უწყვეტი მოტივაციაა!