Maqolalar katalogi
Baidu Spider diagnostik istisno ma'lumotlarini ushlaydi: rozetka noto'g'ri o'qisa va yozsa nima qilishim kerak?
Sizning veb-saytingiz Baidu tomonidan qo'shilmagan deb hisoblasangiz, birinchi navbatda Baidu qidiruv resurs platformasida o'rgimchakni skanerlash tashxisini bajarishingiz kerak.
Baidu brauzeri diagnostika havolalarini tekshirib chiqmasa, nima qilishim kerak?
Agar Baidu brauzerining skanerlash diagnostikasi bir necha marta muvaffaqiyatsiz bo'lsa, xavfsizlik devori brauzer dasturini bloklagan bo'lishi mumkin.
Baidu Qidiruv Resurs Platformasi > Skrining Diagnostikasi > Skrining Xatosi Ma'lumoti: Soket O'qish/Yozish Xatosi ▼
- Ayniqsa foydalanishCloudFlare CDN dan foydalanilganda, u sukut bo'yicha bloklanadi.
- Internetda IP-manzilni qo'shish kerakligi aytiladi
xxx.xxx.xxx.xxx/24 - Biroq, bunga urinib ko'rgan bo'lsa ham, hech qanday natija bermadi.
Men serverda Baidu o'rgimchaklarini bloklamadim, shuning uchun muammo Cloudflare-ning WAF-da bo'lishi kerak!
Cloudflare-ga kiring → Xavfsizlik → WAF → Xavfsizlik devori qoidalari → Xavfsizlik devori qoidasini yaratish
- Cloudflare-da brauzerlar bilan bog'liq WAF qoidalarini toping va "qonuniy robot brauzeri" variantini toping ▼
- Xavfsizlik devori qoidalarini yaratgandan so'ng, 10 daqiqa kuting va keyin tashxisni oling va ularning barchasi muvaffaqiyatli qo'lga kiritildi!
Baidu brauzerining Sayt xaritasini skanerlashda xatolik va ulanishning vaqti tugashida nima xato bor?
Agar siz Baidu qidiruv resurs platformasida Sayt xaritasi faylining manzilini yuborsangiz, skanerlashda xatolik va ulanishning vaqti tugashi kabi muammolar yuzaga keladi ▼
Baidu brauzerining Sayt xaritasi xaritasini ushlay olmasligiga yechim
Cloudflare tizimiga kiring → Xavfsizlik → WAF → Xavfsizlik devori qoidalari → Xavfsizlik devori qoidalarini yarating ▼
- maydonida "Foydalanuvchi agenti" ni tanlang.
- operatori uchun Contains-ni tanlang
- Yangi foydalanuvchi agentini qo'shing, oxirgi "Yoki" tugmasini bosing.
- Qiymat, mos ravishda quyidagi Baidu Spider UA foydalanuvchi agentini kiriting:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Tugatgandan so'ng, olishni qaytadan sinab ko'ring va natija HTTP sarlavhasi 200ni qaytaradi, bu olish muvaffaqiyatli ekanligini ko'rsatadi▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Boshqa o'rgimchaklar va sudraluvchilarning foydalanuvchi agentlari ham xuddi shu tarzda o'zlarini qidirishlari mumkin.
Umid qilamizki, Chen Weiliangning blogida ( https://www.chenweiliang.com/ ) ulashilgan "Soket o'qish/yozish xatolari va ulanish vaqtlari bilan qanday kurashish kerak" maqolasi siz uchun foydali bo'ladi.
Ushbu maqola havolasini ulashing: https://www.chenweiliang.com/cwl-29315.html