谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

  • A+

网络营销人员经常需要做SEO分析,在分析多个电商网站的过程中,有时需要测试对方友情链接,是否屏蔽搜索引擎蜘蛛访问?

我们可以通过软件工具,模拟搜索引擎蜘蛛的浏览。

陈沩亮建议使用谷歌浏览器模拟百度、谷歌等搜索引擎蜘蛛的访问。

本文使用Google Chrome浏览器为教程。

Chrome 扩展:User-Agent Switcher for Chrome

第1步:下载Chrome扩展

扩展程序 → 获取更多扩展程序 → 搜索“User-Agent Switcher for Chrome” →  点击“+ 添加到 CHROME”▼

谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

第2步:刷新谷歌浏览器,你会注意到该插件已加载 ▼

谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

第3步:进入 User-Agent Switcher for Chrome“选项”

在User-Agent Switcher for Chrome扩展图标右键, 选择“选项”后,会自动进入以下选项设置页 ▼

谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

第4步:添加搜索引擎蜘蛛访问识别码

添加Chrome模拟搜索引擎蜘蛛访问识别,例如百度、谷歌 ▼

谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

  1. 百度:Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
  2. 谷歌:Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
  3. 搜狗:Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
  4. Bing:Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)

第5步:选择搜索引擎蜘蛛访问该网站 ▼

谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

  • 测试访问后,若如常显示,说明百度搜索引擎蜘蛛,能如常抓取网页。

如果你无法访问谷歌官网Chrome扩展下载页面,请看以下解决方法 ▼

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: