谷歌浏览器扩展:模拟百度搜索引擎蜘蛛抓取访问

网络营销人员经常需要做SEO分析,在分析多个电商网站的过程中,有时需要测试对方友情链接,是否屏蔽搜索引擎蜘蛛访问?

我们可以通过软件工具,模拟搜索引擎蜘蛛的浏览。

陈沩亮建议使用谷歌浏览器模拟百度、谷歌等搜索引擎蜘蛛的访问。

本文使用Google Chrome浏览器为教程。

Chrome 扩展:User-Agent Switcher for Chrome

第1步:下载Chrome扩展

扩展程序 → 获取更多扩展程序 → 搜索“User-Agent Switcher for Chrome” →  点击“+ 添加到 CHROME”▼

搜索“User-Agent Switcher for Chrome”扩展程序

第2步:刷新谷歌浏览器,你会注意到该插件已加载 ▼

Chrome 已加载扩展:User-Agent Switcher for Chrome

第3步:进入 User-Agent Switcher for Chrome“选项”

在User-Agent Switcher for Chrome扩展图标右键, 选择“选项”后,会自动进入以下选项设置页 ▼

进入 User-Agent Switcher for Chrome“选项”

第4步:添加搜索引擎蜘蛛访问识别码

添加Chrome模拟搜索引擎蜘蛛访问识别,例如百度、谷歌 ▼

Chrome模拟搜索引擎蜘蛛访问识别

  1. 百度:Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
  2. 谷歌:Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
  3. 搜狗:Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
  4. Bing:Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)

第5步:选择搜索引擎蜘蛛访问该网站 ▼

User-Agent Switcher for Chrome扩展:选择搜索引擎蜘蛛访问该网站

  • 测试访问后,若如常显示,说明百度搜索引擎蜘蛛,能如常抓取网页。

如果你无法访问谷歌官网Chrome扩展下载页面,请看以下解决方法 ▼