新准确各大搜索引擎蜘蛛名称
更新时间:2014-08-09 12:25:41 信息编号:2862773 发布者IP:183.45.33.55 浏览:76次- 供应商
- 莱米网络科技有限公司 商铺
- 认证
- 报价
- 人民币¥2.00元每条
- 品牌
- 莱米
- 型号
- 网络推广
- 关键词
- 网络营销,搜索引擎,蜘蛛爬行,搜索蜘蛛,百度收录
- 所在地
- 广东省珠海市香洲区新香洲
- 联系电话
- 0756-39687788
- 手机号
- 18998172652
- 联系人
- 张先生 请说明来自顺企网,优惠更多
产品详细介绍
Zui新Zui准确各大搜索引擎蜘蛛名称
根据线上空间的访问日志来整理常见的蜘蛛名称,不求Zui全,但力求爬虫信息资料Zui新Zui准确。以下搜索引擎蜘蛛名称都是根据线上空间日志亲手提取。
各种搜索引擎的蜘蛛爬虫会不断地访问抓取我们站点的内容,也会消耗站点的一定流量,有时候就需要屏蔽某些蜘蛛访问我们的站点。
其实有效常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的几个搜索引擎蜘蛛允许放行就好了,其它的爬虫统统通过通配符(*)禁止掉,屏蔽某些蜘蛛。
Zui新Zui准确各大搜索引擎蜘蛛名称(大家要注意写法了,特别是大小写):
1、百度蜘蛛:baiduspider
网上的资料百度蜘蛛名称有baiduspider、baiduspider等,那是旧黄历了。百度蜘蛛Zui新名称为baiduspider。日志中还发现了baiduspider-image这个百度旗下蜘蛛,是抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些:baiduspider-mobile(抓取wap)、baiduspider-image(抓取图片)、baiduspider-video(抓取视频)、baiduspider-news(抓取新闻)。
2、谷歌蜘蛛:googlebot
这个争议较少,但也有说是googlebot的。谷歌蜘蛛Zui新名称为“compatible; googlebot/2.1;”。还发现了googlebot-mobile,看名字是抓取wap内容的。
3、360蜘蛛:360spider,它是一个很“勤奋抓爬”的蜘蛛。
4、soso蜘蛛:sosospider。
5、雅虎蜘蛛:“yahoo! slurp china”或者yahoo!
6、有道蜘蛛:youdaobot,yodaobot
7、搜狗蜘蛛:sogou news spider
搜狗蜘蛛还包括如下这些:sogou web spider、sogou inst spider、sogou spider2、sogou blog、sogou news spider、sogou orion spider,
8、msn蜘蛛:msnbot,msnbot-media
9、必应蜘蛛:bingbot ,线上(compatible; bingbot/2.0;)
10、一搜蜘蛛:yisouspider
11、alexa蜘蛛:ia_archiver
12、宜搜蜘蛛:easouspider
13、即刻蜘蛛:jikespider
14、一淘网蜘蛛:etaospider
"mozilla/5.0 (compatible; etaospider/1.0; http://省略/etaospider)"
根据上述蜘蛛中选择几个常用的允许抓取,其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用就不用,等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值,网站的管理者应该是Zui清楚的。
另外还发现了如 yandexbot、ahrefsbot和ezooms.bot这些蜘蛛,据说这些蜘蛛国外的,对中文网站用处很小。那不如就节省下资源。
更多内容请关注珠海莱米网络网址:
联系人:张先生
联系电话:
- 提供专业的网络推广论坛推广服务论坛营销就是企业利用论坛这种网络交流的平台,通过文字、图片、视频等方式发布企业的产品和服务的信息,从...
- 专业网络推广门户营销珠海是莱米网络科技有限公司专注研究门户网站营销方案,目前有b2b、b2c、分类信息门户网站、专业性门...
- 专业网络营销搜索引擎营销服务2.00元/条
品牌:莱米 - 专业网络营销问答营销服务2.00元/条
品牌:莱米 - 提供专业的网络推广贴吧推广服务2.00元/个
品牌:莱米 - 提供专业的网络推广微博推广服务2.00元/条
品牌:莱米 - 提供专业的网络推广论坛推广服务3.00元/条
品牌:莱米