新准确各大搜索引擎蜘蛛名称

产品详情

  最新最准确各大搜索引擎蜘蛛名称 

　　根据线上空间的访问日志来整理常见的蜘蛛名称，不求最全，但力求爬虫信息资料最新最准确。以下搜索引擎蜘蛛名称都是根据线上空间日志亲手提取。 

　　各种搜索引擎的蜘蛛爬虫会不断地访问抓取我们站点的内容，也会消耗站点的一定流量，有时候就需要屏蔽某些蜘蛛访问我们的站点。 

　　其实有效常用的搜索引擎就那么几个，只要在robots.txt文件里把常用的几个搜索引擎蜘蛛允许放行就好了，其它的爬虫统统通过通配符(*)禁止掉，屏蔽某些蜘蛛。 

最新最准确各大搜索引擎蜘蛛名称(大家要注意写法了，特别是大小写)： 

　　1、百度蜘蛛：baiduspider 

　　网上的资料百度蜘蛛名称有baiduspider、baiduspider等，那是旧黄历了。百度蜘蛛最新名称为baiduspider。日志中还发现了baiduspider-image这个百度旗下蜘蛛，是抓取图片的蜘蛛。 
　　常见百度旗下同类型蜘蛛还有下面这些：baiduspider-mobile(抓取wap)、baiduspider-image(抓取图片)、baiduspider-video(抓取视频)、baiduspider-news(抓取新闻)。 

　　2、谷歌蜘蛛：googlebot 

　　这个争议较少，但也有说是googlebot的。谷歌蜘蛛最新名称为“compatible; googlebot/2.1;”。还发现了googlebot-mobile，看名字是抓取wap内容的。 

　　3、360蜘蛛：360spider，它是一个很“勤奋抓爬”的蜘蛛。 

　　4、soso蜘蛛：sosospider。 

　　5、雅虎蜘蛛：“yahoo! slurp china”或者yahoo! 

　　6、有道蜘蛛：youdaobot，yodaobot 

　　7、搜狗蜘蛛：sogou news spider 

　　搜狗蜘蛛还包括如下这些：sogou web spider、sogou inst spider、sogou spider2、sogou blog、sogou news spider、sogou orion spider， 

　　8、msn蜘蛛：msnbot，msnbot-media 

　　9、必应蜘蛛：bingbot ，线上(compatible; bingbot/2.0;) 

　　10、一搜蜘蛛：yisouspider 

　　11、alexa蜘蛛：ia_archiver 

　　12、宜搜蜘蛛：easouspider 

　　13、即刻蜘蛛：jikespider 

　　14、一淘网蜘蛛：etaospider 

　　"mozilla/5.0 (compatible; etaospider/1.0; http://省略/etaospider)" 

　　根据上述蜘蛛中选择几个常用的允许抓取，其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用就不用，等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值，网站的管理者应该是最清楚的。 

　　另外还发现了如 yandexbot、ahrefsbot和ezooms.bot这些蜘蛛，据说这些蜘蛛国外的，对中文网站用处很小。那不如就节省下资源。 

更多内容请关注珠海莱米网络网址： 
联系人：张先生 
联系电话：18998172652 
qq：1238488344