【转】大数据哪里来

转自：http://www.douban.com/note/309472506/

海量数据（又称大数据）已经成为各大互联网企业面临的最大问题，如何处理海量数据，提供更好的解决方案，是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广，大家都在构建自己的大数据处理，大数据分析平台。

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到，或者有机会去处理海量数据的，所以就需要一些公开的海量数据集来研究。

有人就问到徐老师：如何获取海量数据集？此问题得到了很多人的关注。具体可以看看回答，数据集的种类多种多样，有化学分析，基因遗传等等，从中你肯定能得到自己想要个数据集。


首先说说几个收集数据集的网站：
(因为博文不允许发布外链，只好删除链接！自行去谷歌搜索下载地址)
1、Public Data Sets on Amazon Web Services (AWS)
Amazon从2008年开始就为开发者提供几十TB的开发数据。

2、Yahoo! Webscope

3、Konect is a collection of network datasets

4、Stanford Large Network Dataset Collection

再就是说说几个跟互联网有关的数据集：
1、Dataset for "Statistics and Social Network of YouTube Videos"

2、1998 World Cup Web Site Access Logs
这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中，发生了 1,352,804,107次请求。

3、Page view statistics for Wikimedia projects

4、AOL Search Query Logs - RP

5、livedoor gourmet


海量图像数据集：
1、ImageNet
包含1400万的图像。

2、Tiny Images Dataset
包含8000万的32x32图像。

3、 MirFlickr1M
Flickr中的100万的图像集。

4、 CoPhIR
Flickr中的1亿600万的图像

5、SBU captioned photo dataset
Flickr中的100万的图像集。

6、Large-Scale Image Annotation using Visual Synset(ICCV 2011)
包含2亿图像

7、NUS-WIDE
Flickr中的27万的图像集。

8、SUN dataset
包含13万的图像

9、MSRA-MM
包含100万的图像，23000视频

10、TRECVID

国内大型数据集

1、上海市政府数据服务网 ： 十大领域、总容量达上千GB的交通大数据，包括城市道路交通指数、地铁运行数据、一卡通乘客刷卡数据、浦东公交车实时数据、强生出租车行车数据、空气质量状况、气象数据、道路事故数据。相关媒体报道：http://www.thepaper.cn/newsDetail_forward_1365388

http://www.datashanghai.gov.cn/home!toHomePage.action