文章分类 - hadoop

win7(x64)安装scrapy框架

摘要：Scrapy（官网http://scrapy.org/）是Python开发网络爬虫，一个极好的开源工具。本次安装Scrapy确实不易啊。linux分分钟的事，win下居然花了半天多时间，需要的支持包比较多，这些支持包相互之间的依赖关系。环境:Win7专业版(X64)机器上有安装Vs2010。Pyth... 阅读全文

posted @ 2016-01-16 12:58 成都笨笨阅读(173) 评论(0) 推荐(0)

公开的海量数据集 Public Research-Quality Datasets

摘要：转载一篇文章：公开的海量数据集 Public Research-Quality Datasets 海量数据（又称大数据）已经成为各大互联网企业面临的最大问题，如何处理海量数据，提供更好的解决方案，是目前相当热门的一个话题。类似MapReduce、Hadoop等架构的普遍推广，大家都在构建自己的... 阅读全文

posted @ 2015-12-22 00:27 成都笨笨阅读(669) 评论(0) 推荐(0)