随笔分类 -  Spark

001Spark文件分析测试
摘要：使用spark-1.4.1-bin-hadoop2.6进行处理，测试文件大小为3G，测试结果：1:统计一个文件中某个字符的个数scala> sc.textFile("/home/y/my_temp/1.txt").filter(line=>line.contains("ok")).count()sc... 阅读全文
posted @ 2015-09-02 08:42 yshy 阅读(204) 评论(0) 推荐(0)