随笔分类 -  spark

2.spark-streaming实战
摘要：park Streaming--实战篇 摘要： Sprak Streaming属于Saprk API的扩展，支持实时数据流（live data streams）的可扩展，高吞吐（hight-throughput） 容错（fault-tolerant）的流处理。可以接受来自KafKa,Flume,Ze 阅读全文

posted @ 2017-03-07 11:30 为尊严而奋斗 阅读(484) 评论(0) 推荐(0)

1.spark的wordcount解析
摘要：一、Eclipse(scala IDE)开发local和cluster （一）. 配置开发环境 修改Scala版本 项目创建完成后默认使用的是scala的2.11.7 版本。要手动将版本换成2.10.X。在项目名称右击选择properties，在弹出窗口点击，scala Compiler，在右侧窗口 阅读全文

posted @ 2017-03-07 11:09 为尊严而奋斗 阅读(2591) 评论(0) 推荐(0)

导航