摘要：spark spark是一个开源分布式计算框架，在于让计算更加快速，通常使用资源调度器yarn和spark自带的资源调度器standalond进行调度，spark相对于Hadoop更加快速，基于它是内存进行迭代，每次通过计算逻辑得到的中间结果值都会存放在内存中，而且最后结果也是从内存到磁盘，而Had 阅读全文

摘要：环境 spark-2.2.0 kafka_2.11-0.10.0.1 jdk1.8 配置好jdk，创建项目并将kafka和spark的jar包添加到项目中，除此之外还需要添加spark-streaming-kafka-*****.jar，笔者这里用的是spark-streaming-kafka-0- 阅读全文