SparkStreaming连接kafka

---

• 下载依赖  https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11/2.1.0， 放到 $SPARK_HOME/jars/kafka 目录中
  • 下载 spark-streaming-kafka-0-8_2.11/2.1.0

 

 

• • 上一步下载的文件，放在如下目录
    • $ cd $SPARK_HOME/jars
    • mkdir kafka

• 将 $KAFKA_HOME/libs下面的文件复制到 $SPARK_HOME/jars/kafka下面：

$ cd $KAFKA_HOME/libs
$ cp ./* ../../spark/spark-2.1.0/jars/kafka/

• 启动spark-shell 指定jars目录

$ spark-shell --jars /Users/walker/software/spark/spark-2.1.0/jars/*:/Users/walker/software/spark/spark-2.1.0/jars/kafka/*

•  验证

scala> import  org.apache.spark.streaming.kafka._ //引入kafka相关包不出错，说明kafka和spark环境已经联通
import org.apache.spark.streaming.kafka._

 

 

 

 

---