2020年2月17日
SparkStreaming连接kafka
摘要： 下载依赖 https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11/2.1.0， 放到 $SPARK_HOME/jars/kafka 目录中 下载 spark-streaming-kafka- 阅读全文
posted @ 2020-02-17 15:51 后山前堂客 阅读(256) 评论(0) 推荐(0)
MacBook Pro 中kafka的安装和测试
摘要： // 确认现在jps状态[@wooluwakerdeMBP:config]$ jps 70341 Jps 67943 Launcher 66986 // 终端1：启动ZK 服务 [@wooluwakerdeMBP:kafka_2.11-2.2.2]$ bin/zookeeper-server-sta 阅读全文
posted @ 2020-02-17 14:13 后山前堂客 阅读(344) 评论(0) 推荐(0)
SparkStreaming 1st Demo
摘要： 通过spark-shell启动StreamingContext，实时监控文件夹 1 打开terminal 1，输入如下： import org.apache.spark.streaming._ // SparkStreaming将输入流数据按照5秒钟进行数据切分 val ssc = new Stre 阅读全文
posted @ 2020-02-17 10:40 后山前堂客 阅读(154) 评论(0) 推荐(0)