2019年9月29日

spark操作hbase

摘要： hbase的操作命令 https://www.cnblogs.com/lzh-boy/p/8966826.html 环境配置略 需要注意：在Spark 2.0版本上缺少相关把hbase的数据转换python可读取的jar包 code:查看表数据 from pyspark.sql import Spa 阅读全文

posted @ 2019-09-29 18:10 nnnnnnnnnnnnnnnn 阅读(362) 评论(0) 推荐(0)

kafka+pyspark

摘要： 安装kafka kafka 三部分 server producer consumer pyspark 监控 一、环境部署 1.导入对应版本的spark-streaming-kafka-*-*.jar 2.相应jar追加到SPARK_DIST_CLASSPATH 二、kafka+spark测试 1.启 阅读全文

posted @ 2019-09-29 17:49 nnnnnnnnnnnnnnnn 阅读(1048) 评论(0) 推荐(0)

导航