ziyuliu - 博客园

2021年3月13日

摘要：实时ETL 准备：每台节点启动zookeeper集群 cd /usr/local/zookeeper/bin/ ./zkServer.sh start master上启动kafka： cd /usr/local/kafka_2.12-2.7.0/bin kafka-server-start.sh 阅读全文

posted @ 2021-03-13 20:26 ziyuliu 阅读(640) 评论(0) 推荐(0)

StructuredStreaming-Sink

摘要： Output Modes输出模式 package cn.itcast.structured import org.apache.spark.SparkContext import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} 阅读全文

posted @ 2021-03-13 16:30 ziyuliu 阅读(156) 评论(0) 推荐(0)

2021年3月12日

ValueError: max() arg is an empty sequence

摘要： pycharm设置的问题，在菜单栏File-Setting-Tools-Python Scientific中去除勾选Show plots in tool window即可解决问题。阅读全文

posted @ 2021-03-12 20:10 ziyuliu 阅读(4219) 评论(0) 推荐(0)

2021年3月10日

StructuredStreaming

摘要：编程模型和数据抽象编程模型 :无界表/动态表格数据抽象: DataFrame/DataSet StructuredStreaming-Source Socket package cn.itcast.structured import org.apache.spark.SparkContext i 阅读全文

posted @ 2021-03-10 12:11 ziyuliu 阅读(413) 评论(0) 推荐(0)

2021年3月9日

学习进度报告08

摘要：练习了sparksql+hive学习阅读全文

posted @ 2021-03-09 22:48 ziyuliu 阅读(57) 评论(0) 推荐(0)

SparkSQL+Hive

摘要：我这里spark3.0.1+hive3.1.2 先启动Hive的metastore node2 nohup /usr/local/hive/bin/hive --service metastore & jps 把hive的配置文件hive-site.xml拷贝到spark/conf目录,把mysql 阅读全文

posted @ 2021-03-09 22:36 ziyuliu 阅读(252) 评论(0) 推荐(0)

SparkSQL花式查询

摘要：需求:针对personDF中的数据使用SQL和DSL两种方式进行各种查询 package cn.itcast.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spar 阅读全文

posted @ 2021-03-09 13:06 ziyuliu 阅读(316) 评论(0) 推荐(0)

RDD-DF-DS相互转换

摘要： package cn.itcast.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, Row, Spark 阅读全文

posted @ 2021-03-09 11:22 ziyuliu 阅读(676) 评论(0) 推荐(0)

2021年3月8日

SparkSQL学习

摘要：数据分析方式说明: 结构化数据--支持有固定的结构和约束Schema(字段名称/类型) 半结构化数据--支持较为严格的半结构化数据有不是固定的结构和约束 [ { "name": "jack", "tel": "1388888888", }, { "name": "jack", "tel": 1 阅读全文

posted @ 2021-03-08 23:09 ziyuliu 阅读(195) 评论(1) 推荐(0)

学习进度报告07

摘要：学习了sparksql学习阅读全文

posted @ 2021-03-08 22:42 ziyuliu 阅读(34) 评论(0) 推荐(0)

Flamel

公告