摘要：
一、Hive Catalog 主要作用是使用Hive MetaStore去管理Flink的元数据，如果不去持久化catalog，那么在每个session中取处理数据，都要去重复地创建元数据对象，这样是非常耗时的。 HiveCatalog可以处理两种类型的表：一种是Hive兼容的表，另一种是普通表(g 阅读全文
posted @ 2021-05-14 11:12
持枢
阅读(182)
评论(0)
推荐(0)
摘要：
一、Flink集成Hive 1.持久化元数据 Flink利用 Hive 的 MetaStore 作为持久化的 Catalog，我们可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore 中 2.Flink读写Hive表 Flink直接读写Hive中的表，不 阅读全文
posted @ 2021-05-14 10:58
持枢
阅读(115)
评论(0)
推荐(0)
摘要：
前提： 1.配置flink的元数据到hive，不然每次重启flink-cli，之前建的表都丢失了 在这个默认的sql-client-defaults.yaml修改 catalogs: - name: catalog_1 type: hive hive-conf-dir: /opt/module/hi 阅读全文
posted @ 2021-05-14 10:34
持枢
阅读(1571)
评论(0)
推荐(0)
摘要：
kafka集群搭建 简单略 kafka相关命令补充 启动单节点kafka： bin/kafka-server-start.sh -daemon config/server.properties 查看是否启动： jps 查看主题： kafka-topics.sh --zookeeper 192.168 阅读全文
posted @ 2021-05-14 10:28
持枢
阅读(57)
评论(0)
推荐(0)
浙公网安备 33010602011771号