2020年6月13日
Kafka常用命令
摘要： 1、查看kafka的topic kafka-topics.sh --zookeeper localhost:2181 --list 2、创建topic kafka-topics.sh --zookeeper localhost:2181 -create --topic topic1--partiti 阅读全文
posted @ 2020-06-13 15:39 YuanSai 阅读(1786) 评论(0) 推荐(0)
Flink重启策略机制
摘要： 1、Failure Rate Restart Strategy 说明 故障率重启策略，flink提供的一种比较"智能"的重启策略；即当任务的失败率上升到一定的程度时，flink认为本次任务最终是失败的； 也可以理解为，在该策略中，flink关注的点是任务的失败率，失败率计算公式如下： 失败率 = 失 阅读全文
posted @ 2020-06-13 14:25 YuanSai 阅读(2577) 评论(0) 推荐(0)
大数据管理
摘要： 1、数据治理 概念：业务中涉及数据使用的一整套管理行为，如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程. 组成部分：元数据管理、主数据管理、大数据质量管理、大数据资产化、大数据共享发布、大数据标准、大数据交换集成 元数据管理：收集元数据，对元数据进行查询、分析、版本管理、后 阅读全文
posted @ 2020-06-13 11:03 YuanSai 阅读(1387) 评论(0) 推荐(0)