Flink处理迟到的数据
摘要:一、Flink 的 Watermark(水位线 水印) 每隔3秒统计前3秒的元素个数,那么flink系统会事先在系统中划分好20(60/3)个window 制定watermark的策略: 周期性提取watermark,默认时间为200ms,我们可以认为在1号数据被分配到window之后的200ms,
阅读全文
Redis命令学习
摘要:启动: redis-server redis.conf 客户端: redis-cli 查看端口占用: netstat -tunpl|grep 6379 退出客户端: exit 1.数据类型 (1)String(字符串) set xxx aaa //设置xxx get xxx //获取xxx del
阅读全文
Spark内核源码学习
摘要:1. Spark内核架构(运行流程) 20200525 2.宽依赖和窄依赖 20200226 3.基于yarn两种提交模式深度剖析 20200527 4.Spark Context原理 课程跟随北风网视频学习(b站地址: https://www.bilibili.com/video/BV1P4411
阅读全文
flume(1.9.0)把数据导入hive(文件方式)
摘要:1. 配置表支持事务 (1)改配置文件hive site.xml 或者 临时设置参数 命令行 (2)建表时 分区 分桶 stored as orc tblproperties('transactional'='true') 2. 版本问题导jar包 把${HIVE_HOME}/hcatalog/sh
阅读全文