• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
韵

身似菩提树,心若明镜台。时时勤拂拭,勿使惹尘埃!

博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

随笔分类 -  大数据生态学习

相关配置及使用
 
Flink处理迟到的数据
摘要:一、Flink 的 Watermark(水位线 水印) 每隔3秒统计前3秒的元素个数,那么flink系统会事先在系统中划分好20(60/3)个window 制定watermark的策略: 周期性提取watermark,默认时间为200ms,我们可以认为在1号数据被分配到window之后的200ms, 阅读全文
posted @ 2020-09-04 22:32 寒川环宇 阅读(792) 评论(0) 推荐(0)
Redis命令学习
摘要:启动: redis-server redis.conf 客户端: redis-cli 查看端口占用: netstat -tunpl|grep 6379 退出客户端: exit 1.数据类型 (1)String(字符串) set xxx aaa //设置xxx get xxx //获取xxx del 阅读全文
posted @ 2020-08-16 09:50 寒川环宇 阅读(222) 评论(0) 推荐(0)
Spark内核源码学习
摘要:1. Spark内核架构(运行流程) 20200525 2.宽依赖和窄依赖 20200226 3.基于yarn两种提交模式深度剖析 20200527 4.Spark Context原理 课程跟随北风网视频学习(b站地址: https://www.bilibili.com/video/BV1P4411 阅读全文
posted @ 2020-05-26 23:29 寒川环宇 阅读(69) 评论(0) 推荐(0)
flume(1.9.0)把数据导入hive(文件方式)
摘要:1. 配置表支持事务 (1)改配置文件hive site.xml 或者 临时设置参数 命令行 (2)建表时 分区 分桶 stored as orc tblproperties('transactional'='true') 2. 版本问题导jar包 把${HIVE_HOME}/hcatalog/sh 阅读全文
posted @ 2020-04-04 18:26 寒川环宇 阅读(1435) 评论(0) 推荐(0)
 

公告


博客园  ©  2004-2026
浙公网安备 33010602011771号 浙ICP备2021040463号-3