会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
疯码牛
博客园
首页
新随笔
联系
订阅
管理
2022年3月25日
Flink不止于计算,存算一体才是未来
摘要: “伴随着实时化浪潮的发展和深化,Flink 已逐步演进为实时流处理的领军技术和事实标准。Flink 一方面持续优化其流计算核心能力,不断提高整个行业的流计算处理标准,另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地,但是,随着计算流批统一的逐渐完善的同时,Flink存储的流批统一缺陷显得
阅读全文
posted @ 2022-03-25 12:32 疯码牛Pro
阅读(1443)
评论(1)
推荐(0)
2022年3月17日
ZEEPLIN安装集成CDH、Flink及Iceberg
摘要: 目录 一、服务安装 3 1 安装包下载 3 2 服务安装 3 2.1 环境配置 3 2.2 节点配置 3 2.3 服务启动 4 2.4 服务访问 4 二 简单使用-flink 4 1 web端配置Interpreters 4 2 demo测试 5 三 简单实用-iceberg 6 1 配置flink
阅读全文
posted @ 2022-03-17 17:48 疯码牛Pro
阅读(835)
评论(0)
推荐(0)
2022年3月3日
数据湖三剑客,大数据时代的新范式?
摘要: 大数据技术发展到现阶段,逐渐出现了诸多的掣肘,不断有新的问题出现,仅仅就存储方面来讲,与数据库这样高度优化的技术相比,大数据技术的抽象和实现还是太原始和初级。这个时候,革命性的技术数据湖应运而生。
阅读全文
posted @ 2022-03-03 20:03 疯码牛Pro
阅读(324)
评论(0)
推荐(0)
2021年8月11日
Flink重启策略 flink出现异常重新拉起任务
摘要: 重启策略概念: Flink支持不同的重启策略,可以控制在发生故障时如何重启新启动作业。 重启策略分类: 重启策略重启策略值描述默认值 Fixed delay fixed-delay 尝试一个给定的次数来重启Job,如果超过了最大的重启次数,Job最终将失败。 启用 checkpointing,但没有
阅读全文
posted @ 2021-08-11 22:28 疯码牛Pro
阅读(2031)
评论(0)
推荐(0)
Hive 问题合集 持续更新
摘要: 一 hive建表信息中文乱码:显示问号等 问题现象: 主要原因: 1 hive元数据库mysql 或者mariaDB 编码格式问题 2 hive元数据定义信息编码格式问题 解决方案: 对于第一种问题:修改配置文件 在/etc/my.cnf文件中 在[mysqld]标签下添加 init_connect
阅读全文
posted @ 2021-08-11 19:34 疯码牛Pro
阅读(220)
评论(0)
推荐(0)
CDH HDP ambari CM问题合集,持续更新
摘要: 一问题现象: namenode 数据块丢失 NameNode Blocks Health Total Blocks:[5247], Missing Blocks:[4677] 问题原因: datanode 或namenode数据 丢失 冗余副本数据不一致造成 解决办法: 删除丢失模块元数据,6小时后
阅读全文
posted @ 2021-08-11 15:19 疯码牛Pro
阅读(205)
评论(0)
推荐(0)
2021年7月28日
CDH Cloudera Manager namenode拉不起来或者namenode都处于禁用状态
摘要: CDH Cloudera Manager 进程服务名称 systemctl status cloudera-scm-server systemctl start cloudera-scm-agent 格式化namenode cm 前端界面显示 ;namenode 因为 Service Monitor
阅读全文
posted @ 2021-07-28 16:43 疯码牛Pro
阅读(702)
评论(0)
推荐(0)
2021年7月23日
CDH 时钟偏差 不良 : 无法找到主机的 NTP 服务,或该服务未响应时钟偏差请求。
摘要: 首先:执行ntpstat,实时命令查看状态,结果发现所有服务器的状态都是未同步状态“unsynchronised”: 然后,重启ntp服务、手动时间同步、再重启服务(全部机器执行): systemctl stop ntpd sudo ntpd -gq systemctl start ntpd 最后,
阅读全文
posted @ 2021-07-23 14:57 疯码牛Pro
阅读(1488)
评论(0)
推荐(0)
2021年7月13日
Flink 部署模式,session 、pre job、aplication三种主要模式
摘要: 长久以来,在YARN集群中部署Flink作业有两种模式,即Session Mode和Per-Job Mode,而在Flink 1.11版本中,又引入了第三种全新的模式:Application Mode。本文先回顾两种传统模式的做法与存在的问题,再简要介绍Application Mode。 传统部署模
阅读全文
posted @ 2021-07-13 11:31 疯码牛Pro
阅读(5486)
评论(0)
推荐(0)
2021年7月12日
flink数据广播场景总结
摘要: 数据集广播,主要分为广播变量,广播维表(数据集)两种,一种为变量,一种为常量(抽象的说法); 一.数据广播背景 对于小变量,小数据集,需要和大数据集,大流进行联合计算的时候,往往把小数据集广播出去,整体直接和大数据集(流)的分布式最小粒度数据进行计算,最后把计算结果合并,这样效率更高,省去分布式节点
阅读全文
posted @ 2021-07-12 23:24 疯码牛Pro
阅读(1803)
评论(0)
推荐(0)
下一页
公告
点击右上角即可分享