摘要：
“伴随着实时化浪潮的发展和深化，Flink 已逐步演进为实时流处理的领军技术和事实标准。Flink 一方面持续优化其流计算核心能力，不断提高整个行业的流计算处理标准，另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地，但是，随着计算流批统一的逐渐完善的同时，Flink存储的流批统一缺陷显得 阅读全文
摘要：
目录 一、服务安装 3 1 安装包下载 3 2 服务安装 3 2.1 环境配置 3 2.2 节点配置 3 2.3 服务启动 4 2.4 服务访问 4 二 简单使用-flink 4 1 web端配置Interpreters 4 2 demo测试 5 三 简单实用-iceberg 6 1 配置flink 阅读全文
摘要：
大数据技术发展到现阶段，逐渐出现了诸多的掣肘，不断有新的问题出现，仅仅就存储方面来讲，与数据库这样高度优化的技术相比，大数据技术的抽象和实现还是太原始和初级。这个时候，革命性的技术数据湖应运而生。 阅读全文
摘要：
重启策略概念： Flink支持不同的重启策略，可以控制在发生故障时如何重启新启动作业。 重启策略分类： 重启策略重启策略值描述默认值 Fixed delay fixed-delay 尝试一个给定的次数来重启Job，如果超过了最大的重启次数，Job最终将失败。 启用 checkpointing，但没有 阅读全文
摘要：
一 hive建表信息中文乱码：显示问号等 问题现象： 主要原因： 1 hive元数据库mysql 或者mariaDB 编码格式问题 2 hive元数据定义信息编码格式问题 解决方案： 对于第一种问题：修改配置文件 在/etc/my.cnf文件中 在[mysqld]标签下添加 init_connect 阅读全文
摘要：
一问题现象： namenode 数据块丢失 NameNode Blocks Health Total Blocks:[5247], Missing Blocks:[4677] 问题原因： datanode 或namenode数据 丢失 冗余副本数据不一致造成 解决办法： 删除丢失模块元数据，6小时后 阅读全文
摘要：
CDH Cloudera Manager 进程服务名称 systemctl status cloudera-scm-server systemctl start cloudera-scm-agent 格式化namenode cm 前端界面显示 ；namenode 因为 Service Monitor 阅读全文
摘要：
首先：执行ntpstat，实时命令查看状态，结果发现所有服务器的状态都是未同步状态“unsynchronised”： 然后，重启ntp服务、手动时间同步、再重启服务（全部机器执行）： systemctl stop ntpd sudo ntpd -gq systemctl start ntpd 最后， 阅读全文
摘要：
长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。 传统部署模 阅读全文
摘要：
数据集广播，主要分为广播变量，广播维表(数据集)两种，一种为变量，一种为常量(抽象的说法)； 一.数据广播背景 对于小变量，小数据集，需要和大数据集，大流进行联合计算的时候，往往把小数据集广播出去，整体直接和大数据集(流)的分布式最小粒度数据进行计算，最后把计算结果合并，这样效率更高，省去分布式节点 阅读全文