空归

摘要： ### pom.xml ```xml sample-project org.myproject.bigdata 1.0-SNAPSHOT 4.0.0 JavaFlink-112 1.8 1.8 1.12.2 UTF-8 org.apache.flink flink-java ${flink.vers 阅读全文

摘要： 一、Zookeeper cd $ZOOKEEPER_HOME/bin #服务端启动： zkServer.sh start #服务端关闭： zkServer.sh stop #客户端启动： zkCli.sh start #客户端关闭： zkCli.sh stop 二、MySQL #服务端启动： ser 阅读全文

摘要： 1.执行参数优化 --分区 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions.pernode=10000 阅读全文

摘要： 一、临时表创建技巧： drop view mytab2; create or replace view mytab2 as select 1 as c1 union all select 2 as c1 union all select 3 as c1 ; --1、子查询 select * , c1 阅读全文

摘要： 数仓基本介绍 数仓四大特征： 1> 面向主题：要分析的需求是什么，对应的主题是什么； 2> 集成性； 3> 非易失性：存储的都是过去既定发生的数据，不会再进行更改； 4> 时变性：随时间推移，数据需要增加最新的相关的数据，同时分析手段也会发生变化； 数据仓库与数据集市区别： 数据仓库：将公司中所有的 阅读全文

摘要： 开发篇 一.Flink 1.13.1版本新增重要特性 重要修改 1.被动扩缩容 2.分析应用的性能 瓶颈检测与反压监控 Web UI 中的 CPU 火焰图 State 访问延迟指标 3.通过Savepoint来切换Sate Backend 4.K8s部署时使用用户指定的Pod模式 5.生产可用的Un 阅读全文

摘要： 一. Linux概述及软件安装 1. Linux系统概述 Linux系统是文件系统 Windows：森林结构 Linux：树（或根）形结构 Linux常用目录： 目录作用 /bin二进制命令所在的目录 /boot系统引导程序所需要的文件目录 /dev设备软件目录，磁盘，光驱 /etc系统配置，启动程 阅读全文

摘要： spark-shell 1.spark-shell之本地模式 bin/spark-shell 或者 bin/spark-shell \ --master local[2] 2.spark-shell之standalone模式 /export/servers/spark/bin/spark-shell 阅读全文

摘要： 最近测试结论 Flink跨集群操作HDFS文件，不能再main方法中操作，而是要到算子里操作； 不跨集群，在哪操作都行（main方法里，算子里都行） hadoop的FileSytem操作HDFS 样例 import org.apache.hadoop.conf.Configuration; impo 阅读全文

摘要： HDFS的API操作 1.HDFS的JAVA API操作 HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的>访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。 2.配置Windows下Hadoop环境 在windows上做HDFS客户 阅读全文