摘要： ZTE,AUTO,LEADYO,LEADYO,,,FT,FT1,ZX234308F2,PRODUCTION,TTBATA22501700,,,ZX234308F2_FT1_FTL_25C_2S_93K_E3P8,93K_101,93000-SOC,B-CFT056,,1665545042000,16 阅读全文

摘要： round(x,d) :用于数据的四舍五入,round(x) SELECT ROUND(100.3465,2),ROUND(100,2),ROUND(0.6,2),ROUND(114.6,-1); 100.35,100,0.60,110 阅读全文

摘要： SELECT DATE_SUB(CURDATE(),INTERVAL WEEKDAY(CURDATE()) + 1 DAY); SELECT DATE_SUB(CURDATE(),INTERVAL WEEKDAY(CURDATE()) + 8 DAY); 阅读全文

摘要： 一、业务背景 实时统计每天考勤人数 使用MapState<Srting, Set> key：日期字符串 → yyyyMMdd value：当天考勤员工ID，利用Set自动去重的特性统计当前考勤人数 状态里只需要存储当天的数据，之前的数据可以清理掉。设置状态过期时间24小时，距离数据上一次修改超过24 阅读全文

摘要： 表设计的优化 1.预分区 建表时，预先创建一些空的Region，这样当数据写入HBase时，会按照Region分区情况，在集群内数据的负载均衡。 默认情况建表自动创建一个Region分区，导入数据的时候所有的HBase客户端都向这一个Region写数据，直到这个Region足够大了才进行切分。 2. 阅读全文

摘要： HBase简介 Hbase（Hadoop Database），是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。 利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中海量数据，利用Zookeeper作为其分布式协同服务。 主要用来存储非结 阅读全文

摘要： Flink状态管理 状态类型：KeyedState、OperatorState 一、KeyedState KeyedState：基于KeyedStream上的状态。状态是跟key绑定的。每一个key对应一个state。所以用之前必须先分组。 1.ValueState 保存一个可以更新和检索的值。通过 阅读全文

摘要： 1.Map【DataStream → DataStream】 调用MapFunction对DataStream进行处理，形成新的DataStream。一对一 val line: DataStream[String] = env.socketTextStream("node4", 9999) val 阅读全文

摘要： 一、广播变量（调优操作） 使用广播变量是个调优操作，不使用广播变量可能会造成Executor端内存溢出。 1.普通变量定义 val rdd1: RDD[String] = sc.parallelize(Array[String]("Java", "C", "Python", "Hadoop", "S 阅读全文

摘要： 背景：使用脚本管理Spark任务，正处于RUNNING状态的任务跳过，不提交 一、涉及到的知识点： 脚本不重要，重要的是知识点 1.查询yarn处于RUNNING状态的任务列表 yarn application -list -appStates RUNNING 2.在Python中使用Linux命令 阅读全文