08 2022 档案

**面试总结
摘要：hs面试总结： 1 服务器传输命令 scp：远程文件拷贝程序，是secure copy program的的缩写 -r (递归) 2. 查看服务器运行情况以及cpu，运用哪个命令 top:查看服务器各个进程情况 df -h:linux查看系统内存(硬盘) 3.搭建hadoop生态圈，hadoop的搭建 阅读全文
posted @ 2022-08-21 21:21 a-tao必须奥利给 阅读(67) 评论(0) 推荐(0)
sql-面试题
摘要：TopN问题 需要确定使用什么排名函数，包含三种函数：row_number()、rank()、dense_rank() 每个班级的分数为前3名的学生 --建表语句 create table score(sid string, class string, score int) row format d 阅读全文
posted @ 2022-08-19 21:50 a-tao必须奥利给 阅读(212) 评论(0) 推荐(0)
资源相关----关于上调度的项目报错问题（虚拟机硬盘内存不够导
摘要：关于上调度的项目报错问题（虚拟机硬盘内存不够导致） 1 早上发现定时任务一直在转圈圈 2. 此时查看yarn中的状态 4.我们查看yarn的日志发现：磁盘的大小达到了总磁盘的 90% 使用 df -h 查看磁盘使用情况 ==5. 证明该加资源了== 阅读全文
posted @ 2022-08-11 20:14 a-tao必须奥利给 阅读(35) 评论(0) 推荐(0)
mysql-版本的行列转换
摘要：mysql版本的行列转换 先看一个题目 ==方法：== 行转列 --我们可以使用union all函数 将其凭借起来 select ( case id when 1 then 'first' when 2 then 'second' when 5 then 'fifth' end)grade ,su 阅读全文
posted @ 2022-08-03 23:18 a-tao必须奥利给 阅读(138) 评论(0) 推荐(0)
Flink-join(流表关联流表，流表关联维表),自定义函数，sql如何保证数据唯一性,执行一组sql的好处
摘要：10、Flink join 1、Regular Joins 将两个关联表长存再状态中，可以一直关联上 会导致状态越来越大 和批处理关联结果是一样的 -- 创建学生表流表，数据再kafka中 drop table student_join; CREATE TABLE student_join ( id 阅读全文
posted @ 2022-08-03 16:43 a-tao必须奥利给 阅读(769) 评论(0) 推荐(0)
flink-优化（MiniBatch_Local-Global,反压）
摘要：8、优化 1、MiniBatch 聚合 flink默认是每一条数据都会取更新状态 MiniBatch ：缓存一批数据一起更新状态，优点：增加吞吐量，缺点：增加延迟- 开启MiniBatch -- sql中开启 -- 开启 set table.exec.mini-batch.enabled=true; 阅读全文
posted @ 2022-08-01 22:24 a-tao必须奥利给 阅读(690) 评论(0) 推荐(0)