atao-BigData

摘要： scala读取配置文件内容 方法1：默认加载方式，读取./src/main/resources下文件 ==ConfigFactory.load(f)，例子（亲测可用）：== pom.xml中引入 <dependency> <groupId>com.typesafe</groupId> <artifa 阅读全文

摘要： vscode使用小技巧_大小写，多行转换成一行 将英文字母转换成大写或者小写 然后在搜索框中搜索大写，或者小写 将多行转换成一行 选中想要合并的行，按Ctrl + Shift + P 调出命令窗口，输入join lines，确认执行就可以合并多行了。 阅读全文

摘要： hs面试总结： 1 服务器传输命令 scp：远程文件拷贝程序，是secure copy program的的缩写 -r (递归) 2. 查看服务器运行情况以及cpu，运用哪个命令 top:查看服务器各个进程情况 df -h:linux查看系统内存(硬盘) 3.搭建hadoop生态圈，hadoop的搭建 阅读全文

摘要： TopN问题 需要确定使用什么排名函数，包含三种函数：row_number()、rank()、dense_rank() 每个班级的分数为前3名的学生 --建表语句 create table score(sid string, class string, score int) row format d 阅读全文

摘要： 关于上调度的项目报错问题（虚拟机硬盘内存不够导致） 1 早上发现定时任务一直在转圈圈 2. 此时查看yarn中的状态 4.我们查看yarn的日志发现：磁盘的大小达到了总磁盘的 90% 使用 df -h 查看磁盘使用情况 ==5. 证明该加资源了== 阅读全文

摘要： mysql版本的行列转换 先看一个题目 ==方法：== 行转列 --我们可以使用union all函数 将其凭借起来 select ( case id when 1 then 'first' when 2 then 'second' when 5 then 'fifth' end)grade ,su 阅读全文

摘要： 10、Flink join 1、Regular Joins 将两个关联表长存再状态中，可以一直关联上 会导致状态越来越大 和批处理关联结果是一样的 -- 创建学生表流表，数据再kafka中 drop table student_join; CREATE TABLE student_join ( id 阅读全文

摘要： 8、优化 1、MiniBatch 聚合 flink默认是每一条数据都会取更新状态 MiniBatch ：缓存一批数据一起更新状态，优点：增加吞吐量，缺点：增加延迟- 开启MiniBatch -- sql中开启 -- 开启 set table.exec.mini-batch.enabled=true; 阅读全文

摘要： 6、Flink SQl 语法 1、查询语句 1、hint 在对表进行查询的是偶动态修改表的属性 -- 创建表 CREATE TABLE word ( lines STRING ) WITH ( 'connector' = 'kafka', 'topic' = 'word', 'properties. 阅读全文

摘要： 4、Flink SQl 客户端 1、启动一个flink的 集群 可以使用flink独立集群 也可以使用yarn-session.sh # 启动一个flinkyarn-sesion集群 yarn-sesion.sh -d 2、启动sql-client sql-client.sh 3、测试命令行 -- 阅读全文