摘要: udaf上传数据 添加jar包的两种形式 CREATE FUNCTION my_udaf as 'com.ds.MaxValueUDAF' using jar 'hdfs:////user/huangjxing1002/my_udaf-1.0-SNAPSHOT.jar' add jar /home/ 阅读全文
posted @ 2022-11-23 10:14 huang5209 阅读(27) 评论(0) 推荐(0)
摘要: 在bin下的admin下的 yarn node -all -list 显示所以节点 yarn rmadmin yarn rmadmin -refreshQueues查询主备 yarn rmadmin -transitionToActive -- yarn app -list -appStates A 阅读全文
posted @ 2022-11-18 23:48 huang5209 阅读(120) 评论(0) 推荐(0)
摘要: inputFormate分块 小文件切割 CombineTextInputFormat 读取文件 map阶段解析成key/value(kv键值储存) 在环形缓冲区(100mb) spill阶段环形缓冲区满80%溢出写入到本地磁盘(快速排序) 然后归并排序合并成一个文件(指针做对比放谁小谁先放到里面) 阅读全文
posted @ 2022-11-13 22:00 huang5209 阅读(8) 评论(0) 推荐(0)
摘要: 滑动机制 为什么不直接传给datanode的原因 并发的存储,最大的使用了io流 为什么不直接传对整个io负担都特别大 中断后如何处理 读流程 namenode重要的块 在整个集群中性信息量操作的统计 hdfs dfsadmin -safemode enter 进入安全模式 设置文件数 hdfs d 阅读全文
posted @ 2022-11-13 20:44 huang5209 阅读(26) 评论(0) 推荐(0)
摘要: Runnable getName 线程让步 join () Thread.sleep( ); stop( ) 强制线程提前结束 boolean lsAlike判断线程是否存活 线程的死锁 wait() 阻塞中 notify唤醒 阅读全文
posted @ 2022-10-24 22:41 huang5209 阅读(19) 评论(0) 推荐(0)
摘要: 递归遍历 day12 3_File类递归遍历文件_哔哩哔哩_bilibili 字节流 复制 复制 1 2 字节流,字符流都会出现问题 缓冲字节输入流 缓冲字节输出流 缓冲流实现文件的复制 缓冲字符输入流 缓冲字符输出流 缓冲字符流复制文件 转换输入流 标准的输入流与输出流 对象流 序列化 对象的反序 阅读全文
posted @ 2022-10-24 15:21 huang5209 阅读(21) 评论(0) 推荐(0)
摘要: 泛型的使用方法 day11 7_注解_哔哩哔哩_bilibili 阅读全文
posted @ 2022-10-22 20:49 huang5209 阅读(19) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2022-10-22 17:34 huang5209 阅读(16) 评论(0) 推荐(0)