2021年2月25日
Hdfs读写流程叙述-随便记记
摘要： hdfs写流程 客户端初始化filesystem对象 调用create方法 创建新文件 向namenode申请写文件 namenode会检查权限和路径 没问题之后返回输入流对象dfsoutputStream 客户端对文件进行切块 128m一块 客户端向namenode申请写第一块 namenode根 阅读全文
posted @ 2021-02-25 16:18 唐松林 阅读(52) 评论(0) 推荐(0)
MapReduce工作的详细流程
摘要： 最近想整理一下Hadoop阶段的知识点 发现MapReduce的运行流程模模糊糊的 网上查的也都写的不全 打算自己整理一下 方便以后看 将写好的MapReduce程序打包 放到集群上 提交任务之后，jobtracker首先会检查输出路径是否存在和输入文件是否存在 不存在会报错 这里解释一下jobtr 阅读全文
posted @ 2021-02-25 15:20 唐松林 阅读(163) 评论(0) 推荐(0)
2021年1月30日
50道sql题练习 未更新完
摘要： -- 1.查询" 01 "课程比" 02 "课程成绩高的学生的信息及课程分数01 01 8001 02 9001 03 9902 01 7002 02 6002 03 8003 01 8003 02 8003 03 8004 01 5004 02 3004 03 2005 01 7605 02 87 阅读全文
posted @ 2021-01-30 10:51 唐松林 阅读(35) 评论(0) 推荐(0)
在linux环境下启动spark-sql遇到的错误
摘要： 1.spark-sql启动报错java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning原因：在启动时 找不到tez的jar包解决方法：将tez目录下的tez-api-0.9.1.jar 复制一份到 spark的j 阅读全文
posted @ 2021-01-30 10:47 唐松林 阅读(711) 评论(0) 推荐(0)