12 2019 档案

HDFS的写数据流程以及异常写数据流程
摘要：一、HDFS的写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ④检查通过，NN响应客户端可以上传 ⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M 阅读全文
posted @ 2019-12-27 08:51 爱学习没办法 阅读(761) 评论(0) 推荐(0)
shell脚本学习总结
摘要：刚开始学习大数据的时候并没有注意shell脚本的重要性，但是随着工作的深入，以及大部分朋友的反馈，发现shell脚本是每个大数据开发人员都必须掌握的技能！！！今天我们一起探索一下shell脚本吧！ 1、shell脚本是什么？ Linux操作系统的核心是kernal（内核）！ 当应用程序在执行时，需要 阅读全文
posted @ 2019-12-21 14:14 爱学习没办法 阅读(653) 评论(0) 推荐(0)