2021年3月26日
AVRO Source 官网介绍
摘要： http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#avro-source 阅读全文
posted @ 2021-03-26 20:26 liWuYan 阅读(119) 评论(0) 推荐(0)
2021年3月16日
hadoop序列化类型
摘要： 阅读全文
posted @ 2021-03-16 11:27 liWuYan 阅读(38) 评论(0) 推荐(0)
2021年3月14日
HDFS文件下载
摘要： 阅读全文
posted @ 2021-03-14 16:40 liWuYan 阅读(70) 评论(0) 推荐(0)
Linux文件夹权限递归修改
摘要： Trash文件夹权限修改 > /user/root/.Trash/Current/ 在一次使用Trash回收站时候,hdfs对于/user/root/.Trash/Current/下的文件访问权限不足,于是用到这一命令,关键在于当下属所有文件都要修改权限时候我们需要使用-R 777递归添加权限. 还 阅读全文
posted @ 2021-03-14 16:30 liWuYan 阅读(512) 评论(0) 推荐(0)
HDFS的上传流程以及windows-idea操作文件上传的注意
摘要： HDFS的上传流程 命令：hdfs dfs -put xxx.wmv /hdfs的文件夹 cd进入到要上传文件的当前目录，再输入hdfs命令上传，注意-put后tab可以自动补全， 最后加上你要上传到hdfs的NN文件路径，/表示根目录。 步骤1: client接受到Linux操作命令,要求上传文件 阅读全文
posted @ 2021-03-14 16:01 liWuYan 阅读(1184) 评论(0) 推荐(0)
HDFS存储持久化，checkpoint机制
摘要： NameNode持久化场景引入： 问题：NameNode宕机，导致内存中的文件元数据丢失怎么办？我们知道元数据是存储来内存中的，所以一旦宕机，内存数据是会丢失的，因此为了避免数据丢失，HDFS中出现了该持久化技术。 解决：NameNode会将内存中的元数据持久化到磁盘中。 **持久化两大方案：**日 阅读全文
posted @ 2021-03-14 11:38 liWuYan 阅读(396) 评论(1) 推荐(0)
2020年11月19日
接口回调小结1
摘要： 阅读全文
posted @ 2020-11-19 18:19 liWuYan 阅读(61) 评论(0) 推荐(0)