2019年4月14日
HDFS 读写数据流程
摘要： 一、上传数据 二、下载数据 三、读写时的节点位置选择 1.网络节点距离（机架感知） 2.Block 的副本放置策略 NameNode 通过 Hadoop Rack Awareness 确定每个 DataNode 所属的机架 ID 简单但非最优的策略 常见情况策略（HDFS 采取的策略） 如果复制因子 阅读全文
posted @ 2019-04-14 22:36 江湖小小白 阅读(906) 评论(0) 推荐(0)
HDFS 开发中的文件配置优先级
摘要： 一、先看集群上的配置，这里设置了文件块副本数为 3 上传一个文件试试 二、在资源目录添加 hdfs-site.xml 配置后再上传 代码中的上传名字做下改变 三、在代码中指定下配置参数 总结：代码设置 > 工程资源目录配置 > 集群配置 > 默认配置 阅读全文
posted @ 2019-04-14 13:26 江湖小小白 阅读(615) 评论(0) 推荐(0)