hadoop客户端效率问题
分享一个关于hdfs写入流程文档:
今天主要的话遇到了这样的一个问题:
集群中的配置环境是一台datanode和一台namenode,这时如果在datanode上运行hdfs的客户端上传一个2g的文件 和在namenode上运行同样的程序 个人觉得应该是在datanode上运行的时间短 为什么出现的结果却是相反?运行结果如下:
namenode start upload finish upload, cost time: 24240
datanode start upload finish upload, cost time: 69679