摘要:一、使用HDFS FileSystem详解 HDFS依赖的第三方包: hadoop 1.x版本: commons-configuration-1.6.jar commons-lang-2.4.jar commons-loggin-1.1.1.jar hadoop-core-1.2.1.jar log 阅读全文
posted @ 2018-04-26 15:48 老王和小杨 阅读(455) 评论(0) 推荐(0) 编辑
摘要:一、HDFS读取文件流程: 详解读取流程: Client调用FileSystem.open()方法: 1 FileSystem通过RPC与NN通信,NN返回该文件的部分或全部block列表(含有block拷贝的DN地址)。 2 选取举栗客户端最近的DN建立连接,读取block,返回FSDataInp 阅读全文
posted @ 2018-04-26 10:11 老王和小杨 阅读(2501) 评论(0) 推荐(0) 编辑