2020年1月2日
《Hadoop权威指南 第4版》 - 第四章 关于YARN - hadoop的集群资源管理系统
摘要： 简介 YARN 提供请求和使用hadoop集群资源的API 向上隐藏细节 提供更高层的API 4.1 YARN应用运行机制 资源请求 应用生命周期 构建yarn应用 4.2 YARN与MapReduce 1相比 (MapReduce特指hadoop1 的版本, 2/3依次对应) 4.3 YARN中的 阅读全文
posted @ 2020-01-02 20:05 山枫叶纷飞 阅读(312) 评论(0) 推荐(0)
Hadoop文件系统的fs命令 提示大全 “ hadoop fs -****”
摘要： 在hadoop文件系统上执行常用的操作命令, 如移动文件、读取文件、删除文件、列出目录等 类似于“ hadoop fs ” ， 的部分可以参考linux文件命令 有单词不认识的话， 点击 "翻译" 阅读全文
posted @ 2020-01-02 15:53 山枫叶纷飞 阅读(921) 评论(0) 推荐(0)
《Hadoop权威指南 第4版》 - 第三章 Hadoop分布式文件系统 - 设计概念/数据流/Java接口
摘要： 3.1 HDFS的设计概念 HDFS以流式数据访问模式来存储超大的文件 HDFS延时较高, HBASE 到可以是较好的选择. 大量的小文件, namenode(命名结点/空间) 将文件系统的元数据存储在内存中,每个大概占150Bytes, 上百万/千万时需要考虑物理机的内存大小 HDFS只支持单用户 阅读全文
posted @ 2020-01-02 15:48 山枫叶纷飞 阅读(220) 评论(0) 推荐(0)