随笔分类 -  Hadoop

摘要：一直在搞spark，也没时间弄hadoop，不过Hadoop基本的编程我觉得我还是要会吧，看到一篇不错的文章,不过应该应用于hadoop2.0以前，因为代码中有 conf.set("mapred.job.tracker","192.168.1.2:9001");新框架中已改为 Yarn-site.x... 阅读全文

摘要：yum install gcc yum install gcc-c++ yum install make yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel gr 阅读全文

摘要：一、Hadoop系统架构图Hadoop1.0与hadoop2.0架构对比图YARN架构:ResourceManager–处理客户端请求–启动/监控ApplicationMaster–监控NodeManager–资源分配与调度NodeManager–单个节点上的资源管理–处理来自ResourceMan... 阅读全文

摘要：HDFS基本命令:hadoop fs -cmdcmd: 具体的操作，基本上与UNIX的命令行相同args:参数HDFS资源URI格式：scheme://authority/pathscheme：协议名，file或hdfsauthority：namenode主机名path：路径示例：hdfs://lo... 阅读全文