2017年9月26日
Linux命令之control快捷键组合
摘要： ***********************Linux系统中的一些control快捷键组合汇总如下************************ ctrl+a:光标移到行首。 ctrl+b:光标左移一个字母 ctrl+c:杀死当前进程。 ctrl+d:退出当前 Shell。 ctrl+e:光标移到行尾。 ctrl+h:删除光标前一个字符，同 backspace 键相同。 ctrl+k:清除光标... 阅读全文
posted @ 2017-09-26 17:19 章三丰 阅读(4106) 评论(0) 推荐(0)
Linux命令之查看文件夹、文件数量及其所占磁盘空间
摘要： 一、查看数量 # 查看当前目录下的文件数量（不包含子目录中的文件） ls -l|grep "^-"| wc -l # 查看当前目录下的文件数量（包含子目录中的文件） 注意：R，代表子目录 ls -lR|grep "^-"| wc -l # 查看当前目录下的文件夹目录个数（不包含子目录中的目录），同上述理，如果需要查看子目录的，加上R ls -l|grep "^d"| wc -l # 查询当前路径下... 阅读全文
posted @ 2017-09-26 17:15 章三丰 阅读(16640) 评论(0) 推荐(3)
MR1和MR2（Yarn）工作原理流程
摘要： 一、Mapreduce1 图1 MR1工作原理图 工作流程主要分为以下6个步骤： 1 作业的提交 1)客户端向jobtracker请求一个新的作业ID(通过JobTracker的getNewJobId()方法获取，见第2步 2)计算作业的输入分片，将运行作业所需要的资源(包括jar文件、配置文件和计算得到的输入分片)复制到一个以ID命名的jobtracker的文件系统中(HDFS)，见第3步 ... 阅读全文
posted @ 2017-09-26 02:46 章三丰 阅读(1924) 评论(0) 推荐(0)
hadoop生态系统主要架构图汇总
摘要： 1 hadoop1.0时期架构 2 hadoop2.0时期架构 3 hdfs架构 【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求 【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active Nam... 阅读全文
posted @ 2017-09-26 02:36 章三丰 阅读(36395) 评论(0) 推荐(1)