摘要： 写代码经常会听说一些名词，比如 性能分析、代码调优。 cProfile 是 python 代码调优的一种工具，它能够统计在整个代码执行过程中，每个函数调用的次数和消耗的时间。 这个工具虽然很常用，但是没必要花太多时间研究这个工具，简单使用就能达到效果，所以我这里只简单记录下核心用法。 两种使用方式 阅读全文

摘要： shell 命令操作 hadoop 之前多少提及过，这里做个总结。 shell with hdfs 基本命令 bin/hadoop fs 大于下面的命令 bin/hdfs dfs dfs 是 fs 的实现类 shell 操作 hadoop 就是 上面的命令 加 “-” 再加 linux 命令 常用命 阅读全文

摘要： hadoop1.x 和 hadoop2.x 区别 HDFS 分布式文件存储系统 优点 缺点 MapReduce 分布式计算 详见我的博客 mapreduce YARN 计算资源管理器 主要了解两个组件 ResourceManager：管理整个集群的计算资源 NodeManager：管理单个节点的计算 阅读全文