摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages MapReduce精通(二) MapReduce框架原理 MapReduce工作流程 流程示意图 流程详解 上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Sh 阅读全文
posted @ 2020-07-23 16:05 假装文艺范儿 阅读(39) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 总结:分析WordCount数据流走向深入理解MapReduce核心思想。 阅读全文
posted @ 2020-07-19 22:22 假装文艺范儿 阅读(125) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode(重点) NN和2NN工作机制 第一阶段:NameNode启动 第一次启动NameNode格式化后,创建fsima 阅读全文
posted @ 2020-07-17 10:44 假装文艺范儿 阅读(40) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages HDFS 简介及操作 HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小(重点) 块在传输时,每64K还需要校验一次,因此块大小,必须为2的n次方,最接近100M的就是128M! 阅读全文
posted @ 2020-07-16 17:29 假装文艺范儿 阅读(137) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages Hadoop完全分布式运行模式 步骤分析: 准备3台客户机(关闭防火墙、静态ip、主机名称) vim /etc/sysconfig/network 三台机器各自的配置分别为HOSTNAME=hadoop101;HOST 阅读全文
posted @ 2020-07-14 22:12 假装文艺范儿 阅读(136) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages Hadoop简介和安装及伪分布式 大数据概念 大数据概论 大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力 阅读全文
posted @ 2020-07-12 10:03 假装文艺范儿 阅读(195) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages MapReduce精通(二) MapReduce框架原理 MapReduce工作流程 流程示意图 流程详解 上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Sh 阅读全文
posted @ 2020-07-23 16:05 假装文艺范儿 阅读(39) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 总结:分析WordCount数据流走向深入理解MapReduce核心思想。 阅读全文
posted @ 2020-07-19 22:22 假装文艺范儿 阅读(125) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages HDFS NN,2NN,DN及HDFS2.x新特性 NameNode和SecondaryNameNode(重点) NN和2NN工作机制 第一阶段:NameNode启动 第一次启动NameNode格式化后,创建fsima 阅读全文
posted @ 2020-07-17 10:44 假装文艺范儿 阅读(40) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages HDFS 简介及操作 HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小(重点) 块在传输时,每64K还需要校验一次,因此块大小,必须为2的n次方,最接近100M的就是128M! 阅读全文
posted @ 2020-07-16 17:29 假装文艺范儿 阅读(137) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages Hadoop完全分布式运行模式 步骤分析: 准备3台客户机(关闭防火墙、静态ip、主机名称) vim /etc/sysconfig/network 三台机器各自的配置分别为HOSTNAME=hadoop101;HOST 阅读全文
posted @ 2020-07-14 22:12 假装文艺范儿 阅读(136) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages Hadoop简介和安装及伪分布式 大数据概念 大数据概论 大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力 阅读全文
posted @ 2020-07-12 10:03 假装文艺范儿 阅读(195) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages synchronized关键字和锁 示例代码 public class MyThreadTest2 { public static void main(String[] args) { MyClass myClass 阅读全文
posted @ 2020-07-03 15:33 假装文艺范儿 阅读(45) 评论(0) 推荐(0) 编辑
摘要:目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages wait,notify和notifyAll 总结 在调用wait方法时,线程必须要持有被调用对象的锁,当调用wait方法后,线程就会释放掉该对象的锁(monitor) 在调用Thread类的sleep方法时,线程是不会 阅读全文
posted @ 2020-07-02 16:01 假装文艺范儿 阅读(56) 评论(0) 推荐(0) 编辑