2015年9月20日

大数据笔记10：大数据之Hadoop的MapReduce的原理

摘要： 1. MapReduce（并行处理的框架）思想：分而治之，一个大任务分解成多个小的子任务（map），并行执行后，合并结果（Reduce）（1）大任务分解成多个小任务，这个过程就是map；（2）多个小任务结果的合并，这个过程就是Reduce；2.通过一个案例说明MapReduce思想如下： 一副牌... 阅读全文

posted @ 2015-09-20 11:02 鸿钧老祖 阅读(369) 评论(0) 推荐(0)

大数据笔记09：大数据之Hadoop的HDFS使用

摘要： 1. HDFS使用：HDFS内部中提供了Shell接口，所以我们可以以命令行的形式操作HDFS 阅读全文

posted @ 2015-09-20 09:55 鸿钧老祖 阅读(158) 评论(0) 推荐(0)

大数据笔记08：云计算（云）

摘要： 1. 什么是云计算？（通俗一点） （1）说的明白一点： 云计算其实就是最大限度得发挥网络的资源。 可能上面有点抽象，下面为了更好理解什么是云计算，先从一段对话开始。 张三：我们公司的资料不让存放到个人电脑上，一般都存到云上。 李四：别逗了，你们单位就二十几个人，两台服务器，没有虚拟化也没有分布式，能 阅读全文

posted @ 2015-09-20 09:07 鸿钧老祖 阅读(463) 评论(0) 推荐(0)

导航