摘要：1、用于map的输入，先将输入数据切分成相等的分片，为每一个分片创建一个map worker,这里的切片大小不是随意订的，一般是与HDFS块大小一致，默认是64MB，一个节点上存储输入数据切片的最大size就是HDFS的块大小，当设置的切片size大于HDFS块大小，会引起节点之间的传输，占用带宽。... 阅读全文

摘要：突然现在对以后的职业方向有些迷茫，不知道去干什么，现在有一些语言基础，相对而言好的一些有Java和C，选来选去不知道该选择哪个方向，爬了好多网页后，觉得自己应该从java开始出发，之前有点心不在焉，不知道从而且还在中途走了一段的弯路，没事干又跑去研究了一段时间的Php，但是后来发现php可以作为自己... 阅读全文

摘要：在经过几天的环境搭建，终于搭建成功，其中对于hadoop的具体设置倒是没有碰到很多问题，反而在hadoop各节点之间的通信遇到了问题，而且还反复了很多遍，光虚拟机就重新安装了4、5次，但是当明白了问题之后才发现这都是无用功，有了问题应该找具体的解决方案，并不是完全的重装，这样不会明白问题是怎么解决的... 阅读全文

摘要：升级win10后在使用虚拟机发生一个问题，本人的win10版本为win10 9879, 在使用vmware时，当关机会整个系统死机，在网上搜索后发现这是由于win10内核升级导致vmware不兼容，最近本人在做一个数据库的中间件，并且还在学习hadoop，离不开Linux,但在纯linux下作东西，... 阅读全文

摘要：1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo... 阅读全文