wyhuang---------至精至简，大道不惑

摘要： (转)使用java.text.SimpleDateFormat类进行文本日期和Date日期的转换Date类内部既不存储年月日也不存储时分秒，而是存储一个从1970年1月1日0点0分0秒开始的毫秒数，而真正有用的年月日时分秒毫秒都是从这个毫秒数转化而来，这是它不容易被使用的地方，尤其是显示和存储的场合... 阅读全文

摘要： Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapRedu... 阅读全文

摘要： 高阶函数val list =List(1,2,3,4,5,6,7,8)val newList = list.map((x:Int) => 2*x) //map表示映射list中的每一个元素的值为原来的2倍//newList中的值为2,4,6,8,10,12,14,16也可直接写成val newLis... 阅读全文

摘要： 抽象类 trait 可以理解为可以带有具体方法实现的接口类trait Logger{ //trait相当于接口 def log(msg:String){ prinln("log " + msg) }}class Test extends Logger{ def test{... 阅读全文

摘要： 首先检查系统安装的mysql版本，使用命令 rpm -qa | grep mysql若要安装自己的版本，则先执行删除操作 rpm -e xxxxx.rpm --nodeps然后安装自己的版本， rpm -i xxxxx.rpm 远程连接mysql，操作步骤如下：1、进入mysql环境中 mysql ... 阅读全文

摘要： 1、将zookeeper-3.4.5.tar.gz这个文件上传到huanghe的/usr/local目录下2、进入local目录下，执行解压 tar -zxvf zookeeper-3.4.5.tar.gz3、将解压后生成的zookeeper-3.4.5文件文件夹重命名为zk mv zooke... 阅读全文

摘要： 系统正在运行，如何添加一个从节点：步骤一：配置好要新节点的的环境步骤二： 在主节点的配置文件slaves文件中添加一行新节点的ip步骤三： 然后在新节点中分别执行以下命令，启动进程：hadoop-daemon.sh start datanode hadoop-daemon.sh start task... 阅读全文

摘要： SSH免密码互联，例如要想实现在192.168.56.100的终端连接192.168.56.101的主机，需要如下配置：（注：192.168.56.100对应的主机名为：huanghe192.168.56.101对应的主机名为：huanghe1）将192.168.56.100的公钥复制到192.16... 阅读全文

摘要： hadoop的分布式安装过程分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker我的配置：用户名/密码均为：root/huanghe集群 主... 阅读全文

摘要： HashSet是Set接口的实现类，因此，HashSet中的元素也是不能重复的。HashCode判断元素重复的标准时，首先计算新添加元素的hashCode值，当不重复是，则直接加入到该集合中，若发生重复，也称发生了碰撞，则进一步调用equals判断元素是否在逻辑上相同。package cn.cqu.... 阅读全文