hequn8128

摘要： csdn上的http://www.csdn.net/article/2014-05-19/2819831-TDW-Shuffle/1说得很清晰，学习学习。 阅读全文

摘要： Actor是Akka应用程序的基础，为分布式提供了抽象，为大规模容错的应用提供了基础。Actor对象封装了状态和行为，一个Actor通过发送消息改变另一个Actor的状态。以Actor模型的角度来看，actor是一个接收消息的计算单元，并且也可以向其他Actor发送消息。mailbox构建起来Act... 阅读全文

摘要： Akka是一个开发库和运行环境，可以用于构建高并发、分布式、可容错、事件驱动的基于JVM的应用。使构建高并发的分布式应用更加容易。akka官网，见参考文献1.akka官方documents中文版，见参考文献2.编写一个初级sbt akka程序，计算Pi，详细可参考文献2。1.创建工程的文件夹，myproject。文件夹下创建build.sbt，如下。sbt的安装和使用见参考文献3.name := "My Project" version := "1.0" scalaVersion := "2.10.3" resolvers += &q 阅读全文

摘要： 昨天手贱，一不小心直接把Master节点的引导(/boot/grub/grub.conf)同步到各个Slave节点了。只能研究下怎么修复引导，还好修复过来了。趁着刚刚弄完记忆还清晰，记录下。1.如果机子还没重启。这个时候，机子还可以访问，所以直接修改下grub.conf文件的引导路径和UUID即可。如下：default=1timeout=5splashimage=(hd0,4)/boot/grub/splash.xpm.gzhiddenmenutitle CentOS (2.6.32-358.el6.x86_64) root (hd0,4) kernel /boot... 阅读全文

摘要： 集群的管理经常要用到文件或者软件的分发，虽然scp命令可以解决问题，但是当集群节点数较大，分发操作频繁时，手动一条一条地分发显然不是很方便，所以要用脚本来完成。expect自动交互脚本可以解决访问登录的问题，但是expect用的是tcl语法（tool command language），不是shell语法，所以接收参数的方式和bash脚本的方式不太一样。bash通过$0 ... $n 这种方式，expect则通过[lindex $argv 0]获取参数。具体参考下面的脚本代码。1.分发文件：#!/usr/bin/expect -fset timeout 30spawn scp [lindex 阅读全文

摘要： JVM垃圾回收：首先JVM通过根搜索法找到已死的对象，然后通过各种垃圾回收方法进行回收。1.http://www.cnblogs.com/gw811/archive/2012/10/19/2730258.html2.http://www.cnblogs.com/laoyangHJ/articles/... 阅读全文

摘要： 一.安装步骤见参考文献1。遇到问题：1.WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...这个是下载的版本是32位与机子64位不匹配的原因，貌似可以不用管。如果想去掉，下载源码编译。编译步骤见参考文献2。2.运行程序的时候提示org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.解决办法：同步namenode和datanode的时间，ntp同步时间见参考 阅读全文

摘要： 编译步骤：http://carrie1314.blog.51cto.com/6634326/1301198编译后，可能会产生如下错误1.[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found需要对bug进行修复http://blog.csdn.net/zwj0403/article/details/168555552.java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter原因主要是使用了新的maven版本，与Ma 阅读全文

摘要： 一.单机spark程序1.sbt安装和使用，详见参考文献1。sbt-launch.jar在下载的spark中的sbt文件夹里有。2.运行参考文献2中"A Standalone App in Scala"程序。出现问题：sbt package时出错，提示[warn] ::::::::::::::::::::::::::::::::::::::::::::::[warn] :: FAILED DOWNLOADS ::[warn] :: ^ see resolution messages for details ^ ::[warn] ::::::::::::::::::::::: 阅读全文

摘要： package hequn.imageimport swing._import java.awt.image.BufferedImageimport java.io.Fileimport javax.imageio.ImageIOclass ImagePanel extends Panel { private var _imagePath = "" private var bufferedImage: BufferedImage = null def imagePath = _imagePath def imagePath_=(value: String) { _image 阅读全文