04 2015 档案

在windows远程提交任务给Hadoop集群（Hadoop 2.6）
摘要：我使用3台Centos虚拟机搭建了一个Hadoop2.6的集群。希望在windows7上面使用IDEA开发mapreduce程序，然后提交的远程的Hadoop集群上执行。经过不懈的google终于搞定 开始我使用hadoop的eclipse插件来执行job，竟然成功了，后来发现mapreduce是在 阅读全文
posted @ 2015-04-29 20:04 高兴的博客 阅读(12045) 评论(0) 推荐(0)
把Spark SQL的metadata存储到mysql
摘要：1：安装配置mysql yum install mysql mysql-server service mysqld start mysqladmin -u root password newpassword mysql -u root -p 登录mysql mysql>GRANT ALL PRIVI 阅读全文
posted @ 2015-04-10 18:25 高兴的博客 阅读(3579) 评论(3) 推荐(0)
使用IDEA开发SPARK提交remote cluster执行
摘要：开发环境 操作系统：windows 开发工具：IntelliJ IDEA 14.1.1 需要安装scala插件 编译环境：jdk 1.7 scala 2.10.4 使用IDEA开发spark应用 1：新建scala项目： 2：选择scala版本，需要spark的scala版本对应 点击上图Scala 阅读全文
posted @ 2015-04-10 13:38 高兴的博客 阅读(15178) 评论(0) 推荐(2)
Netty的Channel
摘要：Channel是一个网络端口连接,或者是可以进行读，写，链接，绑定端口的组件的连接。 Channel就是一个链接，它提供了如下的功能。 1：获取当前链接的状态 2：配置当前链接参数 3：进行read,write,connect,bind等通道支持的操作。 4：该Channel关联的ChannelPi 阅读全文
posted @ 2015-04-08 11:09 高兴的博客 阅读(877) 评论(0) 推荐(0)
Netty中的Future
摘要：先看下Future的整个继承体系，还有一个ChannelFuture不在里面； 在并发编程中，我们通常会用到一组非阻塞的模型：Promise，Future 和 Callback。其中的 Future 表示一个可能还没有实际完成的异步任务的结果，针对这个结果可以添加 Callback 以便在任务执行成 阅读全文
posted @ 2015-04-08 10:55 高兴的博客 阅读(3921) 评论(0) 推荐(0)
Netty服务端的业务流程分析
摘要：Netty的服务端怎么和java NIO联系起来的，一直很好奇这块内容，这里跟下代码，下篇文章看下Channel相关的知识。 finalChannelFuture initAndRegister(){ finalChannel channel = channelFactory().newChanne 阅读全文
posted @ 2015-04-08 10:54 高兴的博客 阅读(7337) 评论(0) 推荐(0)
AbstractBootstrap的研读
摘要：AbstractBootstrap是一个工具类，用来配置和启动Channel的，下面看下AbstractBootstrap的类继承，ServerBootstrap用于启动ServerChannel的，是服务端的工具类，Bootstrap是用于启动Channel，是客户端的工具类，bind用于udp等 阅读全文
posted @ 2015-04-01 18:54 高兴的博客 阅读(2331) 评论(0) 推荐(0)