kongchung - 博客园

2016年7月

摘要：还是打算选择python学习spark编程因为java写函数式比较复杂，scala学习曲线比较陡峭，而且sbt和eclipse和maven的结合实在是让人崩溃，经常找不到主类去执行 python以前没用过但是名声在外，可以很方便的进行数据处理在eclipse中集成pydev插件去编写python 阅读全文

posted @ 2016-07-06 13:39 kongchung 阅读(4490) 评论(0) 推荐(0)

2016年6月

Sbt的使用初步和用sbt插件生成eclipse工程

摘要：以前一直是用maven去管理java项目，现在开始写scala项目了但是在scala-ide中去编译scala项目和sbt的区别一直没弄清楚受到文章：http://my.oschina.net/yjwxh/blog/601566的启发，查了相关的资料 sbt官网是http://www.scala-s 阅读全文

posted @ 2016-06-29 22:35 kongchung 阅读(6658) 评论(1) 推荐(0)

Spark运行在eclipse_使用PyDev和pyspark

摘要：一直想在eclipse上编写Spark程序，但是仿佛是因为spark的安装包提供了PS D:\software\spark-1.6.1-bin-hadoop2.6> .\bin\spark-submit .\examples\src\main\python\ml\binarizer_example. 阅读全文

posted @ 2016-06-29 10:48 kongchung 阅读(1741) 评论(0) 推荐(0)

ubuntu1604安装体验

摘要：昨天安装了ubuntu 16 安装成了双系统，这样的速度才能接受。各种软件支持的都还算不错。除了启动时候原始的气息，启动之后挺稳定的。最让人开心的是新的unity的设置更加丰富了，可以自动隐藏，更换图标什么的。安装了unity-tweak-tool，设置比较方便。还有一个docky比我在win 阅读全文

posted @ 2016-06-21 07:52 kongchung 阅读(3074) 评论(0) 推荐(1)

STORM_0010_Message passing implementation/消息传递的实现

摘要：下面是0.8.0之前的表述，之后的已经基于Disruptor改造过了这个文章演示了发射和转移tuple是怎么在storm中工作的 Worker为消息传递负责当zk中的任务出现了变化或者每个task.refresh.poll.secs都会调用refresh-connections。这个东西管理和其阅读全文

posted @ 2016-06-04 21:00 kongchung 阅读(226) 评论(0) 推荐(0)

公告