摘要： 开始决定丢弃鼠标，所以准备用vim了。 那么在vim里面如何搭建golang环境呢？ git盛行之下，搭建vim环境是如此简单。 而且vim搭建好了之后，基本上跟IDE没有差别。 高亮、自动补全、自动格式化、查看定义跳转、语法检测等等等等, 简直是不要不要的： Improved Syntax hig 阅读全文

摘要： 背景： go语言处理db、json的时候，具体代码的变量定义和db字段、json输出的时候可能不一样。 这个时候，我们需要用tag的方式来进行定义。 例如： type MyStruct struct { Name string `json:"name"` MaxHeight int `json:"m 阅读全文

摘要： K值聚类的时候，需要自己指定cluster的数目。这个cluster数目一般是通过canopy算法进行预处理来确定的。canopy具体描述可以参考这里。下面是 golang语言的一个实现（对经纬度距离计算进行cluster）。package mainimport ( "fmt" "mat... 阅读全文

摘要： 使用spark的 DataFrame 来操作mysql数据。DataFrame是比RDD更高一个级别的抽象，可以应用SQL语句进行操作，详细参考：https://spark.apache.org/docs/latest/sql-programming-guide.html这里暂时使用spark-sh... 阅读全文

摘要： ubuntu从oracle官网下载两个必须的rpm包（这里选择的是version12.1.0.2.0, 64位操作系统）oracle-instantclient12.1-basic-12.1.0.2.0-1.x86_64.rpmoracle-instantclient12.1-devel-12.1.... 阅读全文

摘要： 1.sbt是什么对于sbt 我也是小白, 为了搞spark看了一下scala，学习scala时指定的构建工具就是sbt（因为sbt也是用scala开发的嘛），起初在我眼里就是一个maven（虽然maven我也没怎么用），后面构建2个项目之后，发现还是蛮强大的，就是学习成本有点高。哎，但是现在什么东东... 阅读全文

摘要： 由于预处理的数据都存储在cassandra里面,所以想要用spark进行数据分析的话，需要读取cassandra数据，并把分析结果也一并存回到cassandra；因此需要研究一下spark如何读写cassandra。话说这个单词敲起来好累，说是spark，其实就是看你开发语言是否有对应的driver... 阅读全文

摘要： mesos集群部署参见上篇。运行在mesos上面和 spark standalone模式的区别是：1）stand alone需要自己启动spark master需要自己启动spark slaver（即工作的worker）2）运行在mesos启动mesos master启动mesos slaver启动... 阅读全文

摘要： mesos是什么呢？一个分布式调度框架，让你编写代码时面对整个集群像面对一台机器那么简单。所有的运行，资源调度都可以由它来帮你搞掂。1.mesos安装有两种方式：1）参考官网的getstart，下载源码然后进行编译http://mesos.apache.org/gettingstarted/这个就不... 阅读全文

摘要： package mainimport ( "fmt" "sync" "time")type WaitGroupWrapper struct { sync.WaitGroup}func (w *WaitGroupWrapper) Wrap(cb func(argvs ...in... 阅读全文