进无止境

摘要： 1：Spark ML与Spark MLLIB区别？ Spark MLlib是面向RDD数据抽象的编程工具类库，现在已经逐渐不再被Spark团队支持，逐渐转向Spark ML库，Spark ML是面向DataFrame编程的。 2：Spark ML与Spark MLLIB中矩阵、向量定义区别？ 这两个 阅读全文

摘要： 以前使用过DS和DF，最近使用Spark ML跑实验，再次用到简单复习一下。 1：DS与DF关系？ 2：加载txt数据 这种直接生成DF，df数据结构为（查询语句：df.select("*").show(5)）： 只有一列，属性为value。 3： df.printSchema() 4：case c 阅读全文

摘要： 有时间学习一下Guava 阅读全文

摘要： GitHub 上的 Awesome 系列（资源大全系列），是一个汇总了优秀工具资源的大集合，并由 GitHub 社区用户持续维护和更新。初始的版本都是英文，伯乐在线组织整理了热门资源大全的中文版。目前，中文版的资源列表在 GitHub 总计已经有超过 10K star 和 数千 fork 。以下是各 阅读全文

摘要： 引用至：http://www.jdon.com/concurrent/actor-csp.html Akka/Erlang的actor模型与Go语言的协程Goroutine与通道Channel代表的CSP(Communicating Sequential Processes)模型有什么区别呢？ 首先 阅读全文

摘要： 或許大部分有寫過Java程式的人都知道java.lang.Runtime這個class有一個method叫做exec()，可以被用來呼叫(調用)外部的程式。然而大部分的人都不知道這個method存在著幾個機車的小陷阱，一個不小心就會發生災難了，待我娓娓道來...這個method有幾個overload 阅读全文

摘要： 一个很久之前写的Spark作业，当时运行在local模式下。最近又开始处理这方面数据了，就打包提交集群，结果频频空指针。最开始以为是程序中有null调用了，经过排除发现是继承App导致集群运行时候无法反射获取main方法。 这个问题不难，起始我们也知道提交作业时候不能继承App，源码也看过这一部分， 阅读全文

摘要： 问题1： 使用bat脚本报错： 解决方案： 在配置好kafka的server.properties文件后，cmd进入命令窗口输入命令：.\bin\windows\kafka-server-start.bat config\server.properties提示错误：错误: 找不到或无法加载主类 Fi 阅读全文

摘要： 通过对ReentrantLock获取锁和释放锁源码跟踪主要想进一步深入学习AQS。 备注：AQS中的waitStatus状态码含义： 阅读全文

摘要： 转至：https://coolshel 在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障，并且这个事发生了很多次，原因是在Java语言在并发情况下使用HashMap造成Race Condition，从而导致死循环。这个事情我4、5年前也经历过，本来觉得没什么好写的，因为Java的Hash 阅读全文