摘要： spark-sql是用来处理结构化数据的模块，是入门spark的首要模块。 技术的学习无非就是去了解它的API，但是Spark有点难，因为它的例子和网上能搜到的基本都是Scala写的。我们这里使用Java。 入门例子 数据处理的第一个例子通常都是word count，就是统计一个文件里每个单词出现了 阅读全文

摘要： Spark 是离线数据处理的一种大数据技术，和Flick相比数据处理要延后，因为Flick是实时数据处理，而Spark需要先读取数据到内存。 Spark的库是基于Scala写的，虽然Scala也是运行在jvm上的，但是Spark提供的Java api的能力和原生api并不完全相同，据说执行效率也有微 阅读全文

摘要： 公司招聘了一批新人。为什么是一批？因为是校招生，大家都是一起入职的。他们的title都是“全栈工程师”，因为公司想让他们有能力做前端也有能力做服务端。 我是没有做过“全栈工程师”的，虽然我工作这些年也偶尔写写前端：从刚毕业时候的jQuery、ext，到后面的react，到现在vue也略懂一些。 之前 阅读全文

摘要： 上一篇文章《Spring 5 中函数式webmvc开发中的swagger文档》中讲了如何给传统MVC开发模式中的RouterFunction增加swagger文档。这一篇讲一下如何给函数式WebFlux开发增加Swagger文档。 类似于MVC的webflux开发（基于Controller实现）的s 阅读全文

摘要： Spring 5 中一个非常重要的更新就是增加了响应式web开发WebFlux，并且推荐使用函数式风格（RouterFunction和 HandlerFunction）来开发WebFlux。对于之前主流的MVC开发模式，Spring也顺道给它提供了和WebFlux函数式开发几乎一致的方式（见上文《S 阅读全文

摘要： Spring 5 发行已经好几年了，里面提出了好几个新点子。其中一个就是 RouterFunction，这是个什么东西呢？ Spring框架给我们提供了两种http端点暴露方式来隐藏servlet原理，一种就是这多年大家都在使用的基于注解的形式@Controller或@RestController 阅读全文

摘要： kotlin是idea所属公司开发的一门jvm语言，如果你不了解估计也不会看这里，所以我就不多说了。 这里简单说一下如何新建一个小的kotlin spring项目。kotlin和idea是一家公司，所以Idea天然是支持kotlin语言的，现在spring也完全支持了kotlin。 新建项目，类型是 阅读全文

摘要： 素数就是没有真因子的正整数，比如2，3，5，7等等。大家学编程之初，免不了要设计一个方法求一个数是否是素数，或者输出小于定于给定参数的全部素数。素数定理呢就是描述这第二个问题的：素数是如何分布的，或者说给定一个比较大的数，有多少个比它小的素数。 研究素数一直是数论学家的最大兴趣，比如高低闻名但没什么 阅读全文

摘要： 我们初中就学过，光从一种介质进入另一种介质的时候一般会发生折射，也就是入射角通常和折射角不相等。为啥会这样呢？因为两种介质的光速不同，而光有一种性质，就是它总是会走耗时最短的路线。由于光在两种介质中的速度不一样，又为了节省时间，光就“主动”进行了折射。 第一个问题：为什么光在不同介质中的速度不一样？ 阅读全文

摘要： 大家都知道贝叶斯定理。朴素贝叶斯就是使用贝叶斯定理进行分类的方法。为什么叫“朴素”呢？因为它简单，英文叫“萌蠢”(naive)，会假设个体特征相互独立。不过简单不代表它效果差，在不少分类领域，朴素贝叶斯方法带来的性价比高到惊人。本文通过两个例子简单使用一下朴素贝叶斯方法（NB， naive Baye 阅读全文