摘要：
通常写spark的程序用scala比较方便，毕竟spark的源码就是用scala写的。然而，目前java开发者特别多，尤其进行数据对接、上线服务的时候，这时候，就需要掌握一些spark在java中的使用方法了 一、map map在进行数据处理、转换的时候，不能更常用了 在使用map之前 首先要定义一 阅读全文
posted @ 2018-06-18 18:29
horseman
阅读(1560)
评论(1)
推荐(1)
摘要：
输入数字，转换成汉字，在统计数据量时很好用，而输入数字转成大写汉字，可以用于填写收据报销单哦 下载链接 https://pan.baidu.com/s/1nv3Ci6l 效果图如下： 直接上代码 欢迎下载使用，谢谢 阅读全文
posted @ 2017-06-06 08:47
horseman
阅读(523)
评论(1)
推荐(0)
摘要：
在用到spring时，本地IDE里面跑的很正常，但是打jar包后在集群上运行时报错。 查找资料后确定了问题的根源，由于在依赖中调用了spring的许多包，每个包都有自己的spring.schemas文件，会存在文件覆盖的情况。 报错信息为： 解决方法： 方法一： 修改maven的settings.x 阅读全文
posted @ 2017-06-05 18:01
horseman
阅读(3138)
评论(0)
推荐(0)
摘要：
在spark中，RDD、DataFrame、Dataset是最常用的数据类型，本博文给出笔者在使用的过程中体会到的区别和各自的优势 共性： 1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利 2、三者都有惰性机制，在进行创建、转换，如ma 阅读全文
posted @ 2017-05-11 17:16
horseman
阅读(51474)
评论(6)
推荐(9)
摘要：
在scala程序中，有时我们需要对日期进行运算，比如一天之前，两天之前，一个月之前等等，本博文给出了简单的实现方式 将第二行的DATE替换成HOUR或者MONTH、YEAR可以实现不同时间维度的运算 将第二行的-1换成其他的数字如-2或+6可以实现多种运算 阅读全文
posted @ 2017-05-10 15:50
horseman
阅读(5895)
评论(0)
推荐(0)
摘要：
在编写程序时，有时需要获取当前时间，这在记录异常信息、获取程序运行耗时很有用处 方式一： 这种方式获取的是程序运行到此的毫秒数，常用于计算程序耗时，比如在一段代码后再创建另外一个变量，做差后即可获得程序运行耗时 方式二： 其中new Date就能获取当前时间，但是为了便于阅读，再使用SimpleDa 阅读全文
posted @ 2017-05-10 15:39
horseman
阅读(27057)
评论(0)
推荐(1)
摘要：
在测试程序时，有时候运行一次可能需要很久，把日志文件保存下来是很有必要的，本文给出了scala程序输出日志文件的方式，同时使用本人的另一篇博客中介绍的将log4j.properties放到程序jar包之外的方式，从而可以方便地修改日志显示的级别，日志文件路径等 链接：http://www.cnblo 阅读全文
posted @ 2017-05-10 15:29
horseman
阅读(9457)
评论(0)
推荐(1)
摘要：
在scala的开发过程中，经常会修改程序的参数，将这些参数放到配置文件中避免了重复编译，然而打包的过程，如果不做配置文件外置，将无法修改配置内容，还是需要重新打包 这里给出读取配置文件的三种方式 方式一： 这是最常见的读取配置文件方式 在程序的任何地方输入代码，就能使通过下面的方式获得key对应的v 阅读全文
posted @ 2017-05-10 14:46
horseman
阅读(8432)
评论(1)
推荐(1)
摘要：
有经验的码农都知道，程序开发的差不多的时候，为了提高程序的稳健性，是一定要加上异常处理机制的 在scala中，用try/catch/finally实现该功能，这个在我的博客，数字转汉字小工具中有体现，这里给出一个简单的例子 如该示例，要注意的是： 1、try中放运行代码，并且由于try是一个封闭的结 阅读全文
posted @ 2017-05-10 14:20
horseman
阅读(3778)
评论(0)
推荐(0)
摘要：
安装scala插件一般有两种方式，在IDEA里面下载或者手动安装 手动安装 首先是下载需要的插件包，官网下载实在太慢，这里提供我下载好的文件，会按时更新成最新版 https://pan.baidu.com/s/1gfcdVcZ 下载好文件后，按如下步骤操作 一、打开设置 二、打开插件安装设置，选择从 阅读全文
posted @ 2017-05-09 16:27
horseman
阅读(11346)
评论(1)
推荐(0)
浙公网安备 33010602011771号