Runner_Jack

摘要： 表达式全集 常用正则表达式 阅读全文

摘要： 1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化/CheckPoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优 降低RDD缓存占用空间的比例：new SparkConf().set("spark.storage.memoryFraction","0.5"),从 阅读全文

摘要： 一、背景介绍 springboot默认的application.properties文件只能在项目内部，如果打成docker镜像后配置文件也打进去了，这样每次需要改动配置（比如数据库的连接信息）就需要重新打镜像，这样就十分麻烦。所以要是能将application.properties提到外部，在启动 阅读全文

摘要： 在springBoot+Mybatis日志显示SQL的执行情况的最简单方法就是在properties新增：logging.level.cn.piesat.mapper=debug 阅读全文

摘要： 1、方法中的参数全为val型。 例： def insertMap(map:=>Map[String,Int]):Unit={ map+=("b"->2) //报错 } 传递过来的map默认为val型，不可变。 2、方法中传递的参数非按地址传值。 这一点和java很不一样，也是很坑的一个地方。 阅读全文

摘要： 一、踩坑经历 自定义的accumulator是线程不安全的，会造成累加结果不正确。自定找了很久没想到是线程不安全行成的。 二、解决方法 创建一个线程安全的集合变量（我用的是Java的ConcurrentHashMap),赋好初始值 ，在重写add方法时，将旧的值取出来累加后再放回去(取与放的动作要加 阅读全文

摘要： 答案：保存在driver端。因此需要对收集的信息的规模要加以控制，不宜过大。避免 driver端的outofmemory问题！！！ 阅读全文

摘要： import java.util.Properties;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig; public cla 阅读全文

摘要： 在Scala中存在case class，它其实就是一个普通的class。但是它又和普通的class略有区别，如下： 1、初始化的时候可以不用new，当然你也可以加上，普通类一定需要加new； scala> case class Iteblog(name:String) defined class I 阅读全文

摘要： 1、安装 sudo yum -y install docker 2、加入开机自启systemctl enable docker 阅读全文