malloc+ - 博客园

mybatis异常问题记录

摘要： 1、参数类型integer，if标签<if test="dstIp=! '' ">,若dstIp=0,返回false，因""空字符串被转换为0. mybatis源码OgnlOps.class中compareWithconversion()方法中doubleValue()方法 2、if标签比较使用的是阅读全文

posted @ 2019-11-02 15:22 malloc+ 阅读(131) 评论(0) 推荐(0)

Java核心技术阅读笔记

摘要： 1、一个文件里只能有一个public类，且需与文件名相匹配，但可以有任一数目非public类。 2、访问器（get方法）和修改器（set方法），访问器不要返回可变对象。 class Employee { private Date hireDay ; public Date getHireDayO { 阅读全文

posted @ 2019-10-23 17:48 malloc+ 阅读(126) 评论(0) 推荐(0)

Flink报错排查

摘要：一、动态topic检测报错：Unable to retrieve any partitions with KafkaTopicsDescriptor 运行逻辑：先获取kafka中全部的topic list，再进行正则匹配，得到指定的topic list 调试发现，获取kafka全部topic lis 阅读全文

posted @ 2019-09-05 14:43 malloc+ 阅读(2448) 评论(0) 推荐(0)

watermark

摘要：一、watermark flink每条记录都产生一个waterMark，waterMark生成之后可修改。计算公式为当前接收到的最大eventTime-延迟时间，窗口函数接收到消息满足条件会触发窗口操作，因此若无满足条件消息进入则窗口不会进行计算。窗口计算触发条件：1、watermark时间>=w 阅读全文

posted @ 2019-09-02 19:04 malloc+ 阅读(336) 评论(0) 推荐(0)

Flink简单介绍

摘要：一、优势 1、高吞吐、低延迟、高性能 spark：高吞吐、高性能，用微批处理实现流式计算，无法达到低延迟； storm：低延迟、高性能，无法达到高吞吐 2、支持事件时间(event time) spark streaming只支持系统时间(process time)，即消息到达计算框架处理时的系统主阅读全文

posted @ 2019-08-28 13:50 malloc+ 阅读(227) 评论(0) 推荐(0)

PostgreSQL二三函数

摘要：一、系统函数二、日期函数三、差异性 1、单双引号与大小写问题阅读全文

posted @ 2019-08-20 19:41 malloc+ 阅读(192) 评论(0) 推荐(0)

Kafka小记

摘要： 1、kafka broker 只有leader提供读写服务，follower会准实时同步leader数据，若leader宕机，follower有些数据未同步，此follower被选举为leader之后，为避免数据丢失，设置以下参数： topic: replication.factor 复制因子大于1 阅读全文

posted @ 2019-07-22 20:14 malloc+ 阅读(210) 评论(0) 推荐(0)

JVM

摘要：一、Java基础 1.JDK：Java程序设计语言、JVM、Java API类库 JRE：JVM、Java SE API子集（Standard Editon）阅读全文

posted @ 2019-07-14 19:56 malloc+ 阅读(205) 评论(0) 推荐(0)

Sqoop

摘要：数据导入Hive分三步：1）导入数据到HDFS 2）Hive建表 3）使用“LOAD DATA INPAHT”将数据LOAD到表中数据导入HBase分二步：1）导入数据到HDFS 2）调用HBase put操作逐行将数据写入表--sqoop到hdfs#默认导入文件夹/user/root，默认字段分隔阅读全文

posted @ 2019-07-04 15:57 malloc+ 阅读(226) 评论(0) 推荐(0)

Sparksubmit

摘要： spark2-submit --master yarn --deploy-mode client --jars /bdpetl_data/app/etl_script/comm/lib/ojdbc6.jar --executor-cores 1 --num-executors 10 --class 阅读全文

posted @ 2019-07-04 15:52 malloc+ 阅读(182) 评论(0) 推荐(0)

@malloc

导航

公告