钱塘江畔

摘要： 1. 背景 昨天《FlinkSQL实践记录1》对FlinkSql做了简单的使用insert into .. select ..，今天对聚合运算做一些实践。 2. 代码实践 String mysql_sql = "CREATE TABLE mysql_sink (" + " name STRING," 阅读全文

摘要： 1.背景 Flink目前在国内发展的火热，笔者在2018首次接触了flink之后，总是在官网/公众号各个地方追踪它的新动态，但一直没机会在生产上使用，近期有流式计算的需求，且目前企业对计算的实时性也要求越来越高，今天先在本地环境测试一把。测试把kafka中数据通过flink处理后写入mysql。 环 阅读全文

摘要： 1. 背景 经常遇到excel类型的数据，需要转为utf8编码的txt文本，以便入库hive。excel文件的编码格式是 GBK 2. GBK转为utf8 # 首先将excel另存为csv # 将csv文件编码格式转换 iconv -f gbk -t utf-8 file1.csv -o file2 阅读全文

摘要： 1. 问题场景 使用postman测试接口时，报错400 接口代码如下： @RequestMapping(value = "/realNameCheck", method = RequestMethod.POST) public String realNameCheck(@RequestParam( 阅读全文

摘要： 1. 问题 在对hive表统计行数时发现如下异常 # count(*) select count(*) from userimages; 6302 # count(*) + count(result) select count(*), count(result) from userimages; 3 阅读全文

摘要： springboot打包配置文件不生效 阅读全文

摘要： 1. 问题描述 zk读取kafka的broker信息时报错，如下： 22:52:47,125 DEBUG ClientCnxn:846 - Reading reply sessionid:0x10b00878c620372, packet:: clientPath:null serverPath:n 阅读全文

摘要： 1. fork项目 2. 将github开源项目克隆到本地（以EFAK为例） git clone https://github.com/smartloli/EFAK.git 用IDEA打开项目 3. 修改源代码并测试 使用编程技术修复bug，优化性能，增加功能等； 多模块项目重新打包，重新部署以进行 阅读全文

摘要： 配置多模块项目 父工程 <packaging>pom</packaging> <name>kafkaa</name> <modules> <module>common</module> <module>api</module> <module>web</module> <module>core</m 阅读全文

摘要： 1. 现象 有一个test用户的CPU使用率100%，很可疑，想删掉这个用户（因为是个没啥用的测试用户），也删不掉，总是启动着一个进程，杀掉进程后又自动启动进程，导致userdel也执行不了，因为进程占用 2. 解决办法 2.1 查看进程的详细信息 cd /proc/pid cwd符号链接的是进程运 阅读全文