雪山上的蒲公英

摘要： 结合自己工作中的使用和收集的一些经验，谈谈对Kettle中的ETL的一些优化。 1. 数据库方面 1.1 配置连接池 如果业务数据量很多和短连接很多，可以考虑使用数据库连接池，在这个时候，每次数据库连接建立和断开所花费的时间远长于进行数据库操作的时间，配置连接池可以更好的利用网络资源，将连接建立和断 阅读全文

摘要： kettle启动时有时会加载缓存中的配置和数据，这个在启动日志中可以看出来，如果要它重新加载配置或者数据需要先清理缓存，命令如下： rm -rf ${KETTLE_HOME}/data-integration/system/karaf/caches/{kitchen,pan,spoon} 阅读全文

摘要： 在刚开始部署及测试SpringBoot打包的jar包时，常会将jar包抛到服务器上，直接运行 java -jar 命令来启动。但这样的话，该会话的终端窗口如果中断，程序也会挂掉，所以我们会采用nohup和&组合命令来操作。 使用nohup运行程序： 结果默认会输出到nohup.out 使用Ctrl 阅读全文

摘要： #密码登录 sftp -P 22 zhangsan@192.168.0.100sftp -oPort=22 zhangsan@192.168.0.100 #秘钥登录 sftp -P 22 -i ~/.ssh/id_rsa zhangsan@192.168.0.100 更改远程工作目录 cd /abc 阅读全文

摘要： 现需要在某台服务器上安装Kettle8.3，但该机器的JDK版本是JDK1.7，因此需要为Kettle单独指定 JAVA_HOME，方法如下： vi data-integration/set-pentaho-env.sh，显式设置 JAVA_HOME。 kettle安装部署步骤： 1. 将kettl 阅读全文

摘要： 阅读全文

摘要： 1. 跑批是什么 顾名思义，就是应用程序对数据的批量处理。 跑批有以下特性： 大数据量：批量任务一般伴随着大量的数据处理； 自动化：要求制定时间或频率自动运行； 性能：要求在指定时间内完成批处理任务。 2. 跑批应用场景 在开发中常见的跑批应用场景如下（以目前做的系统举例）： 定时的数据状态更新：到 阅读全文

摘要： 在使用maven过程中，我们在开发阶段经常性的会有很多公共库处于不稳定状态，随时需要修改并发布，可能一天就要发布一次，遇到bug时，甚至一天要发布N次。我们知道，maven的依赖管理是基于版本管理的，对于发布状态的artifact，如果版本号相同，即使我们内部的镜像服务器上的组件比本地新，maven 阅读全文

摘要： 对慢SQL优化一般可以按下面几步的思路： 1、开启慢查询日志，设置超过几秒为慢SQL，抓取慢SQL 2、通过explain对慢SQL分析（重点） 3、show profile查询SQL在Mysql服务器里的执行细节和生命周期情况（重点） 4、对数据库服务器的参数调优 一、慢查询日志 1、设置慢查询 阅读全文

摘要： 参考：方志朋的专栏 1. 简介 微服务架构上通过业务来划分服务的，通过REST调用，对外暴露的一个接口，可能需要很多个服务协同才能完成这个接口功能，如果链路上任何一个服务出现问题或者网络超时，都会导致接口调用失败。随着业务的不断扩张，服务之间互相调用会越来越复杂。随着服务的越来越多，对调用链的分析会 阅读全文