雪山上的蒲公英

摘要： 现需要在某台服务器上安装Kettle8.3，但该机器的JDK版本是JDK1.7，因此需要为Kettle单独指定 JAVA_HOME，方法如下： vi data-integration/set-pentaho-env.sh，显式设置 JAVA_HOME。 kettle安装部署步骤： 1. 将kettl 阅读全文

摘要： 阅读全文

摘要： 1. 跑批是什么 顾名思义，就是应用程序对数据的批量处理。 跑批有以下特性： 大数据量：批量任务一般伴随着大量的数据处理； 自动化：要求制定时间或频率自动运行； 性能：要求在指定时间内完成批处理任务。 2. 跑批应用场景 在开发中常见的跑批应用场景如下（以目前做的系统举例）： 定时的数据状态更新：到 阅读全文

摘要： 在使用maven过程中，我们在开发阶段经常性的会有很多公共库处于不稳定状态，随时需要修改并发布，可能一天就要发布一次，遇到bug时，甚至一天要发布N次。我们知道，maven的依赖管理是基于版本管理的，对于发布状态的artifact，如果版本号相同，即使我们内部的镜像服务器上的组件比本地新，maven 阅读全文

摘要： 对慢SQL优化一般可以按下面几步的思路： 1、开启慢查询日志，设置超过几秒为慢SQL，抓取慢SQL 2、通过explain对慢SQL分析（重点） 3、show profile查询SQL在Mysql服务器里的执行细节和生命周期情况（重点） 4、对数据库服务器的参数调优 一、慢查询日志 1、设置慢查询 阅读全文

摘要： 参考：方志朋的专栏 1. 简介 微服务架构上通过业务来划分服务的，通过REST调用，对外暴露的一个接口，可能需要很多个服务协同才能完成这个接口功能，如果链路上任何一个服务出现问题或者网络超时，都会导致接口调用失败。随着业务的不断扩张，服务之间互相调用会越来越复杂。随着服务的越来越多，对调用链的分析会 阅读全文

摘要： 参考：方志朋的专栏 Spring Cloud Config 实现配置中心，看这一篇就够了 1. 简介 Spring Cloud Config 是 Spring Cloud 家族中最早的配置中心，虽然后来又发布了 Consul 可以代替配置中心功能，但是 Config 依然适用于 Spring Clo 阅读全文

摘要： 参考：方志朋的专栏 在微服务架构中，需要几个基础的服务治理组件，包括服务注册与发现、服务消费、负载均衡、断路器、智能路由、配置管理等，由这几个基础组件相互协作，共同组建了一个简单的微服务系统。一个简单的微服务系统如下图： 注意：A服务和B服务是可以相互调用的，作图的时候忘记了。并且配置服务也是注册到 阅读全文

摘要： 参考：方志朋的专栏 1. Hystrix简介 在微服务架构中，根据业务来拆分成一个个的服务，服务与服务之间可以相互调用（RPC），在Spring Cloud可以用RestTemplate+Ribbon和Feign来调用。为了保证其高可用，单个服务通常会集群部署。由于网络原因或者自身的原因，服务并不能 阅读全文

摘要： 参考自：方志朋的专栏 1. Ribbon 1.1 Ribbon简介 Spring Cloud Ribbon是一个基于HTTP和TCP的客户端负载均衡工具，它基于Netflix Ribbon实现。通过Spring Cloud的封装，可以让我们轻松地将面向服务的REST模版请求自动转换成客户端负载均衡的 阅读全文