johnny233

摘要： 很不错的一本书。章节划分清晰明了，可根据个人需要读相应的章节。Hive各个方面的知识体系都有涉及。可作为工具书，常读常新，值得翻阅。 第2章 Hive问题排查与调优思路 优化方法 PL-SQL和T-SQL经验总结： 通过改写SQL，实现对计算引擎执行过程的干预通过SQL-hint语法，实现对计算引擎 阅读全文

摘要： 背景 经济下行的大环境下，很多公司都在做出海业务，即把海外人民做为服务对象。我司亦不例外。最近在全职负责的一款数据产品，也需要在菲律宾（马尼拉）也部署一个站点。 站点部署成功，看起来一切顺利。既然是数据产品，少不了需要个数据源菜单，数据源管理列表页。 马尼拉业务的数仓owner是在阿里云申请MaxC 阅读全文

摘要： 概述 MAT，下载地址，Eclipse Memory Analysis Tools，一个分析Java堆数据的专业工具，可以计算出内存中对象的实例数量、占用空间大小、引用关系等，可得知哪些线程阻止垃圾收集器的回收工作，从而定位内存泄漏的原因。 什么时候会用到MAT? OutOfMemoryError时 阅读全文

摘要： 概述 Java语言中最正统的任务调度框架，几乎是首选。后来和Spring Schedule平分秋色；再后来会被一些轻量级的分布式任务调度平台，如XXL-Job取代。另外近几年Quartz的维护和发布几乎停滞，但这并不意味着Quartz被淘汰，还有学习和使用的价值。 入门 SB版本是2.0.0+，则s 阅读全文

摘要： 概述 池化技术，包括线程池、连接池、内存池、对象池等。作用就是提前保存大量的资源，或将用过的资源保存起来，等下一次需要使用该资源时再取出来重复使用。 线程池：通过预先创建一定数量的线程，当有请求达到时，线程池分配一个线程提供服务，请求结束后，该线程又去服务其他请求。避免线程和内存对象的频繁创建和释放 阅读全文

摘要： 概述 本文所指的SQL优化主要是指MySQL优化，当然思想是通用的，其他SQL语言不排除其通用性。谈到SQL优化，最好有一个指导或者规范，照着这个规范去对比，发现可以优化的地方。参考博文MySQL推荐使用规范。 总体思路 优化的总体思路，也可以说是数据库性能优化方法论。遇到性能问题时，要判断是哪一种 阅读全文

摘要： 概述 关于XXL-JOB的使用遇到的问题记录。对XXL-JOB不熟的，可以先参考分布式任务调度平台XXL-JOB深度实战 实战 业务DTO定义如下： @Data public class AdAccountDTO { private String accountId; /** * yyyy-MM-d 阅读全文

摘要： 概述 在做数据产品或平台系统时，经常会遇到类似如下截图中，有截至日期的定时调度任务的需求。即定时任务只在指定的开始日期-截至日期里指定的时间里执行。具体的业务需求场景，如营销活动的看板数据的订阅邮件，推送名单的活动，活动（双十一，六一八）结束后就不再需要执行任务。 注：因为使用的Java语言的定时调 阅读全文

摘要： 概述 面对海量、高并发请求时，为了实现秒级设置毫秒级响应，增加系统的吞吐量，故而需要考虑引入缓存系统。常见的开源的组件如下。 Ehcache 官网 GitHub 特色： 够快：Ehcache发布历史长，经过几年的努力和不计其数的性能测试，Ehcache终被设计于large, high concurr 阅读全文

摘要： 概述 synchronized，关键字，可以使用在以下场景： 普通方法，锁是当前实例对象静态方法，锁是当前类的class对象同步方法块，锁是括号里面的对象： 对实例对象加锁synchronized (this)，锁是当前实例对象对Class加锁synchronized (Xxx.class)，锁是当 阅读全文