数栈DTinsight

摘要： 一、问题背景 某日袋鼠云运维小哥进行例行运维巡检，通过监控视图发现客户应用服务器cpu使用率突然呈上升趋势。通过专属服务群第一时间与业务方联系，与业务方确认是否有正在执行的定时任务，或者大范围拉取账单等业务操作。然而仔细分析了业务日志后，确认当时业务上并没有进行会消耗大量计算资源和网络资源的操作。 阅读全文

摘要： Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。 阅读全文

摘要： ​ 本文将带领大家解析babel-plugin-import 实现按需加载的完整流程，解开业界所认可 babel 插件的面纱。 首先供上babel-plugin-import插件 一、初见萌芽 首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打 阅读全文

摘要： ​ 本文将带领大家解析babel-plugin-import 实现按需加载的完整流程，解开业界所认可 babel 插件的面纱。 首先供上babel-plugin-import插件 一、初见萌芽 首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打 阅读全文

摘要： 公交车伴随着我们的日常生活已是随处可见，不同路线的公交车根据各自的时间表有序发出，到达站点，接上站台的乘客再缓缓驶向下一站……早高峰会有短区间的加班车，发车间隔也更短，夜半时分的班次则间隔更长。这一切都服从于公交总站的调度。在大数据平台中，也会有各式各样的任务需要按照一定的时间间隔和先后顺序有序进行 阅读全文

摘要： 一、什么是FlinkX FlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾），并维护该开源社区。目前已完成批流统一，离线计算与流计算的数据同 阅读全文

摘要： 一、RDB模块介绍与演示针对关系型数据库，FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作，各个数据源可通过继承FlinkX-RDB模块实现各自逻辑，目前已支持绝大部分市面上的RDB数据源： MySQL Oracle SqlServer PostgreSQL Db2 DM Gbase 阅读全文

摘要： FlinkX-Oracle Logminer模块是FlinkX基于Logminer对Oracle重做日志进行实时采集分析，可对Oracle进行实时同步也可以通过指定SCN或者时间戳从某个节点进行同步，同时通过记录SCN号支持续跑功能。 一、Logminer介绍与使用 Logminer是Oracle公 阅读全文

摘要： 数据中台是什么？数据中台建设的价值在哪里？数据中台和传统数仓还有数据中心有什么区别？这几乎是笔者最近被别人问到的最多的问题。之所以有这些疑问，其一是不懂的同学真心想了解，其二是懂的同学对我们的考验。 ​ 数据中台，解决数据“存”、“通”、“用”难题 让一切业务数据化，一切数据业务化 具体而说，数据中 阅读全文

摘要： “云原生”，很多人会对这个新名词感到困惑，到底什么是云原生，云原生又能给我们带来什么呢？其实云原生的概念最早是由来自Pivotal的MattStine于2013年首次提出，这是他根据自身多年的架构和咨询经验总结出来的一个思想集合，得到了开源社区的不断完善，并被一直延续使用至今。 一、什么是云原生 那 阅读全文