数栈DTinsight

摘要： 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等，是全域、异构、批流一体的数据同 阅读全文

摘要： 本文整理自：浅谈云原生系统日志收集在数栈的实践 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！ https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数 阅读全文

摘要： 本文整理自：袋鼠云技术荟 | 数据安全(1)：混合云环境数据库备份容灾实现 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！ https://github.com/DTStack/flinkx FlinkX是一个 阅读全文

摘要： 本文整理自：袋鼠云技术荟 | SQL优化案例(2)：OR条件优化 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如My 阅读全文

摘要： ​ 一、写在前面 早在2017年，数栈当时没有这么多子模块，只有【离线开发+实时开发】2个部分，所以在导航设计上不存在问题，仅仅按照数据开发的通用设计逻辑即可。在2018年，增加了数据质量、数据API等几个模块，涵盖多个模块，整体的导航规划就变得很重要，搞得好的话，增加新的模块，可以继承现有的设计， 阅读全文

摘要： 一、问题背景 某日袋鼠云运维小哥进行例行运维巡检，通过监控视图发现客户应用服务器cpu使用率突然呈上升趋势。通过专属服务群第一时间与业务方联系，与业务方确认是否有正在执行的定时任务，或者大范围拉取账单等业务操作。然而仔细分析了业务日志后，确认当时业务上并没有进行会消耗大量计算资源和网络资源的操作。 阅读全文

摘要： Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。 阅读全文

摘要： ​ 本文将带领大家解析babel-plugin-import 实现按需加载的完整流程，解开业界所认可 babel 插件的面纱。 首先供上babel-plugin-import插件 一、初见萌芽 首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打 阅读全文

摘要： ​ 本文将带领大家解析babel-plugin-import 实现按需加载的完整流程，解开业界所认可 babel 插件的面纱。 首先供上babel-plugin-import插件 一、初见萌芽 首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打 阅读全文

摘要： 公交车伴随着我们的日常生活已是随处可见，不同路线的公交车根据各自的时间表有序发出，到达站点，接上站台的乘客再缓缓驶向下一站……早高峰会有短区间的加班车，发车间隔也更短，夜半时分的班次则间隔更长。这一切都服从于公交总站的调度。在大数据平台中，也会有各式各样的任务需要按照一定的时间间隔和先后顺序有序进行 阅读全文