数栈DTinsight

摘要： 4月20日晚19点30分，袋鼠云数栈技术研发团队开发工程师——莫问，将会为大家直播分享《Flink提交流程&如何debug和跟踪流程（on yarn）》。 课程内容主要包括以下三点： 1、Flink任务部署模式介绍2、FlinkStreamSQL任务提交流程讲解3、如何debug FlinkStre 阅读全文

摘要： 一、客户背景 客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。 部分监控如下图： 1、 集群架构如下： ​ 集群节点配置：8数据节点（16C64G）；3主节点（8C 阅读全文

摘要： 本文整理自：袋鼠云技术荟 | 某客户生产服务器CPU负载异常处理 一、问题背景 一天下午，大家都在忙着各自的事情，突然小组人员都同时收到了短信提醒，以为是公司发奖金了，很是开心，咋一看“某某客户服务器cpu使用率100%，请及时处理！”原来是告警短信，同时看到钉钉群里发出了大量的告警信息…… 二、故 阅读全文

摘要： 数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文

摘要： 本文整理自：技术干货丨谷歌插件开发探索及其应用 数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，记得给我们点个star！star！star！ gitee开源项目：https://gitee.com/dtstack_dev_0/flinkx gi 阅读全文

摘要： 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等，是全域、异构、批流一体的数据同 阅读全文

摘要： 本文整理自：浅谈云原生系统日志收集在数栈的实践 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！ https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数 阅读全文

摘要： 本文整理自：袋鼠云技术荟 | 数据安全(1)：混合云环境数据库备份容灾实现 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！ https://github.com/DTStack/flinkx FlinkX是一个 阅读全文

摘要： 本文整理自：袋鼠云技术荟 | SQL优化案例(2)：OR条件优化 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如My 阅读全文

摘要： ​ 一、写在前面 早在2017年，数栈当时没有这么多子模块，只有【离线开发+实时开发】2个部分，所以在导航设计上不存在问题，仅仅按照数据开发的通用设计逻辑即可。在2018年，增加了数据质量、数据API等几个模块，涵盖多个模块，整体的导航规划就变得很重要，搞得好的话，增加新的模块，可以继承现有的设计， 阅读全文