04 2021 档案

数栈产品分享：简析数据中台如何通过DataAPI实现数据共享
摘要：数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文
posted @ 2021-04-29 17:57 袋鼠云数栈 阅读(749) 评论(0) 推荐(0)
数栈产品分享：Kafka—实时离不开的那个TA
摘要：一、前言 随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。 二、消息队列：数据流的归宿 在实时开发的场景中，来 阅读全文
posted @ 2021-04-28 15:35 袋鼠云数栈 阅读(112) 评论(0) 推荐(0)
数栈运维实例：Oracle数据库运维场景下，智能运维如何落地生根？
摘要：从马车到汽车是为了提升运输效率，而随着时代的发展，如今我们又希望用自动驾驶把驾驶员从开车这项体力劳动中解放出来，增加运行效率，同时也可减少交通事故发生率，这也是企业对于智能运维的诉求。 从人工运维到自动化运维是为了减少人力成本，降低操作风险，提高运维效率，但自动化运维的本质依然是人与自动化工具相结合 阅读全文
posted @ 2021-04-27 17:06 袋鼠云数栈 阅读(437) 评论(0) 推荐(0)
数栈产品分享：基于StreamWorks构建实时大数据处理平台
摘要：数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文
posted @ 2021-04-26 18:22 袋鼠云数栈 阅读(652) 评论(0) 推荐(0)
数栈运维案例：云上RAC部署、运维及实践案例
摘要：数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文
posted @ 2021-04-25 11:50 袋鼠云数栈 阅读(352) 评论(0) 推荐(0)
ArchSummit2021年全球架构师峰会将于4月25号-26号在上海举办，袋鼠云数栈技术专家受邀分享
摘要：一、大会介绍 ArchSummit全球架构师峰会是极客邦科技旗下InfoQ中国团队推出的重点面向高端技术管理者、架构师的技术会议，54%参会者拥有8年以上工作经验。会议聚焦业界强大的技术成果，秉承“实践第一、案例为主”的原则，展示先进技术在行业中的典型实践，以及技术在企业转型、发展中的推动作用。旨在 阅读全文
posted @ 2021-04-22 18:22 袋鼠云数栈 阅读(439) 评论(0) 推荐(0)
浅谈数据开发神器——数栈离线开发平台（BatchWorks）
摘要：数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文
posted @ 2021-04-21 14:45 袋鼠云数栈 阅读(1864) 评论(0) 推荐(0)
直播预告丨《Flink提交流程&如何debug和跟踪流程（on yarn）》
摘要：4月20日晚19点30分，袋鼠云数栈技术研发团队开发工程师——莫问，将会为大家直播分享《Flink提交流程&如何debug和跟踪流程（on yarn）》。 课程内容主要包括以下三点： 1、Flink任务部署模式介绍2、FlinkStreamSQL任务提交流程讲解3、如何debug FlinkStre 阅读全文
posted @ 2021-04-20 10:05 袋鼠云数栈 阅读(94) 评论(0) 推荐(0)
数栈优化案例：物流客户Elasticsearch集群性能优化
摘要：一、客户背景 客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。 部分监控如下图： 1、 集群架构如下： ​ 集群节点配置：8数据节点（16C64G）；3主节点（8C 阅读全文
posted @ 2021-04-19 16:21 袋鼠云数栈 阅读(278) 评论(0) 推荐(0)
数栈运维案例：客户生产服务器CPU负载异常处理
摘要：本文整理自：袋鼠云技术荟 | 某客户生产服务器CPU负载异常处理 一、问题背景 一天下午，大家都在忙着各自的事情，突然小组人员都同时收到了短信提醒，以为是公司发奖金了，很是开心，咋一看“某某客户服务器cpu使用率100%，请及时处理！”原来是告警短信，同时看到钉钉群里发出了大量的告警信息…… 二、故 阅读全文
posted @ 2021-04-16 11:33 袋鼠云数栈 阅读(247) 评论(0) 推荐(0)
数栈SQL优化案例：隐式转换
摘要：数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文
posted @ 2021-04-15 13:46 袋鼠云数栈 阅读(197) 评论(0) 推荐(0)
数栈技术干货：从0到1实现谷歌插件开发探索及应用
摘要：本文整理自：技术干货丨谷歌插件开发探索及其应用 数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，记得给我们点个star！star！star！ gitee开源项目：https://gitee.com/dtstack_dev_0/flinkx gi 阅读全文
posted @ 2021-04-14 18:25 袋鼠云数栈 阅读(363) 评论(0) 推荐(1)
好消息！数栈FlinkX技术团队将FlinkX开源项目同步推送到Gitee啦！
摘要：数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等，是全域、异构、批流一体的数据同 阅读全文
posted @ 2021-04-12 19:20 袋鼠云数栈 阅读(171) 评论(0) 推荐(0)
浅谈云原生系统日志收集在数栈的实践
摘要：本文整理自：浅谈云原生系统日志收集在数栈的实践 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！ https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数 阅读全文
posted @ 2021-04-09 14:23 袋鼠云数栈 阅读(237) 评论(0) 推荐(0)
数栈数据安全案例：混合云环境数据库备份容灾实现
摘要：本文整理自：袋鼠云技术荟 | 数据安全(1)：混合云环境数据库备份容灾实现 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！ https://github.com/DTStack/flinkx FlinkX是一个 阅读全文
posted @ 2021-04-08 17:46 袋鼠云数栈 阅读(147) 评论(0) 推荐(0)
数栈SQL优化案例：OR条件优化
摘要：本文整理自：袋鼠云技术荟 | SQL优化案例(2)：OR条件优化 数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如My 阅读全文
posted @ 2021-04-07 10:24 袋鼠云数栈 阅读(289) 评论(0) 推荐(0)
绝密文件公开！首次揭秘数栈导航设计方案
摘要：​ 一、写在前面 早在2017年，数栈当时没有这么多子模块，只有【离线开发+实时开发】2个部分，所以在导航设计上不存在问题，仅仅按照数据开发的通用设计逻辑即可。在2018年，增加了数据质量、数据API等几个模块，涵盖多个模块，整体的导航规划就变得很重要，搞得好的话，增加新的模块，可以继承现有的设计， 阅读全文
posted @ 2021-04-06 11:01 袋鼠云数栈 阅读(284) 评论(0) 推荐(0)
数栈云MSP运维服务案例：某客户生产服务器CPU异常抖动
摘要：一、问题背景 某日袋鼠云运维小哥进行例行运维巡检，通过监控视图发现客户应用服务器cpu使用率突然呈上升趋势。通过专属服务群第一时间与业务方联系，与业务方确认是否有正在执行的定时任务，或者大范围拉取账单等业务操作。然而仔细分析了业务日志后，确认当时业务上并没有进行会消耗大量计算资源和网络资源的操作。 阅读全文
posted @ 2021-04-02 14:29 袋鼠云数栈 阅读(250) 评论(0) 推荐(0)
数栈大数据组件：Hive优化之配置参数的优化
摘要：Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。 阅读全文
posted @ 2021-04-01 10:40 袋鼠云数栈 阅读(221) 评论(0) 推荐(0)