数栈DTinsight

摘要： 一、JavaScript 代码运行 以大家开发常用的 Chrome 浏览器或 Node 举例，我们的 JavaScript 代码是通过 V8 运行的。但 V8 是怎么执行代码的呢？当我们输入 const foo = {foo:'foo'} 时 V8 又做了什么？笔者先抛出以上问题，我们接着往下看。 阅读全文

摘要： 一、解读type 执行计划的type表示访问数据类型，有很多种访问类型。 1、system表示这一步只返回一行数据，如果这一步的执行对象是一个驱动表或者主表，那么被驱动表或者子查询只是被访问一次。 2、const 表示这个执行步骤最多只返回一行数据。const通常出现在对主键或唯一索引的等值查询中， 阅读全文

摘要： 一、扩展FlinkSQL实现流与维表的join ​ 二、为什么要扩展FlinkSQL？ 1、实时计算需要完全SQL化 SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见，但是支持SQL的实时计算并不多。其实，用SQL开发实时任务可以极大降低数据开 阅读全文

摘要： 信创产业是国家数据安全、网络安全的基础，也是“新基建”的重要内容，它将成为拉动经济发展的重要抓手之一。随着国际竞争形势发生新的变化，力争掌握核心科技的”自主可控”意识，在中国正被前所未有地唤醒，并迅速转化为产业实践。 在新基建战略指引下，信创产业向高端、高新、高价值发展，筑起了自主技术地基，为中国科 阅读全文

摘要： 使用袋鼠云数栈的某教育行业客户，在之前的信息化过程中建设了多个系统，已经意识到自身数据孤立的现状，面对TB级的数据量，需要更高效的方式进行数据治理和分析，为业务方提供高质量数据。 其实，数据治理不仅仅是教育行业用户的痛点，同样也是其他行业进行大数据平台建设和数据应用，最亟需解决的难题。 针对这一问题 阅读全文

摘要： 一、JM启动过程 1、从日志角度分析启动流程 1）client生成jobGraph 详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri 2）Yarn RM接收到请求(和yarn交互不重点分析) 3）在被分配的节点上的工作目录下启动launch_cont 阅读全文

摘要： 在“数字化”、“新基建”大潮下，信创产业迎来发展的黄金机遇期，自主信息产业快速发展。信创产业相关厂商正积极展开兼容适配工作，构建信创领域“命运共同体”，打造完善的生态体系。 目前，袋鼠云已与统信软件、麒麟软件、中科方德、华为、飞腾、ZStack、人大金仓、南大通用、达梦、龙芯等10家国内操作系统、服 阅读全文

摘要： 数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star 阅读全文

摘要： 5月20日晚19点，袋鼠云数栈技术研发团队开发工程师——吹雪，将会为大家直播分享《Flink jm、tm启动过程和资源分配》。 课程内容主要包括以下三点： 1、flink jm启动过程2、flink jm资源分配3、flink tm启动过程 通过对课程的学习，大家能了解jm和tm各自职责，并了解jm 阅读全文

摘要： ​ Part1: What is Dependency injection 依赖注入定义为组件之间依赖关系由容器在运行期决定，形象的说即由容器动态的将某个依赖关系注入到组件之中在面向对象编程中，我们经常处理的问题就是解耦，控制反转(IoC)就是常用的面向对象编程的设计原则，其中依赖注入是控制反转最常 阅读全文