金融业务产品授信准入、交易营销等环节存在广泛的风控诉求，随着业务种类增多，传统的专家规则、评分卡模型难以应付日趋复杂的风控场景。 在传统风控以专家规则系统为主流应用的语境下，规则模型的入参习惯被称为“变量”。基于专家规则的风险评估，存在规则触发阈值难量化的特点，规则命中精准度提升存在瓶颈。 随着机器 ...

CloudCanal 最近对于全周期数据流动进行了初步探索，打通了 Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。 ...

指标是什么？ 业务发展过程中，企业内外部都会产生很多的业务数据，对这些数据进行采集、计算、落库、分析后，形成的统计结果称为指标。简单来说，指标是业务被拆解、量化后形成的数量特征，企业利用数据指标对业务进行精准的号脉，实现对业务的科学管理和有效优化。 在我们对多家企业展开深入调研的过程中，发现数据指标 ...

在大数据处理领域，Apache SeaTunnel 已成为一款备受青睐的开源数据集成平台，它不仅可以基于Apache Spark和Flink，而且还有社区单独开发专属数据集成的Zeta引擎，提供了强大的数据处理能力。随着SeaTunnel Web的推出，用户界面(UI)操作变得更加友好，项目部署和管 ...

北京白鲸开源科技有限公司（以下简称“白鲸开源”）今日宣布，其旗舰产品WhaleStudio套件已与瀚高基础软件股份有限公司（以下简称“瀚高软件”）旗下的IvorySQL数据库管理系统V3.0完成深度兼容性认证。此次合作标志着两家领军企业在数据管理领域的紧密联合，为用户提供更加稳定、高效的数据处理解决 ...

非常欢迎大家来到Apache DolphinScheduler社区！随着开源技术在全球范围内的快速发展，社区的贡献者 “同仁” 一直致力于构建一个强大而活跃的开源调度系统社区，为用户提供高效、可靠的任务调度和工作流管理解决方案。 在过去的一段时间里，我们取得了一些重要的成就，但我们的愿景远未实现。为 ...

欢迎阅读袋鼠云09期产品功能更新报告。在此期报告中，我们秉持创新与优化并重的理念，对产品进行了深度打磨与全面升级。每一处细节的改进，都是我们对卓越品质的不懈追求，期待这些新功能能助力您的业务运营与发展，让数字化转型之路更加畅通无阻。 以下为袋鼠云产品功能更新报告09期内容，更多探索，请继续阅读。 离 ...

近期，Apache DolphinScheduler 社区激动地宣布 3.2.1 版本的发布。此次更新不仅着力解决了前一版本（3.2.0）中遗留的问题，而且引入了一系列的功能增强和优化措施。 原先的问题主要源于部分重要代码在发布过程中未能成功合并（cherry-pick），加之这部分代码的合并过程较 ...

前言： 大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择Apache DolphinScheduler（以下简称DS）作为调度场景的技术选型。得益于DS优秀的特性，在对数仓任务做运维和管理的时候，往往比较随意，或将所有任务节点写到一个工作流里，或将每个逻辑节 ...

背景 看到Apache DolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x 解决办法（一） 切换到项目源码的根路径中执行 mvn cl ...

转载至我的博客 https://www.infrastack.cn ，公众号：架构成长指南 背景 随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支 ...

这篇笔记咱主要记录了Hadoop执行Job时可能出现的 /bin/java: No such file or directory 以及 java.lang.reflect.InaccessibleObjectException 问题。 ...

2024年1月2日，北京白鲸开源科技有限公司（以下简称"白鲸开源"）荣幸宣布，白鲸开源旗下产品 WhaleStudio V2.4 已成功通过与麒麟软件有限公司旗下的银河麒麟高级服务器操作系统产品的兼容性测试。 麒麟软件有限公司的银河麒麟高级服务器操作系统(飞腾版)V10和银河麒麟高级服务器操作系统( ...

最新Emlog采集发布插件-免费下载及使用教程 1. 免费下载emlog采集发布插件并安装； 2. Emlog采集发布插件对接简数采集器； 3. 采集网页文章自动发布到emlog网站； ...

北京时间2024年2月20日，中国领先的开源技术公司，白鲸开源科技有限公司（以下简称"白鲸开源"）荣幸宣布，该公司获得了第六届 "年度金猿季大型主题策划活动" 颁发的 "2023大数据产业年度最具投资价值" 奖项。这一殊荣是对白鲸开源在大数据领域取得的卓越成就和突出贡献的认可。 金猿季推动产业升级 ...

目录MongoDB创建一张表用法示例资料分享系列文章clickhouse系列文章 MongoDB MongoDB 引擎是只读表引擎，允许从远程 MongoDB 集合中读取数据(SELECT查询)。引擎只支持非嵌套的数据类型。不支持 INSERT 查询。 创建一张表 CREATE TABLE [IF ...

本文是在ubuntu 22.03 系统版本上部署的，最低支持mongodb-6.0.4以上，所以这里安装mongodb7.0 1 安装mongo 安装方式有多种，本人是使用的第一种方式，时间也就20分钟吧，能接受。 1.1 方法一：使用apt安装 S1.导入 MongoDB GPG 公钥，用于验证下 ...

一、为什么要做诊断引擎 毓数平台是奇富科技公司自主研发的一站式大数据管理、开发、分析平台，覆盖大数据资产管理、数据开发及任务调度、自助分析及可视化、统一指标管理等多个数据生命周期流程，让用户使用数据的同时，挖掘数据最大的价值。而毓数平台的大数据任务调度底层是基于Apache DolphinSched ...

MySQL表引擎 MySQL引擎可以对存在远程MySQL服务器上的数据执行SELECT查询。 调用格式： MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause' ...

Starrocks扩展FileSystem代码分析 Starrocks支持使用FILES()算子对接文件系统 例如可以使用insert into files("path"="hdfs://xxx.xx.xxx.xx:9000/unload/data1", "format"="parquet", "c ...