一、海豚调度介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用 ...

什么是大数据 大数据（Big Data）是指在传统数据处理方法难以处理的情况下，需要新的处理模式来具有更强的决策力、洞察发现力和过程优化能力的海量、高增长率和多样化的信息资产。大数据的特征通常被概括为“4V”，即： Volume（容量）：大数据的规模非常庞大，通常以 TB（太字节）、PB（拍字节）或 ...

当前随着企业内外部数据源的不断扩展和积累，数据呈现出大规模、多样化、质量参差不齐等显著特征。如何有效激活这些结构复杂且类型多样的数据资产，挖掘其深层价值，已成为众多企业亟待解决的实际挑战。 袋鼠云数栈作为新一代一站式大数据基础软件，其核心优势在于不仅提供了快速便捷、易于上手的底层数据开发模块，更推出 ...

简介 CloudCanal 推出 跨互联网安全数据同步 方案之后，有一些商业客户落地，效果良好，不过客户也反馈了一些改进和新需求，其中最大的一个需求即双向同步防循环。 近期 CloudCanal 版本支持了这个特性，整体方案进一步升级，最大特点包括: 两端数据库完全不开放公网端口 两端数据库可双向同 ...

本文介绍了如何在Python / pyspark环境中使用graphx进行图计算。通过结合Python / pyspark和graphx，可以轻松进行图分析和处理。首先需要安装Spark和pyspark包，然后配置环境变量。接着介绍了GraphFrames的安装和使用，包括创建图数据结构、计算节点的... ...

概述 Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供 ...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着LLM技术应用及落地，数据库需要提高向量分析以及AI支持能力，向量数据库及向量检索等能力“异军突起”，迎来业界持续不断关注。简单来说，向量检索技术以及向量数据库能为 LLM 提供外置的记忆单元，通过提供与问题及 ...

纵观2023年中国数据行业发展与2024年数据产业趋势，就不得不提到2023年全年国家全年强调的数据要素的概念以及在2023年12月中国国家数据局等17个部门联合印发了《“数据要素×”三年行动计划（2024—2026年）》。 从2020年-2023年政策发展脉络来看，政府整体思路上让数据要素成为企业 ...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 新年伊始，我们想在这里感谢一群 ByConity 社区的小伙伴们。 正是因为有社区的开发者的支持，截止到 2023 年底，ByConity GitHub 获得 1409 Star，595 pull request， ...

目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享系列文章clickhouse系列文章 Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性： 发布或者订阅数据流。 容错存储机制。 处理流数据。 老版Kafka集成表引擎参数格式： Kafka(kafka_ ...

作者：櫰木 环境准备 本次使用到的二进制软件包目录为：系统初始化前提是操作系统已完成安装、各个主机之间网络互通，系统常用命令已安装，本默认这些前提条件已具备，不在阐述。 1 主机环境初始化 安装centos系统完成后需要对主机进行初始化配置和验证工作，在所有主机上（hd1.dtstack.com-h ...

摘要 随着任务数量、任务类型需求不断增长，对我们的数据开发平台提出了更高的要求。本文主要分享我们将调度引擎升级到 Apache DolphinScheduler 的实践经验，以及对数据开发平台的一些思考。 1. 背景 首先介绍下我们的大数据平台架构： 数据计算层承接了全公司的数据开发需求，负责运行各 ...

如果要评一个2023科技圈的热搜榜，那么以人工智能聊天机器人 ChatGPT 为代表的 AI大模型 绝对会霸榜整个2023。 ChatGPT 于2022年11月30日发布。产品发布5日，注册用户数就超过100万。推出仅两个月后，它在2023年1月末的月活用户已经突破了1亿，成为史上用户增长速度最快的 ...

作者：櫰木 本次集群规划信息 本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。 主机操作系统要求 软件信息 参数 配置 8C16G 操作系统版本 CentOS Linux release 7.8.2003 (Core) java版本 java ve ...

大家好，我是独孤风。 又到了本周的开源项目推荐。最近推荐的元数据管理项目很多，但是很多元数据管理平台的功能复杂难用。 那么有没有轻量一点的元数据管理项目呢？ 今天为大家推荐的开源项目，就是一个轻量级的元数据管理工具。虽然轻量，但是元数据的收集、展示、数据血缘等功能都是支持的。 让我们一起来看看吧~ ...

在使用海豚调度器创建sqlserver的数据源头时出现连接失败，去服务器那边的api-server/logs下面查看报错信息 报错信息： [ERROR] 2024-01-09 04:11:54.907 -0800 org.apache.dolphinscheduler.plugin.datasour ...

实时统计，也可以理解为流式计算，一个输入流，一个输出流，源源不断。 Kafka Stream Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点 Kafka Str ...

1 什么是数字化资产 维克托·迈尔·舍恩伯格在《大数据时代》中提到：“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。”数据资源将和土地、人力、资金等生产要素一样，成为企业的资产。业界对于数据资产的定义是企业或组织拥有或控制的，能在未来带来经济利益的数据资源。 数字化资产是指由企业拥有或 ...

大家好，我是独孤风。元数据管理平台层出不穷，但目前主流的还是Atlas、Datahub、Openmetadata三家，那么我们该如何选择呢？ 本文就带大家对比一下。要了解元数据管理平台，先要从架构说起。 元数据管理的架构与开源方案 下面介绍元数据管理的架构实现，不同的架构都对应了不同的开源实现。 下 ...

DolphinDB 是一款高性能时序数据库。DolphinDB 集成了功能强大的编程语言和高容量高速度的批流一体数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、计算及分析提供一站式解决方案。在实际生产环境中，经常存在数据导入、转换、查询计算，更新等一系列流程任务，各个部分之间存在依赖 ...