在使用 Apache DolphinScheduler 编排任务的过程中，Shell 类型任务是最常见的任务类型之一。然而，很多用户在实际使用中都会遇到一个看似简单却常常引发问题的问题——环境变量怎么设置才有效？ 如果你也曾经因为任务执行环境不一致、找不到命令路径、引用变量失败等问题而抓狂，那么这篇 ...

各位热爱 Apache DolphinScheduler 的小伙伴们，今年 4 月份社区月报来啦！社区月报每月更新一次，欢迎关注本栏目，即时跟进项目最新进展。 本月看点：任务调度更智能，队列管理更高效！ 在本月更新中，最值得关注的是来自社区贡献者 @det101 的 [DSIP-55] 提案正 ...

Apache DolphinScheduler社区答疑Star第四期评选活动圆满完成啦！本次活动旨在表彰那些长期为社区用户提供专业解答、积极推动技术交流的社群管理员。经过社区成员的公开票选，在25个社区群中共有3位表现突出的管理员获得最多投票。让我们热烈祝贺以下获奖者（按排名顺序）： 第一名： ...

1. 管理方式 1.1. 设立伦理监督委员会 1.1.1. 设立一个道德监督委员会，由其负责制定公司希望在所有阶段遵守的伦理原则 1.1.2. 有原则的政策应该指导可能出现的伦理问题 1.1.3. 委员会成员应富有学识、肯花时间，并得到公司内部的认可 1.1.3.1. 委员会应包括来自所有利益相关者 ...

1. 伦理部署 1.1. 谁有权访问系统 1.1.1. 谁有权使用部署系统 1.1.2. 选择限制访问可能会赋权给授予访问权的人 1.2. 区别对待他人的伦理规范（基于已有的预测、诚信和监督）​，以及数据科学部署引发的非预期后果 1.2.1. 失业是关键问题之一 1.3. Waymo汽车 1.3.1 ...

1. 道德评价 1.1. 需要衡量什么？ 1.1.1. 是在什么背景下进行评估的？ 1.1.2. 使用了什么基准？ 1.1.3. 需要评估FAT标准中的每一项吗？ 1.2. 如何解释这些结果？ 1.2.1. 研究结果有意义吗？ 1.2.2. 是“p值篡改”的问题，还是做了多次对比，却没有得到妥善纠正 ...

盛夏将至 一场技术狂欢即将上演 热血开发者蓄势待发 海量议题即将引爆全场！ Community Day倒计时仅剩一周 你准备好了吗？ 参与论坛：Next下一代开发范式 时间段：13:30-17:30 聚焦改变开发者日常的革命性突破 没有晦涩的技术说教 只有前沿的实战分享 下一代开发范式，由你定义！ ...

一、思路来源 虽然guava中的eventbus已经很方便了，但是还是想要实现一个更为方便，同时支持延迟事件、同时带eventbus的组件。在Apache DolphinScheduler项目中，有一个eventbus的组件，这个组件写得挺好的，想着用在业务系统上，因此自己抽取了一下，拿到业务系统中 ...

资源管理是 Java 开发中常被忽视却至关重要的一环。本文从 SeaTunnel 案例出发，探讨 Java 中如何正确管理资源，防止资源泄漏。 SeaTunnel 中的一次修复 Apache SeaTunnel 项目中的 HiveSink 组件曾存在一个典型的资源泄漏隐患。修复前后的代码对比如下所示 ...

1. 伦理建模 1.1. 女性的隐形歧视问题 1.2. 可解释性问题，即能够解释预测结果 1.2.1. 之所以需要能够解释预测结果，是因为我们既要获得对模型的信任，又要有所感悟，还要改进模型 1.3. 可解释性方法 1.3.1. 复杂模型可解释性方法(LIME) 1.3.2. 反事实分析方法 1.3 ...

1. ε-差分隐私 1.1. 差分隐私的概念是由辛西娅·德沃克(Cynthia Dwork)提出的，是数据科学的黄金标准之一，它将隐私纳入其中 1.2. 差分隐私的目标是让社会科学家共享有用的统计数据，这些统计数据与敏感数据库有关 1.2.1. 如果不考虑隐私问题便回答，就可能会泄露私人敏感信息 1 ...

1. 再识别 1.1. 我们生活在数字化时代，行为数据记录着我们的一举一动的 1.1.1. 行为数据会带来隐私风险，主要因为有完全相同记录行为的人数极少，所以才可以进行再识别 1.1.2. 加强k-匿名会大大降低此类数据的效用，因为此类数据具有细粒度属性，因此建立在此类数据上的预测模型的精确度往往会 ...

【SQL破案系列】第一篇：如果监控摄像头拍下了很多车辆的行车轨迹，那么如何利用这些行车轨迹来分析车辆运行的特征，是不是能够分析出犯罪分子“踩点”的位置 ...

1. 伦理数据预处理 1.1. 仅仅通过去身份化措施是远远不够的 1.2. 仅仅去除信息的敏感属性并不足以消除对敏感群体（如外国学生）的偏见 1.3. 找到方法消除数据集中存在的偏见并利用生成的预测模型来避免歧视现象的出现 1.4. 对数据集采用k-匿名、l-多样性或t-贴近度法等手段以加强隐私保护 ...

1. 后门 1.1. 政府经常主张在加密标准中设置“后门”​，这样他们就能够在适当的时候（比如在获得法院命令之后）检索个人数据 1.2. “五眼情报联盟”(Five Eyes intelligence alliance) 1.2.1. 如果电信和科技公司不为执法机构和政府提供“合法获取”公民加密信息 ...

‍ 他是企业级 AIOps 专家 他是 Apache SeaTunnel 的活跃贡献者 ‍♂️ 他热爱爬山、骑行，也热衷于代码世界的每一场冒险 本期，我们邀请到来自「移动云能力中心」的倪佳晖，带你走进他与 SeaTunnel 社区之间那些真实、热血又有趣的成长故事。 GitH ...

1.升级背景 因项目需要使用数据质量模块功能，可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上，此次选择测试了3.0.1 和 3.1.1 两个版本，对进行同数据等任务调度暂停等操作测试，最后选择3.0.1 版本 原因： 3.1.1 在测试sql任务时 ，同时启动上百sq ...

1. 加密 1.1. 在数据保护的基本方法中，加密可能是最重要的一种方法 1.1.1. 加密的基本概念是指将信息进行编码，只有经过授权的人才可访问它 1.1.2. 在现代社会，这是保障个人数据安全储存和传输的重要工具 1.1.3. 信息编码被称为密码 1.1.4. 在加密中，密文仍能被还原成明文 1 ...

题目来自于某位发帖人在某 Excel 论坛的求助，他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据，自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。 ...

Apache DolphinScheduler社区答疑Star第三期评选活动圆满完成啦！本次活动旨在表彰那些长期为社区用户提供专业解答、积极推动技术交流的社群管理员。经过社区成员的公开票选，和上期一样，在25个社区群中共有2位表现突出的管理员获得最多投票。让我们热烈祝贺以下获奖者（按排名顺序）： � ...