数据
FAIR原则是科学数据管理的指导原则，
强调数据的
可查找（Findable）、
可访问（Accessible）、
可互操作（Interoperable）
可重用（Reusable
数据处理方式
适配方式--开发标准数据的处理工具，以及将各种非标准的数据转换成标准数据的接口
开发的标准数据格式的可拓展性。易用
数据工具链的丰富性和完整性
功能的情况
化归-转换-化归是数学发现和解题的核心策略
把未知的问题转化为已知的问题;把待解决的问题归结为已解决的问题,从而解决问题
边界条件--极大值和极小值 极限+最优化
极限与逼近思想--控制变量法（思考，将某个变量极值化考虑问题）
核心实验方法--随机对照双盲实验
BI的仪表盘和驾驶室的仪表盘不一样
该提出哪些问题-业务意图层-没人问对问题，因为没人知道那是对的问题。
去哪里寻找，寻找什么？ 在哪里（以及如何）寻找答案， 改进都集中在“我该如何回答这个问题？
以及这些答案如何与期望的业务结果相关联
BI仪表盘是某人在特定时间点提出的问题的答案，被冻结在图表中
定义一次意图，然后让系统观察并主动揭示重要内容，无需被询问。
数据团队
现代数据栈
01.确保你的数据处于中立、开放的状态，任何计算引擎都能访问。
02.
03.提供数据服务还是发布数据产品 通过解决具体的业务问题来建立信任
04.构建上下文库-语义层-记录，记录，再记录
05.从“发生了什么？”到“现在怎么办？”--反馈循环的设计
全栈数据思维
向上游（治理 向下游移动（激活）
如果你坚持“我们一直以来的做法”——坚持完美的周期和严格的结构，而业务却以人工智能的速度发展——你将被绕过
ETL 是功能还是成本
数据基础设施
--> 1.0 现代化的前提就是重建 --替换问题-重构式替换
--> 2.0 最低风险的升级路径-存量演进--是一个典型的组织工程问题-渐进式演进
企业数据平台升级理解为一个演进问题，而不是一个替换问题
旁路接入-双发验证-灰度切流-快速回滚 -- 更贴近企业真实的升级约束
--> 数据存储、数据管理、资源管理和AI工具链
数据新的两重属性，即资源要素属性与价值加工属性
价值依赖于使用场景-世界数据组织（WDO）
升级数据基础设施 BI --> AI 数联网的技术思路是沿用Web的思路，实现数据集合的定位发现、交换调度、互操作访.是否有必要
单机 DuckDB + Parquet + 对象存储
01. Duckdb-- The substitute of small-scale spark
嵌入式-零运维模式
duckdb-safety： 实际生产： read_only=True ,禁止使用load扩展，限制文件系统访问，配置网络白名单
ducklake ：
Iceberg/Delta 的冷元数据读取需要列出并解析 S3 上的文件 没有小元数据文件问题
端到端架构
02. "存什么"，而是"怎么存"的问题
Variant 是 Parquet 的一种原生逻辑类型，专门为半结构化数据设计。是一种自描述的二进制编码格式
编码
optional group event_data (VARIANT(1)):
required binary metadata → 字段名字典 + 类型信息（不重复存储）
required binary value → 实际数据（通过偏移量导航）
分片存储 Shredding（分片存储）
子列列式提取（Subcolumnization
03.将数据从源系统转化为可供分析的形式
传统数据工程工作流--人 管理数据环境
重量级的、静态的
AI-agent pipeline
智能体创建的数据管道——智能体更倾向于主动尝试、同时探索多种方案，并为一次性任务临时创建数据管道
自动创建、调度和管理数据接入管道 Flights
工业时代的思维--AI全面冲击人类职场
钉钉： 老板和项目的管理工具 --极值效率和极致掌控力
已读不回--Ding的功能--量化考核
企微： 和一线顾客接触的需求--他们掏钱
飞书： 主打C端功能和团队协作
AI-- 24小时无休，零情绪-绝对服从-高稳定性--AI重构世界--执行力
文化到逻辑，逻辑到产品化 逻辑的产品化
AI时代
工具的专业壁垒被击穿，从“工具奴役”到“目标导向”
冷兵器时代
指挥模式
热兵器时代
智兵器时代
概念
冷兵器时代：
01.手动开发fastapi服务
互联网时代：功能是点，工具是线，服务是面，产品是体，平台是宇宙
tools API UI product platform
02.利用大模型进行开发fastapi服务，或者agent开发fastapi服务
核心还是API服务-方式还是用旧时代的锤子砸新问题的钉子
03.agent和大模型直接提供服务
agent LLM (intent intention purpose )--Skills 和 agent 以及大模型
热兵器时代
01.agent利用大模型--分析和处理非结构化数据
02.集群和边缘智能
你为了节省成本而放弃了什么
The catch is what you give up to get the savings
— and whether the savings survive contact with a real, shared, always-on production workload.
版本管理工具
0.过往的版本管理
1.传统的版本管理工具： ClearCase Subversion Bitbucket
使用Git或SVN等开源的版本管理工具
分布式版本管理工具（如Git）--管理代码
纯文本、文件多但体积小、并发贡献者多但改动分散
Perforce（1995）
2.协作
跨时区团队的协作 跨公司的协作 是跨职能开发中
分布式开发挑战
3.CI/CD工具
Jenkins TeamCity GitLab
制品库 集成：与Artifactory、Nexus等制品库集成
项目管理 集成：与Jira、Trello等项目管理工具集成，
物料：
code and data
code： 文本文件-
现在-涉及大量二进制文件的管理。 与文本文件不同，二进制文件是无法进行合并操作的
独占锁”（Exclusive Lock）功能
data： 结构化数据
现在-非结构化数据
海量文件的存储和传输需求
企业： 精细化的权限管理 使用门槛 可视化界面与 Git 存储库进行交互
数据科学家 和游戏设计工程师-Perforce（Helix Core）Perforce则在大文件处理领域
游戏开发是包含多个模块或组件（游戏引擎、用户界面、静态艺术、视频渲染等）的软件项目的典型示例
StarRocks 是一款开源的新一代极速全场景MPP数据库
Hacker News
Lore 不是来替代 Git 的。它是来替代 Perforce 的。Rust 做核心引擎，多语言 SDK 覆盖主流生态
架构设计
二进制diff
Git LFS 是 Git 的大文件存储扩展工具
数据层面- 数据治理：追踪数据变更链 = 版本控制与历史回溯功能
某一个精确时间点的数据库活动的完整视图-时间旅行
结果的确定性--数据的时效性--开发的便利性
快照管理（Snapshot Management） 快照（Snapshot）：数据的"时间切片
时间旅行（Time Travel ： 基于快照的历史查询-按时间戳查询+按快照ID查询
动态分区（Dynamic Partitioning） ACID事务
数据湖--Time Travel(时间旅行)--快照-其核心思想是： 数据不可变 + 版本元数据管理
数据的 append + 版本元数据管理 = 追加写入+元数据记录版本信息
错误恢复与回滚-数据审计与合规-- 快照技术（Snapshot）或增量备份（Delta Change）
https://github.com/EpicGames/lore/releases/tag/v0.8.3
迁移
移动数据的问题分为两部分：
如何从 Perforce 提取数据，以及如何将其转换为一组等效的 Git 存储库。
总结
01.元数据指针方案（Data Version Control, 简称 DVC）
“代码-数据”协同追溯：
Git 仓库中仅保留一份映射元数据的小文件（如 .dvc 文本文件）。通过哈希值（Checksum）来绑定特定的数据版本
代表工具： ：DVC (Data Version Control)、Git LFS
02.底层对象存储级别的“Git化”引擎（Data-Centric Versioning）
代表工具：lakeFS lanceDB
03 企业内容管理与数据中台
代表工具：云端协同：坚果云（自动增量同步与版本管理）、Dropbox
非结构化数据安全协作平台
编排工具
数据团队需要利用AI构建哪些内容，才能使自我修复的数据架构成为切实可行的现实
高绩效团队
工作方式
卓越团队协作 成功团队
01.封闭式团队工作：
信息或丢失或隐藏，团队间和团队成员间的联系非常薄弱，大家都隐藏着自己的观点
信息囤积-日常信息传递路径，识别 “单点信息枢纽”
人：沟通不主动、能力不匹配；
流程：分工不合理、依赖混乱；
工具：信息不同步、缺少统一载体；
文化：不愿共享、不敢提出异议。
应对变更
不成熟团队：口头临时改需求，无记录、无评估，引发大量协作冲突
无统一变更通知渠道、变更只同步部分人员、无变更记录文档
02.开放式团队工作
01. 使用目标和关键成果 (OKR) 目标设定框架来定义目标、确定关键成果，并加快实现组织和团队目标的进度
02.组织分配和处理 -明确谁负责、谁审批、谁咨询、谁知情
D = 推动者
A = 批准者
C = 贡献者 有发言权，但没有投票权
I = 知情者 没有投票权，也没有发言权，但有知情权
03.优先级-轻重缓急
项目都需权衡关键要素，例如成本或范围的取舍。定义并确定它们的优先顺序，以优化资源配置，确保重要目标达成
04.规划工具
多轮讨论逐步完善的动态文档
Respect （尊重） —— 增进文化理解与尊重
Relationships（关系） —— 建立与强化与原住民利益相关者的互利关系
Opportunities（机会）
05.团队建设--团建-与团队成员建立联系、增进关系、建立信任，团队成员建立有意义的关系
试回顾每个人过去一年中最有意义的记忆。 最值情况-边界情况，极简边界
说出十件事
将信息转化为影响力
设定清晰的目标，并与公司目标对齐；将目标转化为具体任务；所有工作和学习都在一个协作、连接的协作空间内完成
Align work to goals（对齐工作与目标
Plan and track work, together（共同规划和跟踪工作）
Unleash collective knowledge（释放集体知识）
参考案例
项目简报（brief）明确问题、影响、参与者、沟通渠道 明确负责人和“完成”定义，梳理任务依赖关系
评审进度，定期进行“事前推演” 和“事后复盘” ，建立领导支持通道。
假设问题会发生，提前设计防错机制
假设目标实现，提前设计一些可能的路径
行动前识别潜在风险、盲点和脆弱环节
高效协作的核心是人、文化与工作机制，而非数字化工具。
Collaboration can’t be bought. It has to be part of the company culture
配套组织文化与线下行为习惯
配套工作机制 提出观点、提出反对意见本身会让员工产生脆弱感，只有心理安全才能驱动主动协作
协作的底层要素：信任、尊重不同意见、平等倾听、思维多元、心理安全感
痛点：信息分散、沟通低效、重复劳动是当前团队的最大障碍
团队的发展
任务类型： 标准化流水线任务 独立创意型任务 复杂协同项目 紧急攻坚任务
人员构成：角色结构 能力分层 协作特质 协作意愿低
盘点资源：沟通工具 任务协作工具 文档知识工具 线下资源
调配： 临时调配 组织层面调整 长期建设
变更规模：变更传导链路 变更协作成本测算 变更管控机制
参考
https://github.com/EpicGames/lore
https://www.atlassian.com/zh/git/tutorials/resetting-checking-out-and-reverting
浙公网安备 33010602011771号