数据的不同层面的理解

1.概念的层次

顺序--选择--循环
路由--交互-分发-并行-

存储-计算-管理
记忆-加载-检索--反思-规划

生产-分发-消费-定制
支配-调控
生产--流通-消费--注入

数据孤岛和业务孤岛

”数据孤岛”是不是一个客观规律，如果是，如何减少其影响，如果不是，如何打破或者消除以促进业务的进行？
有没有业务孤岛，业务孤岛为什么没被这么提起？
单一数据真相源 （Single Source of Truth
打通业务链条 是企业实现企业存活的关键--业务孤岛--为什么没有说业务孤单的情况
打通业务数据链条是企业实现业务创新的关键
规范驱动开发（Specification-Driven Development，简称SDD）是一种以“规范（Specification）”为核心驱动力的软件开发方法。
其核心思想是：在编写任何代码之前，先编写一份结构化的规范文档（Spec），
规范成为人类开发者与AI共同的“唯一事实来源（Single Source of Truth）”，代码是规范的最终实现产物

001.数据垄断和数据平权--庶民的胜利
循环系统的更迭和校正
002.钱和金融--数据和数据生产
循环系统的
静态存量 vs 动态配置。--价值载体 vs 价值放大--交易媒介 vs 资源配置机制--面临的挑战
跨时空配置资本
金融的起源--货币+债务 = 资金管理、货币事务的科学
国王的债务-赎金 货币化 土地、劳动力等资源被-税收 货币化--信用货币化--自我服务、自我循环的独立体系
金钱融通
数通 = 数据管理、数据事务的科学
要成为一个与金融并列、相互作用的新型动力系统
003.岗位的决策密度
信任门槛--在不在乎谁做？
决策密度-- 需不需要人判断--是否有明确的规则边界
智能门槛-- 专有数据+微调模型+兴业konw-how
监管力度-- 取得限制类牌照-证书等
流程本身是产品-产品本身是流程
按结果定价而不是按照成本定价-自动化率随着收入增长而上升
004.个人
追剧--学习--时政
追剧--用他人的生活来填充自己生活的空白，用精心编排的情节来掩盖日常的琐碎和平庸--算法和编剧共同构建的虚拟世界
学习--知识囤积--用学习的姿态对抗存在的虚无，用知识的数量来证明自己的价值
时政--用宏达的叙事来逃避具体的责任，在信息的洪流中随波逐流，而这些情感没有落脚点，没有转化成具体的行动-精神上的参与感
不要让精神独自承担整个世界总量
流汗--流泪--流血
劳动和运动-- 身体对世界的主动介入
流泪--真情投入-不回避--我在场-我感受
流血--不怕-我愿意
窗外的风声雨声和身边人的呼吸和体温

原始素材 + 记忆系统
存储策略： 核心不是向量数据库，而是"写入-检索-注入"闭环，Markdown 是对的——人类可读、可编辑、可 git 追踪、无供应商锁定
记忆策略： 借鉴认知科学的记忆分层（工作记忆 → 短期记忆 → 长期记忆），设计三层存储 ： 晋升机制 和淘汰策略

duckdb

大部分工程师第一次发现……duckdb是因为……
然而 最大的转变并不是……，而是改变了人们对数据分析的看法
传统的数据分析流程是Traditional Analytics Workflow…… 移动-基础设施-等待

记忆Memory

分层记忆模型（Hierarchical Memory Model）--时空分类
工作记忆 session
短期记忆 的目的是快速恢复最近会话的上下文 SessionMemoryCache
长期记忆

基础记忆和高阶记忆： 记忆的构成基础

记忆整合--trigger
time_threshold
session_count
触发条件1:时间门槛 触发条件2:会话计数门槛 触发条件3:显式锁定(用户或系统主动触发)
阶段
阶段1:Orient - 分析会话目标和上下文
阶段2:Gather - 从对话历史提取关键信息
阶段3:Consolidate - 合并到长期记忆,避免冗余-- 晋升机制
阶段4:Prune - 删除过期或低价值的信息 -- 淘汰策略
淘汰策略
策略2:删除重复或相似的用户偏好
策略3:删除与当前工作无关的信息
记忆写入
Markdown Frontmatter 结构，将元数据与内容分离
用户档案 对话历史
项目信息 参考资料
系统状态
缓存--渐进-优先级

检索-Retrieval

Dense 稠密 语义向量检索（Dense Retrieval）
sparse/BM25 retrieval--关键词检索
稀疏向量检索(Sparse Retrieval) 稀疏向量检索,又称为Sparse Retrieval,是基于传统信息检索模型的方法。
BM25(Best Match 25) BM25是一种广泛使用的概率检索模型,特别擅长于处理依赖具体短语的任务
BM25是基于TF-IDF发展而来的，把查询关键字和文档都转换成 “向量”。 “向量空间模型” (Vector Space Model, VSM)
V 维度。这里的 V 是整个词汇表 (Vocabulary) 的总长度
文档长度归一化+ 常见(TF词频)和罕见(IDF 逆文档频率)

提取词语
def tokenizer(text: str):
return [word for word in jieba.cut(text)]

参考

https://github.com/AgentCombo/Mandol/blob/main/src/mandol/retrieval/bm25.py