lance-数据存储格式

数据格式的变革

lance

数据库

Catalogs 数据目录
Schema 数据库
Lance Columnar Format（Lance 格式）
计算框架
Ray、Daft、Spark 等

数据集格式

Lance : 一种数据湖格式。支持翻页预览、SQL 查询、编辑/删除数据项、全文搜索等高级功能。
Iceberg : 一种数据湖格式。支持翻页预览、SQL 查询等功能。
CSV : 以 .csv, .tsv 为后缀的文件
JSONL : 以 .jsonl, .json 为后缀的文件
Parquet : 以 .parquet 为后缀的文件
Image : 以 .png, .jpg, .jpeg, .gif, .tiff, .bmp 为后缀的文件
Audio : 以 .mp3, .wav, .flac, .ogg, .m4a, .aac, .pcm, .aiff, .aif 为后缀的文件
Video : 以 .mp4, .mkv, .avi, .mov, .webm, .h264, .h265, .hevc 为后缀的文件
Text : 以 .txt 为后缀的文件

lance

超越 Parquet：为什么数据世界需要 Lance
如何理解数据是孤岛，但很少有人意识到，专业知识也是孤岛
专业知识孤岛：人们拥有专业知识却难以跨领域共享，每个专家在自己的领域内，
专业知识看作一种私有数据格式
数据孤岛--数据格式不兼容、接口缺失、权限隔离，客观存在，容易用工具扫描发现--容易发现-痛感明显

十年

但如果你站在2025年，回头看这些系统，你大概率会说：“太慢、太重、太碎。”
十年里，我们围绕“如何处理越来越多的数据”反复搭系统、弃系统、重构系统。
数据工程分析
分析工具经历了从集中式关系型数据库到分布式大数据，再到云原生现代数据栈的四次重大变革。
01. 结构化与关系型时代（1990年代 - 2000年代中） Oracle mysql
02.大数据与分布式时代（2000年代末 - 2010年代） hdfs hive spark flink postgresql SQLite
03.云原生与数据湖仓时代（2010年代末 - 2020年代初） k8s docker s3 Lakehouse
04.现代数据栈与智能AI时代（2020年代中至今） DuckDB lance agent
大数据架构发展史
1 第一代：离线统计分析技术架构-2006
2 第二代：Lambda架构（离线+实时结合）--2011
3 第三代：Kappa架构（批流一体）--2014
4 第四代：基于MPP数据库的实时统一数仓架构---数仓增强-2017
5 第五代：基于数据湖的实时数仓架构-数据湖增强(湖仓一体)-2019
某种程度上，每一次“进化”，都是对上一代系统性的否定和继承，对当时问题的回答
Hadoop让大数据第一次“平民化” Spark SQL 推动了“数据民主化”的第一波浪潮
元数据管理与数据治理的重构：从“权限管控”到“数据可用性保障”
智能体原生化，数据系统从展示工具转向决策系统
数据闭环的三大要素：
1.数据采集与存储：从多个来源实时接入并存储不同类型的数据（结构化、半结构化、非结构化）。
2.实时处理与分析：通过智能算法对数据进行即时分析、处理，并提取洞察。
3.自动决策与反馈：基于分析结果，Data Agent主动触发行动，
如自动调整营销策略、优化库存、或改变供应链调度等，最终形成“数据→洞察→决策→行动 →反馈”的闭环。
技术：
Apache Hive（2010）：为 Hadoop 增加 SQL 能力。 Apache Spark（2010 开源）：支持内存计算，更快更灵活，逐步取代 MapReduce。
Kafka（2011）：实时数据流平台。 Apache Flink、Storm（2011）：流式计算系统。
Apache Parquet（2013）：列式存储格式，成为大数据分析的首选格式。
Airflow,2014
有数据，知道数据怎么与业务融合应用

数据工程生态系统
经历了数代文件格式的迭代，每一种格式都解决了其时代的痛点--选择性查询
parquet
lance 点查 选择性查询
有些事情已经发生了变化。悄无声息地，持续不断地，不可避免地
将向量搜索、随机访问、版本控制和多模态存储整合到一个开放的文件格式中

未来

大模型之后，数据智能的下半场拼什么 ，数据是生产资料，AI是生产工具，区块链是生产关系
01.技术跃迁，本质都是人类社会建立新秩序的过程
数据供给，
权责体系，
定义生产关系-新的“社会契约
数据平台从传统仓库走向“开放架构 + 自助分析 + 实时智能”
数据不出域-合规 数据的“指纹
一是深化“数据要素×”，
成本 --本地支持
数据--价值和信任--赚多少-花多少-减少多少

二是发力“人工智能+”
AI带来的变革是智力层面的自加速——越强，发展越快
无全局视图、无状态回溯、无收敛保证
人不需要写代码，只需要写规约。规约就是源代码领域专家定义规约，技术专家构建执行引擎
需要模糊知识推理的，交给大模型；
刚性SOP，用确定性代码。前者负责灵活，后者负责可靠。
单兵作战再强，也敌不过体系化作战
预测生成和决策控制

海带

海带、裙带菜和紫菜都属于藻类，
海带和裙带菜属于褐藻，
褐藻门 褐藻纲 海带目 海带科 糖海带属的藻类
煮海带时，放置适量的醋很有必要
裙带菜，在凉拌时加入醋的作用主要是去腥
紫菜属于红藻： 人工养殖（种植）主要为坛紫菜和条斑紫菜两种
红藻门 红藻纲 红毛菜目 红毛藻科 紫菜属藻类的统称

lance的json

01.S3地址设计

环境： dev test
年月 202605 分区使用--谓词下推 唯一标识： MIDI --区位码-学校编码等
类型-编码_年月日时分秒 DEMO_MIDI_20260520112031 流程版本：
"school" : "obs://dev/2025-10/MIDI/DEMO_MIDI_20260520112031/school_lance/v1-20160518/",
####02.lance 灵活写入（适用动态 JSON）
适用于 JSON 结构多变，或只想存储但暂不关心内部细粒度查询的场景。
这通常会将一部分结构化数据，与另一部分作为整体的 JSON 数据混合存储
从每个原始 JSON 文档中提取高频字段放入对应列，并将剩余的动态内容序列化后放入 payload 列