摘要: 在天体物理学和基因组学等前沿科学领域,海量数据集的高吞吐量读取和对数据完整性问题的零容忍,是计算分析的生命线。美国自然历史博物馆(AMNH)科学计算团队基于 S3 协议兼容的开放存储网络(OSN),使用 JuiceFS 社区版构建了一套高可靠、低维护的存储系统。 本文总结了他们在约 3PB 研究数据 阅读全文
posted @ 2026-11-19 16:11 JuiceFS 阅读(134) 评论(0) 推荐(0)
摘要: 随着多模态 AI 和模型训练规模扩大,AI 数据链路需要处理的数据越来越多,类型也越来越复杂。训练任务可能只需要一部分字段,却要从大规模数据集中筛选和读取;数据分布在不同云和数据中心时,计算节点还可能因为访问延迟而等待。这带来了两个问题:怎样减少不必要的数据读取,以及怎样让需要的数据及时到达计算节点 阅读全文
posted @ 2026-11-09 16:18 JuiceFS 阅读(134) 评论(0) 推荐(0)
摘要: 当 AI 存储进入超大规模,架构会朝什么方向演进? Meta 最近发布的《Meta's AI Storage Blueprint at Scale》提供了一个难得的参考样本。Meta 运营着总规模达数百 EB 级存储集群,文章重点介绍了其面向 AI 训练的 BLOB Storage 架构。 在这一规 阅读全文
posted @ 2026-11-02 17:31 JuiceFS 阅读(109) 评论(0) 推荐(1)
摘要: HeyGen 是一家 AI 视频生成与数字人平台,用户超过 3,000 万,覆盖 196 个国家,并被 85% 的 Fortune 100 企业采用。其研发、训练和推理任务分布在全球 10 多个 GPU 集群中。随着业务规模增长,如何在不同集群间实现高效的数据共享,成为其存储架构建设中亟待解决的关键 阅读全文
posted @ 2026-10-28 16:40 JuiceFS 阅读(148) 评论(0) 推荐(1)
摘要: 当 AI 业务的数据规模从 PB 走向 EB,文件系统面对的就不再是单一的容量问题。文件数增长到千亿级,客户端从几千个扩展到几十万甚至百万个,训练吞吐持续提高,数据回收、跨云访问、多租户隔离和日常运维等压力也随之放大。这些压力最终落在元数据引擎、数据生命周期、数据路径以及客户端与控制面四条技术主线上 阅读全文
posted @ 2026-10-21 16:58 JuiceFS 阅读(41) 评论(0) 推荐(0)
摘要: 规模决定架构。当容量来到 EB 级、文件数以千亿计、几十万客户端接入,每周有 200PB 数据新增和删除时,开源文件系统的每一个“单点假设”都会被击穿。地平线 AIDI(智能驾驶研发数据平台)同时使用 JuiceFS 社区版与企业版承载 EB 级数据;本文将聚焦 JuiceFS 社区版的实践,分享我 阅读全文
posted @ 2026-10-13 15:26 JuiceFS 阅读(326) 评论(1) 推荐(2)
摘要: 继 JuiceFS 企业版 v5.3 支撑千亿文件规模之后,v5.4 进一步在超大规模场景下提升多项能力。千亿文件规模下,单次操作的细小开销也会累积成显著的资源负担,元数据分区部署后需要协调不同节点,兼顾性能、数据一致性与稳定性。围绕这些问题,v5.4 版本包含下面多项新功能和改进: 百万客户端同时 阅读全文
posted @ 2026-09-29 10:43 JuiceFS 阅读(234) 评论(0) 推荐(0)
摘要: 卓驭起步于 2016 年,致力于成为国际一流的移动物理 AI 公司。依托独有的原生多模态基础模型和生成式 AI 技术,打造可高效适配多场景的统一移动智能技术底座,不仅为车企提供开放、可定制、量产导向的智能辅助驾驶(涵盖 L2 及以上)解决方案,更致力于为不同场景下的自主移动机器人提供底层技术,实现从 阅读全文
posted @ 2026-09-16 18:02 JuiceFS 阅读(176) 评论(1) 推荐(0)
摘要: 过去一段时间,我们在和云厂商以及 Agent 团队推进 Sandbox 落地时,除了要解决数据如何进入 Sandbox,还需要考虑任务所需的数据和执行过程中产生的数据,如何跨任务、跨阶段持续使用。Sandbox 可以随任务快速创建和销毁,但数据往往需要继续保留、共享和流转。 当 Sandbox 并发 阅读全文
posted @ 2026-09-02 17:11 JuiceFS 阅读(173) 评论(0) 推荐(0)
摘要: 不同应用访问数据的方式并不相同:有的依赖 POSIX 文件接口,有的基于 S3 API 构建,也有用户希望通过文件管理器浏览和编辑远程文件。JuiceFS 的多协议访问能力,正是为了让这些工具能够访问同一套文件系统。 本文会先说明 S3 Gateway 与 WebDAV 共享的初始化链路,再说明二者 阅读全文
posted @ 2026-08-28 12:53 JuiceFS 阅读(169) 评论(0) 推荐(0)