JuiceFS

摘要： 在业界有“多模态卷王”之称的阶跃星辰，自研的 22 款基础模型中有 16 款为多模态模型，覆盖文字、语音、图像、视频、音乐与推理等多个方向。为支撑多模态模型的研发与落地，团队在基础设施层需覆盖从数据生成、清洗，到模型预训练、后训练、推理部署的完整链路，对存储系统在数据吞吐、访问延迟与读写效率等方面提 阅读全文

摘要： 合合信息是一家专注于智能文字识别、图像处理、自然语言处理、知识图谱与大数据挖掘的科技公司，依托自主研发的 AI 与大数据技术，已在上交所科创板上市。公司主要 C 端产品包括扫描全能王、名片全能王和启信宝。 随着 AI 训练平台规模持续扩展，公司积累了千亿级文件和百 PB 级数据，覆盖 NLP、CV 阅读全文

摘要： JuiceFS 社区版 v1.3 今日正式发布，是自 2021 年开源以来的第四个重要版本。四年多的开源历程中，JuiceFS 在 GitHub 上已获得超 11.8K star，数据用量超过 800 PiB，并在企业的生产环境中得到了长时间的验证，核心功能逐步趋于稳定。 JuiceFS v1.3 阅读全文

摘要： 在 AI 模型训练、高性能计算等对 I/O 敏感的场景中，底层文件系统的架构和性能将直接影响训练效率、资源利用率与整体成本。 Lustre 作为传统高性能文件系统，以极致性能著称；而 JuiceFS 则以云原生设计和对象存储集成为核心，提供更高的部署灵活性与经济性。为了帮助用户深入理解这两类系统在架 阅读全文

摘要： 在多用户和高安全性要求的系统中，文件与目录权限控制是实现资源隔离与系统安全的基础机制。Linux 操作系统的文件权限模型提供了灵活强大的权限控制机制，通过对用户、组和其他用户的权限设置，确保系统资源的安全性和合规性。 作为一款支持 Linux 系统的分布式文件系统，JuiceFS 需要与 Linux 阅读全文

摘要： 在大数据场景中，文件系统和应用组件的权限管理至关重要。在最新发布的 JuiceFS 社区版 v1.3-Beta 2 中，JuiceFS 引入了与 Apache Ranger 的集成，提供了更为灵活和细粒度的权限控制解决方案。 本文将介绍 JuiceFS 社区版如何与 Apache Ranger 进行 阅读全文

摘要： JuiceFS 企业版 5.2 版本近日发布，文件管理规模迈入千亿级。此次升级重点提升了超大规模集群的稳定性，优化了分布式缓存的网络性能，并增强了系统的易用性与安全性，旨在支持高并发访问等复杂的高性能应用场景。 JuiceFS 企业版专为高性能场景设计，自 2019 年起开始应用于机器学习领域，现已 阅读全文

摘要： 在最新发布的 JuiceFS v1.3 Beta1 版本中，我们引入了一种全新的二进制备份机制，旨在更高效地应对亿级文件规模下的备份与迁移场景。相比现有的 JSON 备份方式，该机制在导入导出元数据时不仅大幅提升了处理速度，还显著降低了内存占用。 01 JSON 备份机制回顾 JuiceFS 自 v 阅读全文

摘要： 中科院计算所在建设大模型训练与推理平台过程中，模型规模与数据集数量呈爆发式增长。最初采用简单的裸机存储方案，但很快面临数据孤岛、重复冗余、管理混乱和资源利用不均等问题，于是升级到了 NFS 系统。然而，随着使用强度增加，NFS 的瓶颈日益凸显：高峰期训练任务严重延迟甚至完全停滞，多用户并发时系统性能 阅读全文

摘要： 在当前众多 AI 和数据科学应用中，Python 已成为最主流的编程语言之一。为了方便用户在这些场景中更高效地使用 JuiceFS，我们在社区版 v1.3 中推出了 JuiceFS Python SDK（下文简称 Python SDK）。它不仅简化了对 JuiceFS 的访问方式，还提升了在受限环境 阅读全文