JuiceFS

摘要： JuiceFS 社区版 v1.3 今日正式发布，是自 2021 年开源以来的第四个重要版本。四年多的开源历程中，JuiceFS 在 GitHub 上已获得超 11.8K star，数据用量超过 800 PiB，并在企业的生产环境中得到了长时间的验证，核心功能逐步趋于稳定。 JuiceFS v1.3 阅读全文

摘要： 在 AI 模型训练、高性能计算等对 I/O 敏感的场景中，底层文件系统的架构和性能将直接影响训练效率、资源利用率与整体成本。 Lustre 作为传统高性能文件系统，以极致性能著称；而 JuiceFS 则以云原生设计和对象存储集成为核心，提供更高的部署灵活性与经济性。为了帮助用户深入理解这两类系统在架 阅读全文

摘要： 在多用户和高安全性要求的系统中，文件与目录权限控制是实现资源隔离与系统安全的基础机制。Linux 操作系统的文件权限模型提供了灵活强大的权限控制机制，通过对用户、组和其他用户的权限设置，确保系统资源的安全性和合规性。 作为一款支持 Linux 系统的分布式文件系统，JuiceFS 需要与 Linux 阅读全文

摘要： 在大数据场景中，文件系统和应用组件的权限管理至关重要。在最新发布的 JuiceFS 社区版 v1.3-Beta 2 中，JuiceFS 引入了与 Apache Ranger 的集成，提供了更为灵活和细粒度的权限控制解决方案。 本文将介绍 JuiceFS 社区版如何与 Apache Ranger 进行 阅读全文

摘要： JuiceFS 企业版 5.2 版本近日发布，文件管理规模迈入千亿级。此次升级重点提升了超大规模集群的稳定性，优化了分布式缓存的网络性能，并增强了系统的易用性与安全性，旨在支持高并发访问等复杂的高性能应用场景。 JuiceFS 企业版专为高性能场景设计，自 2019 年起开始应用于机器学习领域，现已 阅读全文

摘要： 在最新发布的 JuiceFS v1.3 Beta1 版本中，我们引入了一种全新的二进制备份机制，旨在更高效地应对亿级文件规模下的备份与迁移场景。相比现有的 JSON 备份方式，该机制在导入导出元数据时不仅大幅提升了处理速度，还显著降低了内存占用。 01 JSON 备份机制回顾 JuiceFS 自 v 阅读全文

摘要： 中科院计算所在建设大模型训练与推理平台过程中，模型规模与数据集数量呈爆发式增长。最初采用简单的裸机存储方案，但很快面临数据孤岛、重复冗余、管理混乱和资源利用不均等问题，于是升级到了 NFS 系统。然而，随着使用强度增加，NFS 的瓶颈日益凸显：高峰期训练任务严重延迟甚至完全停滞，多用户并发时系统性能 阅读全文

摘要： 在当前众多 AI 和数据科学应用中，Python 已成为最主流的编程语言之一。为了方便用户在这些场景中更高效地使用 JuiceFS，我们在社区版 v1.3 中推出了 JuiceFS Python SDK（下文简称 Python SDK）。它不仅简化了对 JuiceFS 的访问方式，还提升了在受限环境 阅读全文

摘要： 百图生科（BioMap）由百度创始人李彦宏先生联合创立，专注于生命科学领域的人工智能技术。公司推出了全球最大的生命科学 AI 基础模型 xTrimo V3，拥有 2100 亿参数，覆盖蛋白质、DNA、RNA 等多个生命科学领域。 随着生命科学领域数据量的爆发式增长，存储成本日益增加。为了降本增效，百 阅读全文

摘要： JuiceFS v1.3-beta 今天正式发布。在这个版本中，除了进行了大量使用体验优化和 bug 修复外，新增如下特性： 新增 Python SDK：这是一个从企业版移植过来的特性，旨在支持 FUSE 受限的场景，并优化某些高性能环境中的 I/O 性能。 Windows 客户端可用性大幅优化： 阅读全文