JuiceFS

摘要： 在近期发布的 JuiceFS 社区版1.3 和企业版 5.2 中，我们对 Windows 客户端进行了大量的优化工作。在早期版本中，JuiceFS 也尝试支持 Windows 平台，但是在使用体验和稳定性方面存在诸多问题，无法达到一个稳定的可用状态。 去年，我们决定重新对 Windows 客户端 进 阅读全文

摘要： AI 模型的训练与推理对存储系统提出了极为严苛的要求，特别是在高吞吐、高并发以及对海量小文件的高效处理方面，已成为三大主要挑战。尽管基于 Lustre 或 GPFS 的并行文件系统具备出色的性能，但其成本高昂、吞吐能力与容量强耦合，可能导致硬件资源的浪费。随着数据规模的急剧增长，这些问题变得更加突出 阅读全文

摘要： 随着 LLM 和多模态 AI 的兴起，非结构化数据的规模呈指数级增长，这对数据存储、检索和分析提出了更高的要求。LanceDB 是 AI 原生多模态数据湖产品，采用自研的开源数据格式 Lance，以解决传统数据格式在大规模非结构化数据场景中的局限性，已被多家 AI 公司，如 Runway 和 Mid 阅读全文

摘要： 在业界有“多模态卷王”之称的阶跃星辰，自研的 22 款基础模型中有 16 款为多模态模型，覆盖文字、语音、图像、视频、音乐与推理等多个方向。为支撑多模态模型的研发与落地，团队在基础设施层需覆盖从数据生成、清洗，到模型预训练、后训练、推理部署的完整链路，对存储系统在数据吞吐、访问延迟与读写效率等方面提 阅读全文

摘要： 合合信息是一家专注于智能文字识别、图像处理、自然语言处理、知识图谱与大数据挖掘的科技公司，依托自主研发的 AI 与大数据技术，已在上交所科创板上市。公司主要 C 端产品包括扫描全能王、名片全能王和启信宝。 随着 AI 训练平台规模持续扩展，公司积累了千亿级文件和百 PB 级数据，覆盖 NLP、CV 阅读全文

摘要： JuiceFS 社区版 v1.3 今日正式发布，是自 2021 年开源以来的第四个重要版本。四年多的开源历程中，JuiceFS 在 GitHub 上已获得超 11.8K star，数据用量超过 800 PiB，并在企业的生产环境中得到了长时间的验证，核心功能逐步趋于稳定。 JuiceFS v1.3 阅读全文

摘要： 在 AI 模型训练、高性能计算等对 I/O 敏感的场景中，底层文件系统的架构和性能将直接影响训练效率、资源利用率与整体成本。 Lustre 作为传统高性能文件系统，以极致性能著称；而 JuiceFS 则以云原生设计和对象存储集成为核心，提供更高的部署灵活性与经济性。为了帮助用户深入理解这两类系统在架 阅读全文

摘要： 在多用户和高安全性要求的系统中，文件与目录权限控制是实现资源隔离与系统安全的基础机制。Linux 操作系统的文件权限模型提供了灵活强大的权限控制机制，通过对用户、组和其他用户的权限设置，确保系统资源的安全性和合规性。 作为一款支持 Linux 系统的分布式文件系统，JuiceFS 需要与 Linux 阅读全文

摘要： 在大数据场景中，文件系统和应用组件的权限管理至关重要。在最新发布的 JuiceFS 社区版 v1.3-Beta 2 中，JuiceFS 引入了与 Apache Ranger 的集成，提供了更为灵活和细粒度的权限控制解决方案。 本文将介绍 JuiceFS 社区版如何与 Apache Ranger 进行 阅读全文

摘要： JuiceFS 企业版 5.2 版本近日发布，文件管理规模迈入千亿级。此次升级重点提升了超大规模集群的稳定性，优化了分布式缓存的网络性能，并增强了系统的易用性与安全性，旨在支持高并发访问等复杂的高性能应用场景。 JuiceFS 企业版专为高性能场景设计，自 2019 年起开始应用于机器学习领域，现已 阅读全文