JuiceFS

摘要： 随着数据量和模型规模的爆炸性增长，多个客户端频繁访问相同数据的场景变得愈发普遍。分布式缓存通过聚合多个节点的本地缓存，形成大容量缓存池，从而提升缓存命中率、增强读带宽和 IOPS，降低读延迟，满足高性能的需求。 然而，节点间的数据交换极度依赖网络性能。带宽不足会限制数据传输速度并增加延迟；过高的网络 阅读全文

摘要： 为了提升写入效率，JuiceFS 提供了 writeback 功能。例如在写入 1 万条数据的案例中，启用 writeback 后，数据传输在 10 秒 内完成；未启用 writeback 时则需要 2 分钟。然而，writeback 功能也伴随着一些风险和使用限制。本文将详细介绍 JuiceFS 阅读全文

摘要： 稿定科技（gaoding.com）是一家专注于为企业和个人提供视觉内容创新方案的科技公司，致力于打造全新的设计方式，帮助更多用户轻松掌控设计，创造价值。 随着 AI 技术的加速发展，数据存储和管理成为支撑公司创新与发展的关键基础设施。最初，“稿定”的 AI 训练数据主要依赖公有云厂商提供的对象存储和 阅读全文

摘要： 近期，我们在云端渲染场景中，对 100 至 3000 节点的 JuiceFS Windows 客户端进行了性能测试。测试内容为渲染前置任务，即在渲染任务之前执行所有存储相关操作。 与实际使用场景相比，本次测试采用了更为苛刻的条件，使用了大量小文件的数据进行测试。任务要求 1000 台机器平均时间在 阅读全文

摘要： 在近期发布的 JuiceFS 社区版1.3 和企业版 5.2 中，我们对 Windows 客户端进行了大量的优化工作。在早期版本中，JuiceFS 也尝试支持 Windows 平台，但是在使用体验和稳定性方面存在诸多问题，无法达到一个稳定的可用状态。 去年，我们决定重新对 Windows 客户端 进 阅读全文

摘要： AI 模型的训练与推理对存储系统提出了极为严苛的要求，特别是在高吞吐、高并发以及对海量小文件的高效处理方面，已成为三大主要挑战。尽管基于 Lustre 或 GPFS 的并行文件系统具备出色的性能，但其成本高昂、吞吐能力与容量强耦合，可能导致硬件资源的浪费。随着数据规模的急剧增长，这些问题变得更加突出 阅读全文

摘要： 随着 LLM 和多模态 AI 的兴起，非结构化数据的规模呈指数级增长，这对数据存储、检索和分析提出了更高的要求。LanceDB 是 AI 原生多模态数据湖产品，采用自研的开源数据格式 Lance，以解决传统数据格式在大规模非结构化数据场景中的局限性，已被多家 AI 公司，如 Runway 和 Mid 阅读全文

摘要： 在业界有“多模态卷王”之称的阶跃星辰，自研的 22 款基础模型中有 16 款为多模态模型，覆盖文字、语音、图像、视频、音乐与推理等多个方向。为支撑多模态模型的研发与落地，团队在基础设施层需覆盖从数据生成、清洗，到模型预训练、后训练、推理部署的完整链路，对存储系统在数据吞吐、访问延迟与读写效率等方面提 阅读全文

摘要： 合合信息是一家专注于智能文字识别、图像处理、自然语言处理、知识图谱与大数据挖掘的科技公司，依托自主研发的 AI 与大数据技术，已在上交所科创板上市。公司主要 C 端产品包括扫描全能王、名片全能王和启信宝。 随着 AI 训练平台规模持续扩展，公司积累了千亿级文件和百 PB 级数据，覆盖 NLP、CV 阅读全文

摘要： JuiceFS 社区版 v1.3 今日正式发布，是自 2021 年开源以来的第四个重要版本。四年多的开源历程中，JuiceFS 在 GitHub 上已获得超 11.8K star，数据用量超过 800 PiB，并在企业的生产环境中得到了长时间的验证，核心功能逐步趋于稳定。 JuiceFS v1.3 阅读全文