JuiceFS

摘要： 百图生科（BioMap）由百度创始人李彦宏先生联合创立，专注于生命科学领域的人工智能技术。公司推出了全球最大的生命科学 AI 基础模型 xTrimo V3，拥有 2100 亿参数，覆盖蛋白质、DNA、RNA 等多个生命科学领域。 随着生命科学领域数据量的爆发式增长，存储成本日益增加。为了降本增效，百 阅读全文

摘要： JuiceFS v1.3-beta 今天正式发布。在这个版本中，除了进行了大量使用体验优化和 bug 修复外，新增如下特性： 新增 Python SDK：这是一个从企业版移植过来的特性，旨在支持 FUSE 受限的场景，并优化某些高性能环境中的 I/O 性能。 Windows 客户端可用性大幅优化： 阅读全文

摘要： 近期，DeepSeek 开源了其文件系统 Fire-Flyer File System (3FS)，使得文件系统这一有着 70 多年历时的“古老”的技术，又获得了各方的关注。在 AI 业务中，企业需要处理大量的文本、图像、视频等非结构化数据，还需要应对数据量的爆炸式增长，分布式文件系统因此成为 AI 阅读全文

摘要： 在过去两年多的时间里，随着 AI 大模型的快速发展，JuiceFS 在携程内部得到了越来越多 AI 用户的关注。目前，携程通过 JuiceFS 管理着 10PB 数据规模，为 AI 训练等多个场景提供存储服务。 本文将介绍携程如何使用 JuiceFS，以及基于 JuiceFS 实现的关键管理能力，包 阅读全文

摘要： FUSE（Filesystem in Userspace）是一个允许用户在用户态创建自定义文件系统的接口，诞生于 2001 年。FUSE 的出现大大降低了文件系统开发的门槛，使得开发者能够在不修改内核代码的情况下实现创新的文件系统功能。JuiceFS 就是基于 FUSE 构建的高性能分布式文件系统， 阅读全文

摘要： Lepton AI 是一款面向开发者的 AI 平台，旨在提供易用、高效且可扩展的基础设施能力。该平台适用于各种训练、推理需求，GPU充足，在保证高性能的同时，能够灵活应对不断变化的工作负载。用户可以快速在 Lepton 平台上部署推理服务和执行训练任务，无需关注基础设施和稳定性问题。 作为一家初创公 阅读全文

摘要： 随着大模型的普及，GPU 算力成为稀缺资源，单一数据中心或云区域的 GPU 资源常常难以满足用户的全面需求。同时，跨地域团队的协作需求也推动了企业在不同云平台之间调度数据和计算任务。多云架构正逐渐成为一种趋势，然而该架构下的数据分发面临一系列挑战。 01 多云架构下的存储挑战 在实际操作中，不少企业 阅读全文

摘要： 即将过去的 2024 年，是 JuiceFS 开源版本推出的第 4 年，企业版的第 8 个年头。回顾过去这一年，JuiceFS 社区版依旧保持着快速成长的势头，GitHub 星标突破 11.1K，各项使用指标增长均超过 100%，其中文件系统总数量较前一年更是增长了 8.5 倍；企业版同样持续保持高 阅读全文

摘要： 随着公司业务的快速发展，同程旅行的非结构化的数据突破 10 亿，在 2022 年，同程首先完成了对象存储服务的建设。当时，分布式文件系统方面，同程使用的是 CephFS，随着数据量的持续增长，CephFS 的高复杂性和运维难度逐渐成为瓶颈。考虑到可观测性、稳定性和管理效率等维度，同程最终决定转向 J 阅读全文

摘要： Conda 是当前 AI 应用开发领域中非常流行的环境和包管理系统，因其能够简单便捷地创建与系统资源相隔离的虚拟环境广受欢迎。 Conda 支持在不同的操作系统上重建相同的工作环境，但在环境共享复用方面仍存在一些挑战。比如，在不同机器上复用相同环境需手动执行多步骤，过程中可能出现依赖不一致的问题。其 阅读全文