JuiceFS

摘要： 即将过去的 2024 年，是 JuiceFS 开源版本推出的第 4 年，企业版的第 8 个年头。回顾过去这一年，JuiceFS 社区版依旧保持着快速成长的势头，GitHub 星标突破 11.1K，各项使用指标增长均超过 100%，其中文件系统总数量较前一年更是增长了 8.5 倍；企业版同样持续保持高 阅读全文

摘要： 随着公司业务的快速发展，同程旅行的非结构化的数据突破 10 亿，在 2022 年，同程首先完成了对象存储服务的建设。当时，分布式文件系统方面，同程使用的是 CephFS，随着数据量的持续增长，CephFS 的高复杂性和运维难度逐渐成为瓶颈。考虑到可观测性、稳定性和管理效率等维度，同程最终决定转向 J 阅读全文

摘要： Conda 是当前 AI 应用开发领域中非常流行的环境和包管理系统，因其能够简单便捷地创建与系统资源相隔离的虚拟环境广受欢迎。 Conda 支持在不同的操作系统上重建相同的工作环境，但在环境共享复用方面仍存在一些挑战。比如，在不同机器上复用相同环境需手动执行多步骤，过程中可能出现依赖不一致的问题。其 阅读全文

摘要： 今天的博客来自 JuiceFS 云服务用户 Jerry，他们通过使用 JuiceFS snapshot 功能，创新性地实现了数据的版本控制。Jerry，是一家位于北美的科技公司，利用人工智能和机器学习技术，简化用户购买汽车和家庭保险的比较及购买流程。 在软件开发领域，严格的测试和受控发布已经成为几十 阅读全文

摘要： 海柔创新是一家专注于箱式仓储机器人系统的研发和设计的科技公司，其仿真平台通过数字模拟技术，再现实际仓库环境和设备，利用导入的地图、订单、库存及策略配置等数据来验证和优化仓储解决方案，确保设计方案的效率和合理性。 最初，海柔的仿真平台在单机环境中运行，但随着数据量的增长，运维逐渐面临挑战。因此，平台被 阅读全文

摘要： 好未来，前身学而思，于 2010 年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中，近期推出了数学领域的千亿级大模型。 在大模型的背景下，存储系统需处理巨量数据和复杂文件操作，要求支持高并发和高吞吐量。此外，还需应对版本管理、模型训练性能优化和多云分发的挑战。 为解决这些问题，团队基 阅读全文

摘要： 当集群中需要升级 Mount Pod 时，目前推荐的方式是更新配置后重新挂载应用 Pod 进行滚动升级，但这种升级方式的问题在于需要业务重启。 如果对业务的使用模式很清楚时，比如没有数据写入等，也可以选择手动重建 Mount Pod 的方式。在更新配置后，手动删除已有的 Mount Pod，并等待其 阅读全文

摘要： 在早期阶段，vivo AI 计算平台使用 GlusterFS 作为底层存储基座。随着数据规模的扩大和多种业务场景的接入，开始出现性能、维护等问题。为此，vivo 转而采用了自研的轩辕文件系统，该系统是基于 JuiceFS 开源版本开发的一款分布式文件存储方案。 本文将介绍 vivo 轩辕文件系统在 阅读全文

摘要： 随着大模型流行，GPU 算力资源正变得日益稀缺，传统的“算力跟着存储跑”的策略需要转变为“存储跟着算力跑”。为了确保数据一致性和管理的便捷性，企业通常在特定地区的公有云上选择对象存储作为所有模型数据的集中存储点。当进行计算任务调度时，往往需要人工介入，手动进行数据拷贝和迁移方法不仅成本高昂，还存在管 阅读全文

摘要： 从去年开始，LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型（Foundation Models）的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关工作，以开发特定垂直领域的模型实现应用落地。 阅读全文