JuiceFS

摘要： 随着 AI 技术的迅速发展，模型规模和复杂度以及待处理数据量都在急剧上升，这些趋势使得高性能计算（HPC）变得越来越必要。HPC 通过集成强大的计算资源，比如 GPU 和 CPU 集群，提供了处理和分析大规模数据所需的算力。 然而，这也带来了新的挑战，尤其是在存储系统方面，包括如何有效处理大量数据、 阅读全文

摘要： 2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。 目前支持两种模型训练：BERT （自然语言 阅读全文

摘要： BentoML 是一个开源的大语言模型（LLM） AI 应用的开发框架和部署工具，致力于为开发者提供最简单的构建大语言模型 AI 应用的能力，其开源产品已经支持全球数千家企业和组织的核心 AI 应用。 当 BentoML 在 Serverless 环境中部署模型时，其中一个主要挑战是冷启动慢，尤其在 阅读全文

摘要： JuiceFS 企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。 构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。JuiceFS 企业版于 2017 年上线，经过几年的不断迭代和优化，在单个元数据服务进程使用 30 阅读全文

摘要： NAVER 是一家多元化的互联网公司，拥有韩国最大的搜索引擎并在人工智能、自动驾驶等高科技领域积极投入。 在搭建 AI 平台时，NAVER 评估了公有云平台的存储产品、Alluxio 以及高性能专用存储产品等多种选项后，最终决定采用 JuiceFS。通过使用JuiceFS，NAVER 成功地将内部存 阅读全文

摘要： JuiceFS 社区聚集了来自各行各业的前沿科技用户。本次分享的案例来源于刻行，一家商用服务机器人领域科技企业。 商用服务机器人指的是我们日常生活中常见的清洁机器人、送餐机器人、仓库机器人等。刻行采用 JuiceFS 来弥补对象存储性能不足等问题。 值得一提的是，前不久社区版 v1.1 中发布的“克 阅读全文

摘要： Ceph 提供了对象存储，可作为存储引擎在 JuiceFS 中使用。这一组合非常适合云计算、大数据分析和机器学习等数据密集型应用场景。 在日常部署中可直接通过 Ceph RADOS 配合 JuiceFS 使用，无需部署 RGW。基于此方案实践以及运维中的常见问题，结合Ceph 官方文档整理了这篇博客 阅读全文

摘要： 随着大数据、AI 技术的发展，越来越多的企业、团队和个人开始使用 JuiceFS，本文整理了 6 个超实用的 JuiceFS 技巧，帮助大家提升 JuiceFS 的管理效率。 一、查看已挂载的文件系统 有时候你可能在一台机器上挂载了多个 JuiceFS 文件系统，或是在多台机器上使用不同的选项挂载了 阅读全文

摘要： 杭州火石创造是国内专注于产业大数据的数据智能服务商，为了解决数据存储及高效服务客户需求，选择了 Elasticsearch 搜索引擎进行云上存储。基于性能和成本的考虑，在阿里云选择用本地 SSD ECS 机型自建集群。但由于是自建集群，如何同步解决数据备份问题并实现最优成本呢？ 1.背景介绍 Ela 阅读全文

摘要： 最近，留意到 MinIO 官方博客的一篇题为“在对象存储上实现 POSIX 访问接口是坏主意”的文章，作者以 S3FS-FUSE 为例分享了通过 POSIX 方式访问 MinIO 中的数据时碰到了性能方面的困难，性能远不如直接访问 MinIO。在对结果进行分析时，作者认为是 POSIX 本身存在的缺 阅读全文