JuiceFS

摘要： JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩，适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。 在本文中，我们将通过一系列测试，来评估这三种主流文件系统的性能与成本表现，帮助用户快速 阅读全文

摘要： MiniMax 成立于 2021 年 12 月，是领先的通用人工智能科技公司，致力于与用户共创智能。MiniMax 自主研发了不同模态的通用大模型，其中包括万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。 基于不同模态的通用大模型，MiniMax 推出生产力工具 “海螺 AI” 、沉浸式 阅读全文

摘要： Clobotics 是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业，Clobotics 利用无人机对风力发电机叶片进行检查，显著降低了对人工作业的依赖。在零售领域，公司通过分析捕获的包装商品图像来提供基于实时数据的洞察，以增加销售额并减少运营成本。 存储方面，Cloboti 阅读全文

摘要： 在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景下的优势。 下图是一个典型的大模型推理服务的 阅读全文

摘要： 随着使用 JuiceFS 的时间越来越长，一些用户已经用多种数据库和对象存储创建了很多的 JuiceFS 文件系统。有些是纯云端的，有些是纯本地的，有些则是本地与云端结合的。它们当中有一些是存储了文件的，而有一些则只是测试目的临时创建的。多个文件系统混合在一起使用难免会混淆，特别是在同一个数据库实例 阅读全文

摘要： 在高性能计算场景中，往往采用全闪存架构和内核态并行文件系统，以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加，全闪存的高成本和内核客户端的运维复杂性成为主要挑战。 JuiceFS，是一款全用户态的云原生分布式文件系统，通过分布式缓存大幅提升 I/O 吞吐量，并使用成本较低的对象存储来完成 阅读全文

摘要： NAS 通过提供多用户网络数据存取服务，极大地简化了数据共享和管理。而 NFS 作为实现这种共享的一种主流协议，尽管广泛应用，但在处理复杂的 AI 训练场景时常常受限于其性能和一致性问题。 JuiceFS 在最新的1.2版本中增加了直连 NFS 功能，这一创新允许 JuiceFS 直接利用 NAS 阅读全文

摘要： 在使用 JuiceFS 时，我们选择了 SeaweedFS 作为对象存储，以及 TiKV 作为元数据存储，目前在 SeaweedFS 上已经存储了近1.5PB 的数据。关于 SeaweedFS 和 TiKV 配置的参考资料不多，本文将为社区各位用户提供我们的部署实践，并提供详细的命令示例，希望能给社 阅读全文

摘要： 中山大学的 iSEE 实验室（Intelligence Science and System) Lab）在进行深度学习任务时，需要处理大量小文件读取。在高并发读写场景下，原先使用的 NFS 性能较低，常在高峰期导致数据节点卡死。此外，NFS 系统的单点故障问题也导致一旦数据节点宕机，该机器上的数据将 阅读全文

摘要： 贝壳机器学习平台的计算资源，尤其是 GPU，主要依赖公有云服务，并分布在不同的地理区域。为了让存储可以灵活地跟随计算资源，存储系统需具备高度的灵活性，支持跨区域的数据访问和迁移，同时确保计算任务的连续性和高效性；此外，随着数据量的增长，元数据管理的压力也在逐渐加大。 贝壳机器学习平台团队从去年开始对 阅读全文