JuiceFS

摘要： Hugging Face 的 Transformers 是一个功能强大的机器学习框架，提供了一系列 API 和工具，用于预训练模型的下载和训练。为了避免重复下载，提高训练效率，Transformers 会自动下载和缓存模型的权重、词表等资源，默认存储在 ~/.cache/huggingface/hu 阅读全文

摘要： 今天这篇博客来自全栈工程师朱唯唯，她在前不久举办的 KubeCon 中国大会上进行了该主题分享。 Kubernetes 已经成为事实的应用编排标准，越来越多的应用在不断的向云原生靠拢。与此同时，人工智能技术的迅速发展，尤其是大型语言模型（LLM）的推进，导致企业需要处理的数据量急剧增加，例如，Lla 阅读全文

摘要： 今天这篇博客转载自我们的全栈工程师朱唯唯。在使用 Ollma 进行大模型加载时，她尝试使用了 JuiceFS 进行模型共享，JuiceFS 的数据预热和分布式缓存功能显著提升了加载效率，优化了性能瓶颈问题。 01 背景 随着 AI 技术的发展，大模型已经潜移默化地影响着我们的生活。商业 LLM 始终 阅读全文

摘要： JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩，适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。 在本文中，我们将通过一系列测试，来评估这三种主流文件系统的性能与成本表现，帮助用户快速 阅读全文

摘要： MiniMax 成立于 2021 年 12 月，是领先的通用人工智能科技公司，致力于与用户共创智能。MiniMax 自主研发了不同模态的通用大模型，其中包括万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。 基于不同模态的通用大模型，MiniMax 推出生产力工具 “海螺 AI” 、沉浸式 阅读全文

摘要： Clobotics 是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业，Clobotics 利用无人机对风力发电机叶片进行检查，显著降低了对人工作业的依赖。在零售领域，公司通过分析捕获的包装商品图像来提供基于实时数据的洞察，以增加销售额并减少运营成本。 存储方面，Cloboti 阅读全文

摘要： 在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景下的优势。 下图是一个典型的大模型推理服务的 阅读全文

摘要： 随着使用 JuiceFS 的时间越来越长，一些用户已经用多种数据库和对象存储创建了很多的 JuiceFS 文件系统。有些是纯云端的，有些是纯本地的，有些则是本地与云端结合的。它们当中有一些是存储了文件的，而有一些则只是测试目的临时创建的。多个文件系统混合在一起使用难免会混淆，特别是在同一个数据库实例 阅读全文

摘要： 在高性能计算场景中，往往采用全闪存架构和内核态并行文件系统，以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加，全闪存的高成本和内核客户端的运维复杂性成为主要挑战。 JuiceFS，是一款全用户态的云原生分布式文件系统，通过分布式缓存大幅提升 I/O 吞吐量，并使用成本较低的对象存储来完成 阅读全文

摘要： NAS 通过提供多用户网络数据存取服务，极大地简化了数据共享和管理。而 NFS 作为实现这种共享的一种主流协议，尽管广泛应用，但在处理复杂的 AI 训练场景时常常受限于其性能和一致性问题。 JuiceFS 在最新的1.2版本中增加了直连 NFS 功能，这一创新允许 JuiceFS 直接利用 NAS 阅读全文