JuiceFS

摘要： 在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中，社区用户 BentoML 和贝壳的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。本文将结合我们的实际经验，详细介绍企业版在此场景下的优势。 下图是一个典型的大模型推理服务的 阅读全文

摘要： 随着使用 JuiceFS 的时间越来越长，一些用户已经用多种数据库和对象存储创建了很多的 JuiceFS 文件系统。有些是纯云端的，有些是纯本地的，有些则是本地与云端结合的。它们当中有一些是存储了文件的，而有一些则只是测试目的临时创建的。多个文件系统混合在一起使用难免会混淆，特别是在同一个数据库实例 阅读全文

摘要： 在高性能计算场景中，往往采用全闪存架构和内核态并行文件系统，以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加，全闪存的高成本和内核客户端的运维复杂性成为主要挑战。 JuiceFS，是一款全用户态的云原生分布式文件系统，通过分布式缓存大幅提升 I/O 吞吐量，并使用成本较低的对象存储来完成 阅读全文

摘要： NAS 通过提供多用户网络数据存取服务，极大地简化了数据共享和管理。而 NFS 作为实现这种共享的一种主流协议，尽管广泛应用，但在处理复杂的 AI 训练场景时常常受限于其性能和一致性问题。 JuiceFS 在最新的1.2版本中增加了直连 NFS 功能，这一创新允许 JuiceFS 直接利用 NAS 阅读全文

摘要： 在使用 JuiceFS 时，我们选择了 SeaweedFS 作为对象存储，以及 TiKV 作为元数据存储，目前在 SeaweedFS 上已经存储了近1.5PB 的数据。关于 SeaweedFS 和 TiKV 配置的参考资料不多，本文将为社区各位用户提供我们的部署实践，并提供详细的命令示例，希望能给社 阅读全文

摘要： 中山大学的 iSEE 实验室（Intelligence Science and System) Lab）在进行深度学习任务时，需要处理大量小文件读取。在高并发读写场景下，原先使用的 NFS 性能较低，常在高峰期导致数据节点卡死。此外，NFS 系统的单点故障问题也导致一旦数据节点宕机，该机器上的数据将 阅读全文

摘要： 贝壳机器学习平台的计算资源，尤其是 GPU，主要依赖公有云服务，并分布在不同的地理区域。为了让存储可以灵活地跟随计算资源，存储系统需具备高度的灵活性，支持跨区域的数据访问和迁移，同时确保计算任务的连续性和高效性；此外，随着数据量的增长，元数据管理的压力也在逐渐加大。 贝壳机器学习平台团队从去年开始对 阅读全文

摘要： Jerry 是一家位于北美的科技公司，利用人工智能和机器学习技术，简化汽车保险和贷款的比价和购买流程。在美国，Jerry 的应用在其所属领域排名第一。 随着数据规模的增长，Jerry 在使用 AWS Redshift 时遇到了一些性能与成本的挑战。Jerry 重新设计了系统架构，使用 ClickHo 阅读全文

摘要： JuiceFS v1.2-beta1 今天正式发布。在这个版本中，除了进行了大量使用体验优化和 bug 修复外，新增三个特性： Gateway 功能扩展：新增了“身份和访问管理（Identity and Access Management，IAM）” 与 “事件通知” ，为用户提供更安全、灵活和自动 阅读全文

摘要： 当 JuiceFS 文件系统部署完成并投入生产环境，接下来就需要着手解决一个非常重要的问题 —— 如何实时监控它的运行状态？毕竟，它可能正在为关键的业务应用或容器工作负载提供持久化存储支持，任何小小的故障或性能下降都可能造成不利的影响。 JuiceFS 启动后会实时发布自身的运行状态数据，只需结合 阅读全文