JuiceFS

摘要： Jerry 是一家位于北美的科技公司，利用人工智能和机器学习技术，简化汽车保险和贷款的比价和购买流程。在美国，Jerry 的应用在其所属领域排名第一。 随着数据规模的增长，Jerry 在使用 AWS Redshift 时遇到了一些性能与成本的挑战。Jerry 重新设计了系统架构，使用 ClickHo 阅读全文

摘要： JuiceFS v1.2-beta1 今天正式发布。在这个版本中，除了进行了大量使用体验优化和 bug 修复外，新增三个特性： Gateway 功能扩展：新增了“身份和访问管理（Identity and Access Management，IAM）” 与 “事件通知” ，为用户提供更安全、灵活和自动 阅读全文

摘要： 当 JuiceFS 文件系统部署完成并投入生产环境，接下来就需要着手解决一个非常重要的问题 —— 如何实时监控它的运行状态？毕竟，它可能正在为关键的业务应用或容器工作负载提供持久化存储支持，任何小小的故障或性能下降都可能造成不利的影响。 JuiceFS 启动后会实时发布自身的运行状态数据，只需结合 阅读全文

摘要： 大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。 在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合作，已经支持了多家客户生产环境中数千卡的训练任 阅读全文

摘要： 知乎，中文互联网领域领先的问答社区和原创内容平台，2011 年 1 月正式上线，月活跃用户超过 1 亿。平台的搜索和推荐服务得益于先进的 AI 算法，数百名算法工程师基于数据平台和机器学习平台进行海量数据处理和算法训练任务。 为了提高系统的易用性和灵活性，知乎实施了多云混合部署架构，允许不同云上的作 阅读全文

摘要： Google Colaboratory（Colab）是一个由 Google 提供的云端 Jupyter 编程笔记本，直接通过浏览器即可进行 Python 编程。Colab 充分利用谷歌的闲置云计算资源，为公众提供免费的的在线编程服务，以及免费的 GPU 资源，虽然在使用方面有一定的规则限制，但对于一 阅读全文

摘要： 随着 AI 技术的迅速发展，模型规模和复杂度以及待处理数据量都在急剧上升，这些趋势使得高性能计算（HPC）变得越来越必要。HPC 通过集成强大的计算资源，比如 GPU 和 CPU 集群，提供了处理和分析大规模数据所需的算力。 然而，这也带来了新的挑战，尤其是在存储系统方面，包括如何有效处理大量数据、 阅读全文

摘要： 2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。 目前支持两种模型训练：BERT （自然语言 阅读全文

摘要： BentoML 是一个开源的大语言模型（LLM） AI 应用的开发框架和部署工具，致力于为开发者提供最简单的构建大语言模型 AI 应用的能力，其开源产品已经支持全球数千家企业和组织的核心 AI 应用。 当 BentoML 在 Serverless 环境中部署模型时，其中一个主要挑战是冷启动慢，尤其在 阅读全文

摘要： JuiceFS 企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。 构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。JuiceFS 企业版于 2017 年上线，经过几年的不断迭代和优化，在单个元数据服务进程使用 30 阅读全文