JuiceFS

摘要： 背景 存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。 其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。 以 Amaz 阅读全文

摘要： 一个高精度AI模型离不开大量的优质数据集，这些数据集往往由标注结果文件和海量的图片组成。在数据量比较大的情况下，模型训练周期也会相应加长。那么有什么加快训练速度的好方法呢？ 壕气的老板第一时间想到的通常是提升算力，增加资源。 如果足够有钱的话，基本不需要再继续看其他解决方案了。 但大多数情况下，面对 阅读全文

摘要： 背景 HDFS 是 Hadoop 生态的默认存储系统，很多数据分析和管理工具都是基于它的 API 设计和实现的。但 HDFS 是为传统机房设计的，在云上维护 HDFS 一点也不轻松，需要投入不少人力进行监控、调优、扩容、故障恢复等一系列事情，而且还费用高昂，成本可能是对象存储是十倍以上。 在存储与计 阅读全文

摘要： 理想汽车是中国新能源汽车制造商，设计、研发、制造和销售豪华智能电动汽车，于 2015 年 7 月创立，总部位于北京，已投产的自有生产基地位于江苏常州，通过产品创新及技术研发，为家庭用户提供安全及便捷的产品及服务。 在中国，理想汽车是成功实现增程式电动汽车商业化的先锋，首款及目前唯一一款商业化的增程式 阅读全文

摘要： 在 JuiceFS 开源一周年之际，我们迎来了首个里程碑版本 JuiceFS v1.0.0 Beta1，并将开源许可从 AGPL v3 修改为 Apache License 2.0。 JuiceFS v1.0.0 Beta1 是一个在生产环境中充分验证迭代的产物，在延续 JuiceFS 一贯开放、安 阅读全文

摘要： 开源一周年 JuiceFS 开始于 2017 年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes 标准存储等。 JuiceFS 完全兼容 POSIX、HDFS、S3 访问协议，并提供 Kube 阅读全文

摘要： 在我们使用 Linux 系统时，如果网络或者磁盘等 I/O 出问题，会发现进程卡住了，即使用 kill -9 也无法杀掉进程，很多常用的调试工具，比如 strace, pstack 等也都失灵了，是怎么回事？ 此时，我们使用 ps 查看进程列表，可以看到卡住的进程状态显示为 D。 man ps 中描 阅读全文

摘要： JuiceFS 非常适合用来做 MySQL 物理备份，具体使用参考我们的官方文档。最近有个客户在测试时反馈，备份验证的数据准备（xtrabackup --prepare）过程非常慢。我们借助 JuiceFS 提供的性能分析工具做了分析，快速发现性能瓶颈，通过不断调整 XtraBackup 的参数和 阅读全文

摘要： JuiceFS 作为分布文件系统，每天与海量的数据打着交道，因此数据的安全性尤为关键，今天就来介绍一下 JuiceFS 在数据加密方面所做的努力。 传输中数据加密 JuiceFS 在网络上传输时会对数据进行加密，以防止未经授权的用户窃听网络通信。 JuiceFS 客户端始终使用 HTTPS 把数据上 阅读全文

摘要： 问题 JuiceFS 是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了 JuiceFS 能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代 HDFS。但是数据平台整体迁移通常是一个费时费力的大工程，需要做到迁移超大规模数据的同时尽量不影响上层业务。下面将会介绍如何 阅读全文