JuiceFS

摘要： 近年来，云计算已成为主流，企业从自身利益出发，或是不愿意被单一云服务商锁定，或是业务和数据冗余，或是出于成本优化考虑，会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台，业务迁移涉及到数据的迁移。正好 JuiceFS 已经对接了各种对象存储的 API ，也实现了数据同步的逻 阅读全文

摘要： 早些年还在 ENJOY 的时候, 就已经在用 JuiceFS, 并且一路伴随着我工作过的四家小公司, 这玩意对我来说, 已经成了理所应当不可或缺的基础设施, 对于我服务过的小团队而言, 更是实实在在的好帮手. 趁着最近的征文活动, 继续拓展一下我的小团队系列, 介绍下多年来我们团队都在如何使用 Ju 阅读全文

摘要： 容器存储接口（Container Storage Interface）简称 CSI，CSI 建立了行业标准接口的规范，借助 CSI 容器编排系统（CO）可以将任意存储系统暴露给自己的容器工作负载。JuiceFS CSI Driver 通过实现 CSI 接口使得 Kubernetes 上的应用可以通过 阅读全文

摘要： 背景 当数据规模越来越大，存储成本也水涨船高。随着时间推移，数据热度分布往往呈 2⁄8 原则，即 80% 的访问集中在 20% 的数据上。对于那不经常访问的 80% 数据来说，使用多个 SSD 来存储真是巨大的浪费，需要将冷数据迁移到其他存储成本更低的系统里。这时 JuiceFS 成了理想之选，成本 阅读全文

摘要： 这是 JuiceFS v1.0 正式发布前的第二个 beta 版本，共有 16 位社区伙伴贡献了 150+ 次提交 🎉。本次更新以 Bug 修复和稳定性提升为主，辅以大量的文档更新和测试用例优化，并带来了以下新功能： 一、新增：BadgerDB 作为元数据引擎 由社区开发者秦牧羊（@diluga） 阅读全文

摘要： 「一切皆文件」是 UNIX 的基本设计哲学。文件按照层级关系组织为树形目录，构成了文件系统 的基本形态。用户使用文件系统来保存数据时，不必关心数据底层的存储方式，便可以按照约定的接口规范进行访问。 概念篇 关于文件系统的接口规范，应用最为广泛的莫过于 POSIX，源于 IEEE 委员会编写的相关标准 阅读全文

摘要： 在我们线上的生产环境中要备份的东西很多，各种服务日志、数据库数据、用户上传数据、代码等等。用 JuiceFS 来备份可以节省你大量时间，我们会围绕这个主题写一系列的教程，整理出一套最佳实践，方便大家。 今天第一篇就写写最常用的 Nginx 日志备份。 如何用 JuiceFS 备份 Nginx 日志 阅读全文

摘要： 家住北京西二旗的小张是一家互联网金融公司的运维工程师，金融行业的数据可是很值钱的，任何的损坏和丢失都不能容忍。 为此，小张选了北京品质最高的机房，买了品质最好的硬件，做了全面的数据备份容灾策略： 每 24 小时做一次全量备份，每 1 小时做一次快照备份，还有每 5 分钟的增量备份。备份的数据存于专门 阅读全文

摘要： 背景 存储是大数据的基石，存储系统的元数据又是它的核心大脑，元数据的性能对整个大数据平台的性能和扩展能力非常关键。本文选取了大数据平台中 3 个典型的存储方案来压测元数据的性能，来个大比拼。 其中 HDFS 是被广为使用的大数据存储方案，已经经过十几年的沉淀和积累，是最合适的参考标杆。 以 Amaz 阅读全文

摘要： 一个高精度AI模型离不开大量的优质数据集，这些数据集往往由标注结果文件和海量的图片组成。在数据量比较大的情况下，模型训练周期也会相应加长。那么有什么加快训练速度的好方法呢？ 壕气的老板第一时间想到的通常是提升算力，增加资源。 如果足够有钱的话，基本不需要再继续看其他解决方案了。 但大多数情况下，面对 阅读全文