JuiceFS

摘要： 小米作为全球知名的科技巨头公司，已经在数百款产品中广泛应用了 AI 技术，这些产品包括手机、电视、智能音箱、儿童手表和翻译机等。这些 AI 应用主要都是通过小米的深度学习训练平台完成的。 在训练平台的存储方案中，小米曾尝试了多种不同的存储方式，包括 Ceph+NFS、HDFS 和对象存储挂载等。然而 阅读全文

摘要： 在进行分布式文件存储解决方案的选型时，[GlusterFS](https://github.com/gluster/glusterfs) 无疑是一个不可忽视的考虑对象。作为一款开源的软件定义分布式存储解决方案，GlusterFS 能够在单个集群中支持高达 PiB 级别的数据存储。自从首次发布以来，已 阅读全文

摘要： > 今天我们将分享社区用户多点 DMALL 的案例。多点 DMALL 是亚洲领先的全渠道数字零售解决方案服务商，目前已与 380 家零售企业达成合作，覆盖 6 个国家和地区。 > > 面对 B 端客户日益增长的企业数据，存算一体的架构显得力不从心。计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部 阅读全文

摘要： 2020 年初，随着网易互娱的海外业务增长与海外数据合规的需求，我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期，我们采取了云主机裸机加上高性能 EBS 块存储的方案。但是，这个方案存储费用高昂，成本是国内自建机房的数十倍。 于是，我们决定在公有云上构建一个平台，这个平台不仅需要更加适应当前 阅读全文

摘要： 随着企业数据量的持续增长，存储容量需求日益增大。如何采用没有容量上限的云存储替换本容量有限的本地磁盘，已成为广泛的需求和共识。特别是在企业中常用的 Samba 和 NFS 共享，如果能够使用云存储作为底层存储，就能有效解决存储扩容和本地磁盘损坏导致的数据丢失问题。 本文将以 Linux 系统为例，介 阅读全文

摘要： 伴随着公司业务的发展，数据量持续增长，存储平台面临新的挑战：大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂等问题。除了这些技术难题，我们基础团队的人员也比较紧张，负责存储层运维的仅有 1 名同事，因而组件的易用性，一直也是我们评估的重要维度。 我们尝试过文件系统包括有 NFS 阅读全文

摘要： 一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。 **为了解决包括扩容周期长、计算存储资源 阅读全文

摘要： Steve Kleiman 在 1986 年撰写了《[Vnodes: An Architecture for Multiple File System Types in Sun UNIX](https://www.semanticscholar.org/paper/Vnodes%3A-An-Arch 阅读全文

摘要： 在 1994 年，论文《[XFS 文件系统的可扩展性](http://www.scs.stanford.edu/nyu/02fa/sched/xfs.pdf)》发表了。自 1984 年以来，计算机的发展速度变得更快，存储容量也增加了。值得注意的是，在这个时期出现了更多配备多个 CPU 的计算机，并且 阅读全文

摘要： 随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了 ChatGPT 之外，文本生成图像技术更令人惊艳。 Stable Diffusion，是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同的是它允许用户自行搭配并训练自己的图像风格，这 阅读全文