JuiceFS

摘要： 随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了 ChatGPT 之外，文本生成图像技术更令人惊艳。 Stable Diffusion，是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同的是它允许用户自行搭配并训练自己的图像风格，这 阅读全文

摘要： > 今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有效干预疾病发生的药物分子。 之江实验室就是上述科研创新的推动者，实验室由浙江省政府主导、浙江大学等院校支持、企业参与 阅读全文

摘要： 我们很高兴地宣布 JuiceFS v1.1-Beta 版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能： - 目录配额：为目录设置配额限制，控制其大小和文件数 - 目录克隆：快速地复制目录及其内容，节省时间和空间 - 一键恢复回收站文件：一次性地恢 阅读全文

摘要： 今天继续与大家分享系列文章《[50 years in filesystems](https://blog.koehntopp.info/2023/05/05/50-years-in-filesystems-1974.html)》，由 [KRISTIAN KÖHNTOPP](https://chaos 阅读全文

摘要： 有时，进步难以察觉，特别是当你正身处其中时。而对比新旧资料之间的差异，寻找那些推动变革的信息源，我们就可以清晰地看到进步的发生。在Linux（以及大部分Unix系统）中，都可以印证这一点。 Unix V7 是 Unix 操作系统的一个重要的早期版本，于 1979 年发布，是贝尔实验室最后一个广泛分发 阅读全文

摘要： 豆瓣成立于 2005 年，是中国最早的社交网站之一。在 2009 到 2019 的十年间，豆瓣数据平台经历了几轮变迁，形成了 DPark + Mesos + MooseFS 的架构。 由机房全面上云的过程中，原有这套架构并不能很好的利用云的特性，豆瓣需要做一次全面的重新选型，既要考虑未来十年的发展趋 阅读全文

摘要： AI 已经成为各行各业软件研发的基础，带来了前所未有的效率和创新。今天，我们将分享苏锐在AWS量化投研行业活动的演讲实录，为大家介绍JuiceFS 在 AI 量化投研领域的应用经验，也希望为其他正在云上构建机器学习平台，面临热点数据吞吐不足的企业提供一些启发。 1. 背景 JuiceFS 最初是为了 阅读全文

摘要： 传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像 JuiceFS 这样的分布式存储并不是必需品。 随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。AI 团队通常会面临以下几种问题： 数据集太 阅读全文

摘要： HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。 如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 阅读全文

摘要： 01- 大数据运营的挑战 & 升级思考 大数据运营面临的挑战 中国电信大数据集群每日数据量庞大，单个业务单日量级可达到 PB 级别，且存在大量过期数据（冷数据）、冗余数据，存储压力大；每个省公司都有自己的集群，以及多个收集全国各省级业务信息的集团大数据集群，导致数据分散冗余，省集群与集团集群数据无法 阅读全文