会员
周边
新闻
博问
闪存
赞助商
YouClaw
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
JuiceFS
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
5
6
7
8
9
10
11
12
13
···
17
下一页
2023年8月16日
存算分离实践:构建轻量、云中立的大数据平台
摘要: > 今天我们将分享社区用户多点 DMALL 的案例。多点 DMALL 是亚洲领先的全渠道数字零售解决方案服务商,目前已与 380 家零售企业达成合作,覆盖 6 个国家和地区。 > > 面对 B 端客户日益增长的企业数据,存算一体的架构显得力不从心。计算资源冗余浪费、所依靠的CDH发行版技术栈复杂、部
阅读全文
posted @ 2023-08-16 16:57 JuiceFS
阅读(302)
评论(0)
推荐(0)
2023年8月11日
网易互娱出海之旅:大数据平台上云架构设计与实践
摘要: 2020 年初,随着网易互娱的海外业务增长与海外数据合规的需求,我们开始了网易互娱大数据离线计算平台迁移出海的工作。前期,我们采取了云主机裸机加上高性能 EBS 块存储的方案。但是,这个方案存储费用高昂,成本是国内自建机房的数十倍。 于是,我们决定在公有云上构建一个平台,这个平台不仅需要更加适应当前
阅读全文
posted @ 2023-08-11 15:21 JuiceFS
阅读(505)
评论(0)
推荐(0)
2023年8月7日
实现无限存储:基于JuiceFS 创建 Samba 和 NFS 共享
摘要: 随着企业数据量的持续增长,存储容量需求日益增大。如何采用没有容量上限的云存储替换本容量有限的本地磁盘,已成为广泛的需求和共识。特别是在企业中常用的 Samba 和 NFS 共享,如果能够使用云存储作为底层存储,就能有效解决存储扩容和本地磁盘损坏导致的数据丢失问题。 本文将以 Linux 系统为例,介
阅读全文
posted @ 2023-08-07 14:22 JuiceFS
阅读(651)
评论(0)
推荐(0)
2023年8月2日
构建易于运维的 AI 训练平台:存储选型与最佳实践
摘要: 伴随着公司业务的发展,数据量持续增长,存储平台面临新的挑战:大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂等问题。除了这些技术难题,我们基础团队的人员也比较紧张,负责存储层运维的仅有 1 名同事,因而组件的易用性,一直也是我们评估的重要维度。 我们尝试过文件系统包括有 NFS
阅读全文
posted @ 2023-08-02 16:36 JuiceFS
阅读(945)
评论(0)
推荐(2)
2023年7月14日
万字长文 | Hadoop 上云: 存算分离架构设计与迁移实践
摘要: 一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来,每年都保持着高速增长,业务的增长带来了数据量的剧增。 在过去几年中,我们按照每 1 到 2 年的规划扩容硬件,但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。 **为了解决包括扩容周期长、计算存储资源
阅读全文
posted @ 2023-07-14 14:19 JuiceFS
阅读(581)
评论(0)
推荐(0)
2023年7月7日
文件系统考古4:如何支持多个文件系统
摘要: Steve Kleiman 在 1986 年撰写了《[Vnodes: An Architecture for Multiple File System Types in Sun UNIX](https://www.semanticscholar.org/paper/Vnodes%3A-An-Arch
阅读全文
posted @ 2023-07-07 11:03 JuiceFS
阅读(336)
评论(1)
推荐(0)
2023年6月26日
文件系统考古 3:1994 - The SGI XFS Filesystem
摘要: 在 1994 年,论文《[XFS 文件系统的可扩展性](http://www.scs.stanford.edu/nyu/02fa/sched/xfs.pdf)》发表了。自 1984 年以来,计算机的发展速度变得更快,存储容量也增加了。值得注意的是,在这个时期出现了更多配备多个 CPU 的计算机,并且
阅读全文
posted @ 2023-06-26 13:44 JuiceFS
阅读(332)
评论(0)
推荐(0)
2023年6月19日
云上使用 Stable Diffusion ,模型数据如何共享和存储
摘要: 随着人工智能技术的爆发,内容生成式人工智能(AIGC)成为了当下热门领域。除了 ChatGPT 之外,文本生成图像技术更令人惊艳。 Stable Diffusion,是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同的是它允许用户自行搭配并训练自己的图像风格,这
阅读全文
posted @ 2023-06-19 16:13 JuiceFS
阅读(674)
评论(0)
推荐(0)
2023年6月14日
之江实验室: 如何基于 JuiceFS 为超异构算力集群构建存储层 ?
摘要: > 今天,高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展,在医药领域快速分析分子与蛋白之间的相互作用,发现潜在的能够有效干预疾病发生的药物分子。 之江实验室就是上述科研创新的推动者,实验室由浙江省政府主导、浙江大学等院校支持、企业参与
阅读全文
posted @ 2023-06-14 17:29 JuiceFS
阅读(445)
评论(0)
推荐(0)
2023年6月12日
JuiceFS 社区版 v1.1- Beta 发布,新增五个实用功能
摘要: 我们很高兴地宣布 JuiceFS v1.1-Beta 版本正式发布啦!这是一个功能丰富的版本,带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能: - 目录配额:为目录设置配额限制,控制其大小和文件数 - 目录克隆:快速地复制目录及其内容,节省时间和空间 - 一键恢复回收站文件:一次性地恢
阅读全文
posted @ 2023-06-12 14:42 JuiceFS
阅读(455)
评论(0)
推荐(0)
上一页
1
···
5
6
7
8
9
10
11
12
13
···
17
下一页
公告