摘要: 云知声是一家专注于语音及语言处理的技术公司。**Atlas 超级计算平台是云知声的计算底层基础架构,为云知声在 AI 各个领域(如语音、自然语言处理、视觉等)的模型迭代提供训练加速等基础计算能力。**Atlas 平台深度学习算力超过 57 PFLOPS(5.7 亿亿次/秒,是的你没有看错,是亿亿次] 阅读全文
posted @ 2022-06-29 18:05 JuiceFS 阅读(474) 评论(0) 推荐(0)
摘要: etcd 是一款兼具一致性和高可用性的键值数据库,简单、安全、快速、可信,目前是 Kubernetes 的首要数据存储。我们先来看一段 etcd 官方对于名字的解释。 The name “etcd” originated from two ideas, the unix “/etc” folder 阅读全文
posted @ 2022-06-23 16:18 JuiceFS 阅读(155) 评论(0) 推荐(0)
摘要: 各位社区的伙伴, JuiceFS v1.0 RC1 今天正式发布了!这个版本中,最值得关注的是对元数据迁移备份工具 dump/load 的优化。 这个优化需求来自于某个社区重度用户,这个用户在将亿级数量文件的元数据从 Redis 迁移至 TiKV 时遇到了内存占用过高的问题,我们接到反馈后着手优化, 阅读全文
posted @ 2022-06-16 14:59 JuiceFS 阅读(213) 评论(0) 推荐(1)
摘要: 熟悉 Juicedata 的小伙伴知道,从2017年成立到第一款产品发布、从寻找PMF(Product Market Fit) 到开源,我们一直保持着一个精简的团队配置,不少人都很好奇我们是如何做到的?今天邀请Juicedata的合伙人苏锐,为大家分享各阶段用到的趁手工具。 大家好,我是 Juice 阅读全文
posted @ 2022-06-07 15:17 JuiceFS 阅读(609) 评论(0) 推荐(0)
摘要: 作者简介: 陈海峰,移动云数据库 Apache HBase 开发人员,对 Apache HBase、RBF、Apache Spark 有浓厚兴趣。 背景 Apache HBase 是 Apache Hadoop 生态体系中的大规模、可扩展、分布式的数据存储服务。同时它还是 NoSQL 数据库。它的设 阅读全文
posted @ 2022-06-01 10:45 JuiceFS 阅读(395) 评论(0) 推荐(0)
摘要: 作为承载海量数据存储的分布式文件系统,用户通常需要直观地了解整个系统的容量、文件数量、CPU 负载、磁盘 IO、缓存等指标的变化。 JuiceFS 没有重复造轮子,而是通过 Prometheus 兼容的 API 对外提供实时的状态数据,只需将其添加到用户自建的 Prometheus Server 建 阅读全文
posted @ 2022-05-25 17:47 JuiceFS 阅读(546) 评论(0) 推荐(0)
摘要: JuiceFS v1.0 beta3 在元数据引擎方面继续增强,新增 etcd 支持小于 200 万文件的使用场景,相比 Redis 可以提供更好的可用性和安全性。同时支持了 Amazon MemoryDB for Redis 和 Redis Cluster。至此,JuiceFS 支持的元数据引擎有 阅读全文
posted @ 2022-05-09 16:52 JuiceFS 阅读(263) 评论(0) 推荐(0)
摘要: 大家好,我是来自 Juicedata 的高昌健,今天想跟大家分享的主题是《JuiceFS 在数据湖存储架构上的探索》,以下是今天分享的提纲: 首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点,然后介绍什么是 JuiceFS,其次的话会再重点介绍一下关于 JuiceFS 和数据湖的一些结合和关 阅读全文
posted @ 2022-05-05 13:44 JuiceFS 阅读(656) 评论(0) 推荐(0)
摘要: 缓存预热是一个比较常见的概念,相信很多小伙伴都有所了解。对于 JuiceFS 来说,缓存预热就是将需要操作的数据预先从对象存储拉取到本地,从而获得与使用本地存储类似的性能表现。 缓存预热 JuiceFS 缓存预热是一种主动缓存手段,它可以将高频使用的数据预先缓存到本地,从而提升文件的读写效率。 使用 阅读全文
posted @ 2022-04-19 17:03 JuiceFS 阅读(715) 评论(0) 推荐(0)
摘要: 近年来,云计算已成为主流,企业从自身利益出发,或是不愿意被单一云服务商锁定,或是业务和数据冗余,或是出于成本优化考虑,会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台,业务迁移涉及到数据的迁移。正好 JuiceFS 已经对接了各种对象存储的 API ,也实现了数据同步的逻 阅读全文
posted @ 2022-04-14 16:41 JuiceFS 阅读(1023) 评论(0) 推荐(0)