JuiceFS

摘要： Kubernetes 作为资源调度和应用编排的开源系统，正在成为云计算和现代 IT 基础架构的通用平台。JuiceFS CSI Driver 实现了容器编排系统的存储接口，使得用户可以在 Kubernetes 中以原生的方式使用 JuiceFS。 由于 Kubernetes 自身的复杂性，用户反馈在 阅读全文

摘要： 为了使 JuiceFS 的发展更贴合用户的真实需求，我们在三周前向社区发出了一份调研问卷。此次调研面向已经将 JuiceFS 应用于生产环境的用户，了解其在应用 JuiceFS 前和使用中的体验与评价。 参与此次调研的用户，大型企业占比最高，有 43% 来自1000人及以上的企业；24% 来自50- 阅读全文

摘要： 01 Elasticsearch 广泛使用带来的成本问题 Elasticsearch（下文简称“ES”）是一个分布式的搜索引擎，还可作为分布式数据库来使用，常用于日志处理、分析和搜索等场景；在运维排障层面，ES 组成的 ELK（Elasticsearch+ Logstash+ Kibana）解决方案 阅读全文

摘要： 元数据是存储系统的核心大脑，元数据性能对整个大数据平台的性能和扩展能力至关重要。尤其在处理海量文件的时候。在平台任务创建、运行和结束提交阶段，会存在大量的元数据 create，open，rename 和 delete 操作。因此，在进行文件系统选型时，元数据性能可谓是首当其冲需要考量的一个因素。 目 阅读全文

摘要： 背景 乾象投资 Metabit Trading 成立于2018年，是一家以人工智能为核心的科技型量化投资公司。核心成员毕业于 Stanford、CMU、清北等高校。目前，管理规模已突破 30 亿元人民币。 Metabit 非常重视基础平台的建设，有一支强大的 Research Infrastruct 阅读全文

摘要： 当用户在进行文件系统选型时，POSIX 语义兼容性是必不可缺的一项考察指标。JuiceFS 一直非常重视对 POSIX 标准的高度兼容，在持续完善功能、提高性能的同时，尽力保持最大程度的 POSIX 兼容性。 近期，就 POSIX 兼容性，我们对腾讯云 CFS、阿里云 NAS、华为云SFS、 GCP 阅读全文

摘要： 文件系统是我们常见的存储形式，内部主要由数据和元数据两部分组成。其中数据是文件的具体内容，通常会直接展现给用户；而元数据是描述数据的数据，用来记录文件属性、目录结构、数据存储位置等。一般来说，元数据有非常鲜明的特点，即占用空间较小，但访问非常频繁。 当今的分布式文件系统中，有的（如 S3FS）会将元 阅读全文

摘要： 企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。 同时，在存储介质方面，随着云计 阅读全文

摘要： Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来， 存算分离的架构受到青睐，企业开开始对 Hadoop 的架构进行改造。 今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构 阅读全文

摘要： 近期，Fluid 支持了阿里云 ECI 应用，并将 JuiceFS Runtime Controller 设置为默认安装；JuiceFS 也就此功能与 Fluid 完成了集成和测试工作。 用户可以在 ECI 环境中使用JuiceFS， 体验计算与存储的双重极致弹性。 （还不了解 JuiceFS Ru 阅读全文