JuiceFS

摘要： 背景简介 环球易购创建于 2007 年，致力于打造惠通全球的 B2C 跨境电商新零售生态，2014 年通过与百圆裤业并购完成上市，上市公司「跨境通（SZ002640）」是 A 股上市跨境电商第一股。经过多年的努力，在海外市场建立了广阔的销售网络，得到了美国、欧洲等多国客户的广泛认可，公司业务多年来一 阅读全文

摘要： 文章根据 Juicedata 工程师朱唯唯，在云原生 Meetup 杭州站所作主题演讲《JuiceFS CSI Driver 的最佳实践》整理而成。 大家好，我是来自 Juicedata 的朱唯唯，现在主要负责 JuiceFS CSI Driver 方面的开发，很高兴今天有这个机会跟大家做一个分享和 阅读全文

摘要： 自动驾驶是最近几年的热门领域，专注于自动驾驶技术的创业公司、新造车企业、传统车厂都在这个领域投入了大量的资源，推动着 L4、L5 级别自动驾驶体验能尽早进入我们的日常生活。 自动驾驶技术实现的核心环节是自动驾驶模型的训练，训练数据是由汽车实际采集回来的真实道路驾驶视频，数据规模有数 PB 到数十 P 阅读全文

摘要： 作者简介 王振华，趣头条大数据总监，趣头条大数据负责人。 王海胜，趣头条大数据工程师，10 年互联网工作经验，曾在 eBay、唯品会等公司从事大数据开发相关工作，有丰富的大数据落地经验。 高昌健，Juicedata 解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位 阅读全文

摘要： 背景 ClickHouse 作为开源 OLAP 引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。区别于 Hadoop 生态组件通常依赖 HDFS 作为底层的数据存储，ClickHouse 使用本地盘来自己管理数据，官方推荐使用 SSD 作为存储介质来提升性能。但受限于本地盘的容量上限以及 S 阅读全文

摘要： 背景 稿定科技旗下稿定设计产品是一个聚焦商业设计的多场景在线设计平台，打破了软硬件间的技术限制，汇集创意内容与设计工具于一体，为不同场景下的设计需求提供优质的解决方案，满足图片、视频等全类型媒介的设计需求，让设计更简单。 稿定科技使用 Elasticsearch（下文中简称为 ES） 作为日志检索组 阅读全文

摘要： 本文来自 shopee 技术团队 摘要 Shopee ClickHouse 是一款基于开源数据库 ClickHouse 做二次开发、架构演进的高可用分布式分析型数据库。本文将主要介绍 Shopee ClickHouse 的冷热分离存储架构和支持公司业务的实践。 Shopee ClickHouse 的 阅读全文

摘要： 什么是文件系统？ 文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化： 数据是以文件的形式存在，提供 Open、Read、Write、Seek、Close 等API 进行访问； 文件以树形目录进行组织， 阅读全文

摘要： 小伙伴们大家好，JuiceFS v0.17 在国庆小长假来临之际如期发布了！这是我们在 2021 年秋季推出的第二个版本，让我们直奔主题，看看都有哪些新变化吧。 本次更新累计 80+ 提交，共有 9 位来自 JuiceFS 社区的小伙伴在 GitHub 上贡献代码。在这里，我们向每一位贡献者表示最诚 阅读全文

摘要： 背景 海量且优质的数据集是一个好的 AI 模型的基石之一，如何存储、管理这些数据集，以及在模型训练时提升 I/O 效率一直都是 AI 平台工程师和算法科学家特别关注的事情。不论是单机训练还是分布式训练，I/O 的性能都会显著影响整体 pipeline 的效率，甚至是最终的模型质量。 我们也逐渐看到容 阅读全文