摘要:我们很高兴地宣布 StreamNative 开源了 “MoP”(MQTT on Pulsar)。MoP 将 MQTT 协议处理插件引入 Pulsar broker。这样一来,Apache Pulsar 就可以支持原生 MQTT 协议。 与 KoP 相似,MoP 是一种可插拔的协议处理插件。将 MoP
阅读全文
摘要:Pulsar Summit 是 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Commiter 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法
阅读全文
摘要:本专访是开源中国 OSChina 对 StreamNative 联合创始人兼CTO、Apache Pulsar PMC 翟佳的采访内容。在本采访中,主要介绍了 Apache Pulsar 作为云原生流数据工具在消息处理领域的优势特性、与 Kafka 的一些对比概要以及 StreamNative 公司
阅读全文
摘要:关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性
阅读全文
摘要:在一些流数据用例场景中,用户希望将数据长时间存储在流中。虽然 Apache Pulsar 对 topic backlog 的大小没有限制,但将所有数据存储在 Pulsar 中较长时间,存储成本比较大。 本文介绍了 Apache Pulsar 的分层存储特性(在 2.1 及之后的版本可用),分层存储支
阅读全文
摘要:原文作者为 Luk Perkins,来自 Splunk 团队。 文章翻译已获得原作者授权。 消息队列是大多数大规模数据架构的主要组件。如果必须对数据进行实时处理,那么使用消息队列是很好的选择。 数据处理管道会发生各种故障,数据 consumer 可能会受到延迟或完全不能工作,网络分区可能会暂时切断整
阅读全文
摘要:简介 ApacheCon 是 Apache 软件基金会举办的年度社区盛会,汇聚众多 Apache 项目与社区成员,交流思想、共话协作,大会议题从大数据到机器学习、Web 框架等都有覆盖,是了解和熟悉未来科技发展趋势的绝佳窗口。 2020 年 ApacheCon 大会全程线上举办,从 9 月 29 日
阅读全文
摘要:关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等。 导语 各位
阅读全文
摘要:腾讯 Angel PowerFL 联邦学习平台 联邦学习作为新一代人工智能基础技术,通过解决数据隐私与数据孤岛问题,重塑金融、医疗、城市安防等领域。 腾讯 Angel PowerFL 联邦学习平台构建在 Angel 机器学习平台上,利用 Angel-PS 支持万亿级模型训练的能力,将很多在 Wor
阅读全文
摘要:经过不断地努力,社区成功发布 Pulsar Flink Connector 2.5.0 版本。Pulsar Flink Connector 集成了 Apache Pulsar 和 Apache Flink(数据处理引擎),允许 Apache Flink 向 Apache Pulsar 读写数据。 项
阅读全文
摘要:关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等。 导语 各位
阅读全文
摘要:本期 TGIP-CN 直播,我们邀请到了来自中国移动云能力中心的张浩,他在 AMQP on Pulsar 项目中参与了很多,也一起协助推进了项目的开发与更新,接下来的内容主要基于此次直播中关于 AoP 的一些介绍和细节干货。 相关背景 首先一个很重要的问题,就是我们移动内部为什么要自己做 AMQP
阅读全文
摘要:近日,开源流数据公司 StreamNative 宣布正式加入云原生计算基金会 CNCF(全称:Cloud Native Computing Foundation ),成为 CNCF 共建云原生社区的重要合作伙伴。 Cloud Native Computing Foundation,简称 CNCF,是
阅读全文
摘要:非常荣幸有机会和大家分享一下 Apache Pulsar 怎样为批流处理提供融合的存储。希望今天的分享对做大数据处理的同学能有帮助和启发。 这次分享,主要分为四个部分: 介绍与其他消息系统相比, Apache Pulsar 的独特优势 分析批流处理中的存储需求 讲述 Apache Pulsar 如何
阅读全文