01 2020 档案

摘要:1. 问题 比如说我们建了一个 topic,有三个 partition。生产者在写的时候,其实可以指定一个 key,比如说我们指定了某个订单 id 作为 key,那么这个订单相关的数据,一定会被分发到同一个 partition 中去,而且这个 partition 中的数据一定是有顺序的。消费者从 p 阅读全文
posted @ 2020-01-14 16:49 xiaolaotou 阅读(2016) 评论(2) 推荐(0)
摘要:转载:https://www.iteblog.com/archives/1591.html 当我们正确地部署好Spark Streaming,我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性,你需要满足以下几个先决条件: 1、输入的数据来自可靠的数据源和可靠的 阅读全文
posted @ 2020-01-03 14:49 xiaolaotou 阅读(851) 评论(0) 推荐(0)