嘣嘣嚓

摘要：Kafka-如何保证消费者的可靠性 只有那些被提交到kafka的数据，也就是那些已经被写入所有同步副本的数据，对消费者是可用的，这意味着消费者得到的消息已经具备了一致性。消费者唯一要做的是跟踪哪些消息是已经读取过的，哪些是还没有读取过的。这是在读取消息时不丢失消息的关键。 在从分区读取数据时，消费者 阅读全文

摘要：Kafka-如何保证生产者的可靠性 即使我们尽可能把broker配置的很可靠，但如果没有对生产者进行可靠性方面的配置，整个系统仍然有可能出现突发性的数据丢失。 举例： 为broker配置了3个副本，并且禁用了不完全首领选举，这样应该可以保证万无一失。我们把生产者发送消息的acks设为1（只要首领接收 阅读全文

摘要：Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf 阅读全文

摘要：SparkStreaming-运行架构 SparkStreaming相对其他流处理系统最大的优势在于流处理引擎和数据处理在同一个软件栈，其中SparkStreaming功能主要包括流处理引擎的流数据接收与存储以及批处理作业的生成与管理，而spark核心负责处理SparkStreaming发送过来的作 阅读全文

摘要：Kafka-键的删除 如果只为每个键保留最近的一个消息，那么当需要删除某个特定键所对应的所有消息时，需要怎么做？比如一个用户不再使用我们的服务，那么完全可以把与这个用户相关的所有信息从系统中删除。 为了彻底把一个键从系统里删除，应用程序必须发送一个包含该键且值为null的消息。清理线程发现该消息时， 阅读全文