嘣嘣嚓

摘要： Kafka-消费者基础使用及常用参数解析 消费者和消费者群组 kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题一部分分区的消息。 假设主题T1有4个分区，我们创建了消费者C1，它是群组G1里唯一的消费者，我们用它订阅主题T1。消费者C1将收到主题T1全部的4 阅读全文

摘要： Kafka-分区 kafka的消息时一个个键值对，ProducerRecord对象可以包含目标主题和值，键可以设置为默认的null，不过大多数应用程序会用到键。 键有两个用途；可以作为消息的附加信息，也可以用来决定消息该被写到主题的哪个分区。拥有相同键的消息将被写到同一个分区。 如果键值为null， 阅读全文

摘要： Kafka-序列化器 自定义序列化器 不建议使用自定义序列化器，因为如果序列化器需要新增字段，则会出现新旧消息不兼容问题。推荐使用已知的序列化器和反序列化器，如JSON、Avro、Thrift或Protobuf. /** * @Author FengZhen * @Date 2020-03-30 2 阅读全文

摘要： Kafka-生产者 生产者发送消息流程 1.新建ProducerRecord对象，包含目标主题和要发送的内容。也可以指定键或分区 2.发送ProducerRecord对象时，生产者要把键和值对象序列化成字节数组，这样它们才能在网络上传输 3.数据被传给分区器。 如果ProducerRecord对象中 阅读全文

摘要： Kafka-硬件的选择 磁盘吞吐量（重要，影响生产者） 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存，大多数客户端在发送消息后会一直等待，直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快，生成消息的延迟就越低。 磁盘容量（制约集群规模） 阅读全文

摘要： Kafka-broker配置 常规配置 broker.id 每个broker都需要有一个标识符，使用broker.id来表示。它的默认值是0，也可以被设置成其它任意整数。这个值在整个kafka集群里必须是唯一的。 port 默认配置中，kafka会监听9092端口。port可以改为任意可用端口。 需 阅读全文

摘要： Kafka-安装使用 kafka使用zookeeper保存broker的元数据，所以安装kafka之前需要先安装zookeeper 安装zookeeper 1.准备安装包，解压 此处使用 zookeeper-3.4.9 2.编辑配置文件 在zookeeper根目录下，新建一个数据文件夹data(我用 阅读全文

摘要： Kafka-为什么选择kafka(kafka的优点) 多个生产者 kafka可以无缝的支持多个生产者，不管客户端在使用单个主题还是多个主题。所以它很适合用来从多个前端系统手机数据，并以同一的格式对外提供数据。 例如:一个包含了多个微服务的网站，可以为页面视图创建一个单独的主题，所有服务都以相同的消息 阅读全文

摘要： Kafka-常用术语(消息、生产者、消费者、集群、broker解释) 消息和批次 kafka的数据单元被称为消息。类似于数据库表中的一行数据。 消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。 消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的 阅读全文

摘要： SVD(隐语义模型)协同过滤 隐语义模型，数学上称为SVD，奇异值分解。该算法最早在文本挖掘领域被提出，用于找到文章的隐含主题，也被称为主题模型。 隐语义模型的核心思想是通过隐含特征（Latent Factor）计算用户和物品的相似性。 SVD是将矩阵A分解成以下形式 A=U∑VT 其中U和V均为单 阅读全文