Window Kafka使用(.Net)

一：环境搭建（windows）

安装jdk1.8，新建环境变量
JAVA_HOME D:\Program_Files\Java\jdk1.8.0_131

1.1 安装zookeeper
下载最新版zookeeper，http://www.apache.org/dyn/closer.cgi/zookeeper/
修改系统环境变量，在Path后添加 ;D:\Program_Files\apache-zookeeper-3.7.0\bin
复制conf\zoo_sample.cfg，重命名zoo.cfg，修改zoo.cfg中的dataDir，并添加一行dataLogDir
dataDir=D:/Program_Files/apache-zookeeper-3.7.0/data
dataLogDir=D:/Program_Files/apache-zookeeper-3.7.0/log

启动zkServer，cmd -> zkServer 

2.2 安装kafka
下载最新版kafka，http://kafka.apache.org/downloads
添加系统环境变量，在Path后添加 ;D:\Program_Files\kafka_2.13-2.8.0\bin\windows

解压到指定路径，如：E:\kafka_2.12-0.10.2.0
修改kafka_2.13-2.8.0\config目录下的server.properties中 log.dirs的值
log.dirs=D:/Program_Files/kafka_2.13-2.8.0/kafka-logs

启动kafka，cmd

d:
cd D:\Program_Files\kafka_2.13-2.8.0
.\bin\windows\kafka-server-start.bat .\config\server.properties

 

 

二：测试
运行cmd命令行，创建一个topic，命令如下：
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
再打开一个cmd，创建一个Producer，命令如下：
kafka-console-producer.bat --broker-list localhost:9092 --topic test
再打开一个cmd，创建一个Customer，命令如下：
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

 

程序添加Nuget

 

using Confluent.Kafka;
using System;
using System.Collections.Generic;
using System.Threading;

namespace KafKaNet
{
    class Program
    {
        // localhost
        static void Main(string[] args)
        {
            ThreadPool.QueueUserWorkItem(new WaitCallback(Consumer));

            Produce();
        }

        /// <summary>
        /// 生产者
        /// </summary>
        public static void Produce()
        {
            var config = new ProducerConfig { BootstrapServers = "localhost:9092" };

            Action<DeliveryReport<Null, string>> handler = r =>
                Console.WriteLine(!r.Error.IsError
                    ? $"Delivered message to {r.TopicPartitionOffset}"
                    : $"Delivery Error: {r.Error.Reason}");


            using (var p = new ProducerBuilder<Null, string>(config).Build())
            {
                try
                {
                    for (var i = 1; i <= 10; i++)
                    {
                        p.Produce("test", new Message<Null, string> { Value = $"my111 message: {i}" }, handler);
                    }

                    p.Flush(TimeSpan.FromSeconds(3)); // 超时时间
                }
                catch (ProduceException<Null, string> e)
                {
                    Console.WriteLine($"Delivery failed: {e.Error.Reason}");
                }
            }
            Console.WriteLine("Done!");
            Console.ReadKey();
        }

        /// <summary>
        /// 消费者
        /// </summary>
        public static void Consumer(object obj)
        {
            var conf = new ConsumerConfig
            {
                GroupId = "test-consumer-group",
                BootstrapServers = "localhost:9092",
                AutoOffsetReset = AutoOffsetReset.Earliest, 
                EnableAutoCommit = false // 设置非自动偏移，业务逻辑完成后手动处理偏移，防止数据丢失
            };

            using (var c = new ConsumerBuilder<Ignore, string>(conf).Build())
            {
                c.Subscribe("test");
                 
                try
                {
                    while (true)
                    {
                        try
                        { 
                            var consume = c.Consume();
                            string receiveMsg = consume.Message.Value;
                            Console.WriteLine($"Consumed message '{receiveMsg}' at: '{consume.TopicPartitionOffset}'.");
                             
                            if (true)
                            {
                                c.Commit(new List<TopicPartitionOffset>() { consume.TopicPartitionOffset }); //手动提交偏移
                            }
                        }
                        catch (ConsumeException e)
                        {
                            Console.WriteLine($"Error occured: {e.Error.Reason}");
                        }
                    }
                }
                catch (OperationCanceledException)
                { 
                    c.Close();
                }
            }
        }
    }
}

 

kafka存在问题

1. 数据丢失

2. 重复消费问题（已经消费了数据，但是offset没来得及提交）

 

消费者选择自动提交还是手动提交

问题一：已经消费的数据对于kakfa来说，会将该消费组里面的offset值进行修改。什么时候去修改的？
当数据被消费者拿去之后就自动提交，而不关注消费者是否成功消费，如果消费者端出现故障，就会导致此条数据没有被消费，继续运行就会导致此数据丢失
如果消费者成功消费此数据，而在提交的过程的出现故障，会导致再次发送此数据到消费者，继续运行就会到此数据重复提交
kafka没有提供一个绝对安全的方案，只提供了多种选择来供用户解决此类问题

问题二：比如消费者拿到数据之后，存入到mysql数据库中。但是mysql数据库这个时候，连接不上，抛出异常。但是在处理的时候已经进行提交了，那么kafka上的offset值已经修改了，可是mysql数据库中没有数据--数据丢失

解决方案：可以将数据在处理完成之后，再进行提交，然后进行offset值的修改。默认情况下是自动提交，需要修改为手动提交。

问题三：如果在处理代码中正常处理了，但是在提交的offset请求时，没有连接到kafka或者出翔了故障，那么该次请求，是失败的。那么下次进行读取同一个分区的数据时，会从已经处理掉的offset值在进行处理一次，那么在hbase中就会产生两条一样的数据，也就是重复提交