摘要：源起：工程现阶段中间件采用的是kafka。满足了大数据的高吞吐，项目间的解耦合，也增强了工程的容错率与扩展性。但是在安全这一块还有漏洞，kafka集群中，只要网站内的任何人知道kafka集群的ip与topic,都可以肆无忌惮的往集群中的topic中发送数据与消费数据。 经过调研：kafka的sasl 阅读全文

摘要：1.框架与工作流 2 内部结构 kafka的每个主题分区的数据在 first-0（主题名-分区号）文件夹下，保存 n组xxx.log文件与xxx.index文件。log文件存发送消息的元数据，每个大小默认为1G,index为log的索引存这些消息的序号与起始地址。index每个索引大小一样，这样硬件 阅读全文

摘要：操作kafka之前，要先启动安装好的zk ，因为kafka的数据都保存在zk中，zk相当于是kafka的数据库吧。 安装的zk kafka 一定要按照书上，网上的教程，将相应的配置文件全部改成自己的，端口号，ip地址，文件目录都要一一确认无误 在后台启动kafka ./kafka-server-st 阅读全文