IT备忘录

摘要： 需求 实现一个简单的双 interceptor 组成的拦截链。第一个 interceptor 会在消息发送前将时间戳信息加到消息 value 的最前部；第二个 interceptor 会在消息发送后更新成功发送消息数或失败发送消息数。 第一个拦截器，添加时间戳 public class TimeIn 阅读全文

摘要： 消费者api，自动提交offset public class MyConsumer { public static void main(String[] args) { Properties props = new Properties(); //连接的集群 props.put(ConsumerCo 阅读全文

摘要： 一 生产者基本API 创建主题 bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --topic first --replication-factor 2 --partitions 2 生产者代码 1 public class MyPro 阅读全文

摘要： 一 泛型类 在类Message[E]上标注泛型为E，则E可以在整个类中使用 object ScalaDemo { def main(args: Array[String]): Unit = { val msg = new Message[String]("hello") println(msg.ge 阅读全文

摘要： 1.求和 def sum(num: Int): Int = if (num == 1) 1 else num + sum(num - 1) 2.求最大值 def max(list: List[Int]): Int = { if (list.size == 1) { list.head } else 阅读全文

摘要： 1.消费者用--bootstrap-server方式启动，消费的偏移量offset保存在broker的一个主题_consumer_offsets里，此主题默认50个分区。 2.zk中的version-2文件夹存储了关于kafka的一些数据。 3.server.properties里的log.dir项 阅读全文

摘要： 没有名字的函数就是匿名函数，如下map中传递就是一段匿名函数 list.map((n: Int) => n + 1) 参数类型推断案例1，单个参数 ①因为map中函数的参数类型是可以推断出来的，所以可以省略类型。所谓可以推断，list的泛型和map参数要求的泛型已经确定。 list.map((n) 阅读全文

摘要： 一、函数作为参数 highOrderFunc是一个高阶函数，因为它可以接收一个函数作为参数 object PartialFunctionDemo { def main(args: Array[String]): Unit = { val add = (d: Double) => d + 1 val 阅读全文

摘要： 问题的提出：一个集合中有数字有字符串，如何将其中的数字加1并返回一个新集合呢？使用传统的操作需要经过过滤转换再映射多步操作，而使用偏函数可一步完成。（实际上底层还是多步操作） object PartialFunctionDemo { def main(args: Array[String]): Un 阅读全文

摘要： 一、Kafka架构 Producer ：消息生产者，就是向 kafka broker 发消息的客户端； Consumer ：消息消费者，向 kafka broker 取消息的客户端； Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分 阅读全文