摘要：
kafka是一个分布式发布订阅消息系统 名词： 生产者(producer)、消费者(consumer)、topic(一个消息又一个topic)、partition(分区) 作用1： 传输数据（ey: 埋点） kafka发送消息失败的可能：1、网络问题导致kafka的服务器无法连接； 2、生产者配置错 阅读全文
摘要：
kafaka处理数据量大速度快，即使丢失也不会影响业务的消息（例如：埋点） tdmq放不允许丢的消息、一般处理异步消息（例如：敏感音频审核、下载中心） 阅读全文
摘要：
用处：处理流式数据 1.写数据到hive（例如：埋点） 2.转化数据，将二进制转化为客户端可识别的json（例如：业务层面） 3.数据聚合（例如访问次数，错误次数等用于判断风险阈值） 优点： 1.高吞吐、低延迟、高性能兼具实时流式计算框架。 2.支持高度容错的状态管理，防止状态在计算过程中因为系统异 阅读全文