lenmom

摘要： https://www.cnblogs.com/ynyhl/p/11320797.html 阅读全文

摘要： 反压(Back Pressure)机制主要用来解决流处理系统中，处理速度比摄入速度慢的情况。是控制流处理中批次流量过载的有效手段。 1 反压机制原理 Spark Streaming中的反压机制是Spark 1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。 1.1 反压定义 当批处理时间(B 阅读全文

摘要： 1. spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --d 阅读全文

摘要： kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。 1 Kafka Quatas简介 Kafka配额管理所能配置的对象（或者说粒度）有3种： user + clien 阅读全文

摘要： 1. 客户端认证 如果kafka客户端是认证的，那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。 对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量，单位为byte/sec。cons 阅读全文