lenmom

博客园 首页 新随笔 联系 订阅 管理

2019年12月18日 #

摘要: https://www.cnblogs.com/php-linux/p/10800718.html 阅读全文
posted @ 2019-12-18 21:03 老董 阅读(673) 评论(0) 推荐(0) 编辑

2019年12月13日 #

摘要: 1. 安装部署Java 下载需要安装的软件,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html 双节安装,并配置环境变量 使用下面的命令 验证Java是否安装成功 至于怎么w 阅读全文
posted @ 2019-12-13 17:38 老董 阅读(886) 评论(0) 推荐(1) 编辑

2019年12月12日 #

摘要: kafka_start_cluster.sh kafka_stop_cluster.sh 阅读全文
posted @ 2019-12-12 10:55 老董 阅读(208) 评论(0) 推荐(0) 编辑

2019年12月11日 #

摘要: https://www.cnblogs.com/ynyhl/p/11320797.html 阅读全文
posted @ 2019-12-11 15:23 老董 阅读(321) 评论(0) 推荐(0) 编辑

摘要: 反压(Back Pressure)机制主要用来解决流处理系统中,处理速度比摄入速度慢的情况。是控制流处理中批次流量过载的有效手段。 1 反压机制原理 Spark Streaming中的反压机制是Spark 1.5.0推出的新特性,可以根据处理效率动态调整摄入速率。 1.1 反压定义 当批处理时间(B 阅读全文
posted @ 2019-12-11 14:37 老董 阅读(4652) 评论(0) 推荐(0) 编辑

摘要: 1. spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --d 阅读全文
posted @ 2019-12-11 13:49 老董 阅读(3434) 评论(0) 推荐(1) 编辑

摘要: kafka支持配额管理,从而可以对Producer和Consumer的produce&fetch操作进行流量限制,防止个别业务压爆服务器。本文主要介绍如何使用kafka的配额管理功能。 1 Kafka Quatas简介 Kafka配额管理所能配置的对象(或者说粒度)有3种: user + clien 阅读全文
posted @ 2019-12-11 13:17 老董 阅读(3299) 评论(0) 推荐(0) 编辑

摘要: 1. 客户端认证 如果kafka客户端是认证的,那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。 对clientId=clientA的客户端添加限流设置。producer_byte_rate表示每秒最多能写入到消息量,单位为byte/sec。cons 阅读全文
posted @ 2019-12-11 12:28 老董 阅读(2668) 评论(0) 推荐(0) 编辑

2019年12月10日 #

摘要: 1. 什么是阻塞队列? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空。当队列满时,存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程。 阅读全文
posted @ 2019-12-10 18:25 老董 阅读(671) 评论(0) 推荐(0) 编辑

摘要: 阻塞队列与普通的队列(LinkedList/ArrayList)相比,支持在向队列中添加元素时,队列的长度已满阻塞当前添加线程,直到队列未满或者等待超时;从队列中获取元素时,队列中元素为空 ,会将获取元素的线程阻塞,直到队列中存在元素 或者等待超时。 在JUC包中常用的阻塞队列包含ArrayBloc 阅读全文
posted @ 2019-12-10 18:24 老董 阅读(490) 评论(0) 推荐(0) 编辑