摘要：Kafka 压力测试文档 1 概述 1.1 测试背景 在云平台研发SR IAD的过程中，出现SR IAD对硬件资源消耗较为严重的情况，其中在云平台研发中利用Kafka软件对流式数据进行数据处理。我们针对Kafka高吞吐量的特性，对kafka进行压力测试。 1.2 测试目标 测试kafka的吞吐性能( 阅读全文

摘要：0.背景 有时候制作docker镜像生成容器时需要宿主机的hosts文件共享到容器中。首先想的是通过挂载的方式共享hosts文件，但是实践时发现根本行不通，hosts文件在/etc/目录下，如进行挂载将会将/etc/目录全部共享到容器中，如果容器与宿主机的系统不一致，这样挂载会给容器的微系统带来无法 阅读全文

摘要：表达式全集 常用正则表达式 阅读全文

摘要：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化/CheckPoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优 降低RDD缓存占用空间的比例：new SparkConf().set("spark.storage.memoryFraction","0.5"),从 阅读全文