12 2018 档案

MySQL 配置文档
摘要：1. 硬件环境： 核数：8 内存：32G 磁盘空间：100G 操作系统：centos 6.5 2. my.cnf 文件配置 [client]port = 3306socket = /tmp/mysql.sockdefault-character-set = utf8mb4 [mysql]prompt 阅读全文
posted @ 2018-12-28 17:41 duaner92 阅读(198) 评论(0) 推荐(0)
flume优化
摘要：版本：1.6.0-cdh5.12.2 1. 增加JVM ，在cloudera server服务器上修改文件：/opt/cloudera/parcels/CDH-5.12.2-1.cdh5.12.2.p0.4/lib/flume-ng/bin/flume-ng JAVA_OPTS="-Xmx20m"为 阅读全文
posted @ 2018-12-24 17:01 duaner92 阅读(148) 评论(0) 推荐(0)
kafka问题汇总
摘要：1. 创建topic /opt/cloudera/parcels/KAFKA-2.0.2-1.2.0.2.p0.5/lib/kafka/bin/kafka-topics.sh --create --zookeeper duan140:2181 --replication-factor 1 --par 阅读全文
posted @ 2018-12-20 14:44 duaner92 阅读(373) 评论(0) 推荐(0)
kafka 性能测试
摘要：1. kafka官网提供测试脚本 （1） 生产者测试脚本kafka-producer-perf-test.sh 参数说明： --topic topic名称， --num-records 总共需要发送的消息数， --record-size 每个记录的字节数， --throughput 每秒钟发送的记录 阅读全文
posted @ 2018-12-17 10:07 duaner92 阅读(197) 评论(0) 推荐(0)
jmeter 测试flume http source
摘要：1. flume http source 配置详见我的另一篇博客：flume 之 http source 2. 考虑平台安全性，采用nginx反向代理 配置文件如下： 3. jmeter 添加http 测试项 3.1. 添加线程组 新建的窗口，参数选择默认，后续可根据测试要求调整。 3.2. 添加 阅读全文
posted @ 2018-12-14 14:17 duaner92 阅读(455) 评论(0) 推荐(0)
flume 之 http source
摘要：1. flume为大数据平台数据采集工具，可以根据应用场景合理定制不同的source，channel，sink 。详细分类可参考https://www.cnblogs.com/zhangyinhua/p/7803486.html#_lab2_2_3和官网：http://flume.apache.or 阅读全文
posted @ 2018-12-13 15:37 duaner92 阅读(1393) 评论(0) 推荐(0)
HBase 问题汇总
摘要：1. hbase regionserver频繁挂掉 从日志中没有发现任何错误，网上普遍答案是内存不足，所以修改hbase-env.xml文件。修改为 hbase.regionserver.msginterval改为30s。 zookeeper.session.timeout为120s hbase.c 阅读全文
posted @ 2018-12-11 15:32 duaner92 阅读(1068) 评论(0) 推荐(0)