摘要：
现象 1.kafka topic 部分分区积压 2.问题kafka 节点上一直报错:java.lang.IllegalStateException: Invalid message size: 0 [2019 09 27 14:25:09,829] ERROR [Replica Manager on 阅读全文
摘要：
原博文名称：ElasticSearch 5.0.0 安装部署常见错误或问题 原博文地址为：http://www.dajiangtai.com/community/18136.do?origin=csdn-geek&dt=1214 以下除了问题八，在部署elastic时都遇到过，问题比较常见。 问题一 阅读全文
摘要：
1. zookeeper作用 ZooKeepr在Hadoop中的应用主要有： 1.1 HDFS中NameNode的HA和YARN中ResourceManager的HA。 1.2 存储RMStateStore状态信息 2. 迁移原因 原来的方案是考虑到namenode占用cpu资源小，为了提高设备利用 阅读全文
摘要：
dnsmasq搭建文档 一．生产环境域名解析问题 之前生产环境设备较少，是通过维护master（192.168.1.1）设备的hosts文件实现的。每次新增设备后，需要在master的hosts文件中新增ip和主机名，再将master的hosts文件批量拷贝到生产所有已部署设备和新增设备。设备少时维 阅读全文
摘要：
6安装nginx 6.1安装nginx 安装 pcre，zlib，openssl，nginx 6.2生成web访问用户密码 6.3 配置代理转发 6.4配置首页 由于每个插件的端口都不同，不方便访问。自己做了一个首页来访问插件。 修改index.html 6.5启动nginx 6.6访问nginx主 阅读全文
摘要：
5.2kibana安装 5.2.1解压kibana安装包，修改config/kibana.yml中端口，服务器地址，elastic连接地址 5.2.2如果没有安装x-pack，此时可以起到kibana 5.3x-pack安装 x-pack是一个Elastic Stack的扩展，将安全，警报，监视，报 阅读全文
摘要：
1.安装环境及程序版本 操作系统： centos6.7 jdk： 1.8.0_102 elastic： 1.6.3 kibana： 1.6.3 x-pack： 1.6.3 es-sql： 1.6.3 head: master bigdesk: 2.0.0 cerebro: cerebro-0.7.2 阅读全文
摘要：
最近生产环境有个设备磁盘空间达到97%以上。 通过排查发现logstash产生的nohup.out文件有20Gb。 该日志是生产上一个重要的kafka消息消费程序，程序不能停止。而使用删除命令 删除日志肯定不起作用，日志被logstash程序占用。 通过使用 发现日志果然被logstash程序占用。 阅读全文
摘要：
yarn集群的webui地址为:http://rm:8088 执行任务后，任务的开始时间和结束时间都是utc时间，查看很不方便。 查找相关资料发现hadoop有补丁包，补丁地址:https://issues.apache.org/jira/browse/YARN-1998 补丁内容为: 所以只需要修 阅读全文
摘要：
1.新增磁盘为独立设备(例如设备上原来的磁盘为sda，sdb。新增设备为sdc) 1.1 查看已经存在的磁盘设备 1.2 执行以下命令来扫描磁盘设备，以使新磁盘在系统中可见。 1.3 查看新增的设备名称(第一步和第三步中不同的设备就是新增的设备) 2 新增磁盘空间到原有的设备(例如设备上原来的磁盘为 阅读全文