技术颜良

2018年3月22日

摘要：大数据平台搭建（hadoop+spark）一.基本信息 1. 服务器基本信息 2. 软件基本信息 3.环境变量汇总 4. 基本环境配置（master、slave相同操作） 4.1 配置jdk 4.2 配置java环境变量添加如下信息 4.3 刷新配置文件： 4.4 配置hosts 4.5 配置免阅读全文

posted @ 2018-03-22 11:54 技术颜良阅读(4549) 评论(0) 推荐(1)

centos7搭建ELK Cluster集群日志分析平台

摘要：应用场景：ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。官网下载地址：https://www.elastic.co/downloads Elastics 阅读全文

posted @ 2018-03-22 11:45 技术颜良阅读(313) 评论(0) 推荐(0)

2018年3月21日

ELK 之三：Kibana 使用与Tomcat、Nginx 日志格式处理

摘要：一：kibana安装： kibana主要是搜索elasticsearch的数据，并进行数据可视化的展现，新版使用nodejs。 1、下载地址： 2、解压安装： 3、编辑配置文件： 4、直接启动： 5、验证启动: 6、后台启动： 7、访问测试：默认监听端口5601http://192.168.10.2 阅读全文

posted @ 2018-03-21 17:28 技术颜良阅读(1870) 评论(0) 推荐(1)

ELK 日志分析实例

摘要： ELK 日志分析实例一、ELK-web日志分析二、ELK-MySQL 慢查询日志分析三、ELK-SSH登陆日志分析四、ELK-vsftpd 日志分析一、ELK-web日志分析通过logstash grok正则将web日志过滤出来，输出到Elasticsearch 搜索引擎里，通过Kibana前端阅读全文

posted @ 2018-03-21 17:20 技术颜良阅读(623) 评论(0) 推荐(0)

2018年3月20日

五大常见的MySQL高可用方案

摘要： 1. 概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面： 1.1 如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。 1.2 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致阅读全文

posted @ 2018-03-20 20:59 技术颜良阅读(3633) 评论(0) 推荐(0)

理解JVM GC

摘要：理解JVM GC对于我们把控Java应用有很大的帮助。下面我从运维角度，把网上的JVM相关的资料整理如下，以加深对JVM GC的理解。如有错误的地方，请看官指正。 JVM内存使用分类 JVM的内存分区关系: 【JVM整个堆内存】=年轻代+年老代【JVM整个内存】= (堆内存) ＋非堆内存 = ( 阅读全文

posted @ 2018-03-20 16:11 技术颜良阅读(246) 评论(0) 推荐(0)

ELK logstash 处理MySQL慢查询日志

摘要：在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。 MySQL慢查询日志格式如下： 1 2 3 4 5 # User@Host: ttlsa[tt 阅读全文

posted @ 2018-03-20 15:33 技术颜良阅读(789) 评论(0) 推荐(0)

查看进程启动时间

摘要： ps -p 32752 -o lstart 阅读全文

posted @ 2018-03-20 10:54 技术颜良阅读(185) 评论(0) 推荐(0)

2018年3月19日

Linux下防御ddos攻击

摘要： SYN攻击是利用TCP/IP协议3次握手的原理，发送大量的建立连接的网络包，但不实际建立连接，最终导致被攻击服务器的网络队列被占满，无法被正常用户访问。 Linux内核提供了若干SYN相关的配置，加大SYN队列长度可以容纳更多等待连接的网络连接数，打开SYN Cookie功能可以阻止部分 SYN攻击阅读全文

posted @ 2018-03-19 09:37 技术颜良阅读(4784) 评论(0) 推荐(0)

2018年3月18日

zookeeper安装教程（zookeeper3.4.5为例）

摘要： zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。一、单机安装 1.1 下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeepe 阅读全文

posted @ 2018-03-18 14:46 技术颜良阅读(401) 评论(0) 推荐(0)

公告