哈喽哈喽111111

2019年10月8日

摘要： CSF是国外一家小公司开发的linux系统免费防火墙，它基于iptables工作，能有效缓解服务器压力，具有自动屏蔽暴力破解密码IP、管理开放端口、免疫轻量DDos和CC等等功能，同时，安装和使用也极为简便，在我们常用的DA和CP面板还有图形化操作界面，也支持个人普通用户安装于LNMP环境下使用。阅读全文

posted @ 2019-10-08 16:44 哈喽哈喽111111 阅读(1124) 评论(0) 推荐(0) 编辑

RHEL8运维新利器--Cockpit使用方法

摘要：在web浏览器中查看服务器并使用鼠标执行系统任务,很容易管理存储、配置网络和检查日志等操作。打开浏览器，输入 https://ip地址:9090 使用系统用户登录即可登陆后右上角可以设置语言其他功能有待慢慢发掘阅读全文

posted @ 2019-10-08 15:14 哈喽哈喽111111 阅读(5011) 评论(0) 推荐(2) 编辑

RHEL8配置本地yum源

摘要：在RHEL8中把软件源分成了两部分一个是BaseOS,一个是AppStream. 在Red Hat Enterprise Linux 8.0中，统一的ISO自动加载BaseOS和AppStream安装源存储库。已经存在于光盘中，只不过要分别去配置.repo文件 BaseOS存储库旨在提供一套核心的阅读全文

posted @ 2019-10-08 15:01 哈喽哈喽111111 阅读(11392) 评论(0) 推荐(1) 编辑

使用logstash从Kafka中拉取数据并传输给elasticsearch且创建相应索引的操作

摘要：注意事项：默认Kafka传递给elastci的数据是在'data'字段,且不包含其他数据，所以需要使用额外的操作进行处理 logstash配置文件操作阅读全文

posted @ 2019-10-08 11:14 哈喽哈喽111111 阅读(1819) 评论(0) 推荐(0) 编辑

2019年9月28日

CentOS 7安装Maven

摘要：阅读全文

posted @ 2019-09-28 16:32 哈喽哈喽111111 阅读(1427) 评论(0) 推荐(0) 编辑

2019年9月27日

使用filebeat给多个logstash传输数据

摘要： 1. filebeat.yml 2. logstash.conf 阅读全文

posted @ 2019-09-27 14:45 哈喽哈喽111111 阅读(2026) 评论(0) 推荐(0) 编辑

2019年9月26日

修改Docker默认镜像和容器的存储位置

摘要： ```bash # Docker默认的镜像和容器存储位置在/var/lib/docker中 # 修改docker.service文件 vim /lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd --graph=/data/docker --storage-driver=overlay --registry-mirror=htt 阅读全文

posted @ 2019-09-26 17:02 哈喽哈喽111111 阅读(3876) 评论(0) 推荐(0) 编辑

2019年9月25日

使用SQL语句查询Elasticsearch索引数据

摘要： Elasticsearch 的官方查询语言是 Query DSL，存在毕竟有存在的道理，存在即合理。SQL 作为一个数据库查询语言，它语法简洁，书写方便而且大部分服务端程序员都清楚了解和熟知它的写法。但是作为一个 ES 萌新来说，就算他已经是一位编程界的老江湖，但是如果他不熟悉 ES ，那么他如果要阅读全文

posted @ 2019-09-25 11:48 哈喽哈喽111111 阅读(5357) 评论(0) 推荐(0) 编辑

2019年9月24日

使用python操作zookeeper

摘要： kazoo 介绍 zookeeper的开发接口以前主要以java和c为主，随着python项目越来越多的使用zookeeper作为分布式集群实现，python的zookeeper接口也出现了很多，现在主流的纯python的zookeeper接口是kazoo。因此如何使用kazoo开发基于python 阅读全文

posted @ 2019-09-24 17:04 哈喽哈喽111111 阅读(11369) 评论(0) 推荐(1) 编辑

使用python操作kafka

摘要：使用python操作kafka目前比较常用的库是kafka python库安装kafka python 生产者 producer_test.py 执行此程序，它没有输出！这个是正常的消费者执行此程序，此时会hold住，因为它在等待生产者发送消息！再次执行生产者，此时会输出：阅读全文

posted @ 2019-09-24 16:46 哈喽哈喽111111 阅读(20328) 评论(0) 推荐(3) 编辑

Docker容器跨主机通信之：OVS+GRE

摘要：文章链接：https://www.cnblogs.com/xiao987334176/p/11405416.html 阅读全文

posted @ 2019-09-24 16:26 哈喽哈喽111111 阅读(324) 评论(0) 推荐(0) 编辑

Docker Swarm部署集群

摘要：文章链接：https://www.cnblogs.com/xiao987334176/p/11405971.html 阅读全文

posted @ 2019-09-24 16:25 哈喽哈喽111111 阅读(182) 评论(0) 推荐(0) 编辑

不同主机的docker内容器通过直接路由的方式进行通信

摘要：引用文章链接：https://www.cnblogs.com/xiao987334176/p/10049844.html 六、操作总结 1. 修改不同主机上docker默认的网络参数 2. 每个主机添加路由规则永久生效的话需要添加到文件中 3. 每个主机上添加路由规则永久生效的话需要添加到文件中阅读全文

posted @ 2019-09-24 16:01 哈喽哈喽111111 阅读(767) 评论(0) 推荐(0) 编辑

Centos系统修改docker默认网络参数

摘要：刚Yum装完发现是没有网上所说的/etc/default/docker文件的，自己vim后其实也是不生效的。因为Docker的systemd启动脚本(/usr/lib/systemd/system/docker.service)，默认是没有加载到环境变量中的。添加的2行说明：自定义的docke 阅读全文

posted @ 2019-09-24 15:33 哈喽哈喽111111 阅读(2555) 评论(0) 推荐(0) 编辑

docker推送镜像到docker本地仓库报错：http: server gave HTTP response to HTTPS client

摘要：因为Docker从1.3.X之后，与docker registry交互默认使用的是https，然而此处搭建的私有仓库只提供http服务，所以当与私有仓库交互时就会报上面的错误。解决办法： "registry mirrors"：表示的是使用的阿里云镜像 "insecure registries"：解阅读全文

posted @ 2019-09-24 14:53 哈喽哈喽111111 阅读(1711) 评论(0) 推荐(0) 编辑

2019年9月23日

使用kafka-eagle监控Kafka

摘要： ```bash # 监控kafka集群，开启监控趋势图使用 # 有一个问题，需要在kafka-server-start.sh文件中配置端口，有如下三种办法 # 第一种：复制并修改kafka目录，比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种：在启动脚本start.sh中添加指定端口 # 第三种：多复制几个kafka 阅读全文

posted @ 2019-09-23 18:19 哈喽哈喽111111 阅读(3055) 评论(0) 推荐(0) 编辑

kafka集群搭建

摘要： ```bash # kafka集群，伪集群 cd /usr/local/src wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz tar -zxv -f kafka_2.12-2.3.0.tgz -C /usr/local/ cd /usr/local/kafka_2.12-2.3.0/... 阅读全文

posted @ 2019-09-23 18:17 哈喽哈喽111111 阅读(270) 评论(0) 推荐(0) 编辑

更改：把redis替换成kafka

摘要：之前的流程是：filebeat，redis，logstash，elasticsearch 现在的流程是：filebeat，Kafka(zookeeper)，logstash，elasticsearch zookeeper集群，使用ZK UI提供的web界面 kafka集群，使用的是kafka eag 阅读全文

posted @ 2019-09-23 18:15 哈喽哈喽111111 阅读(972) 评论(0) 推荐(0) 编辑

2019年9月20日

mysql+canal+kafka+elasticsearch构建数据查询平台

摘要： 1. 实验环境 CPU:4 内存：8G ip:192.168.0.187 开启iptables防火墙关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文

posted @ 2019-09-20 18:28 哈喽哈喽111111 阅读(5635) 评论(3) 推荐(0) 编辑

zookeeper集群搭建

摘要：本例搭建的是伪集群模式，即一台机器上启动三个zookeeper实例组成集群，真正的集群模式无非就是实例IP地址不同，搭建方法没有区别配置JAVA环境，检验环境： `echo ${JAVA_HOME}` 阅读全文

posted @ 2019-09-20 14:15 哈喽哈喽111111 阅读(601) 评论(0) 推荐(0) 编辑

另类--kafka集群中jmx端口设置

摘要： ``` # 监控kafka集群 # 有一个问题，需要在kafka-server-start.sh文件中配置端口，有如下三种办法 # 第一种：复制并修改kafka目录，比如kafka-1,kafka-2,kafka-3,然后再每个目录下修改kafka-server-start.sh文件 # 第二种：在启动脚本start.sh中添加指定端口 # 第三种：多复制几个kafka-server-start.... 阅读全文

posted @ 2019-09-20 14:12 哈喽哈喽111111 阅读(858) 评论(0) 推荐(0) 编辑

kafka集群中jmx端口设置

摘要： jmx端口主要用来监控kafka集群的。在启动kafka的脚本kafka server start.sh中找到堆设置或者在启动脚本中添加如下：阅读全文

posted @ 2019-09-20 14:11 哈喽哈喽111111 阅读(3151) 评论(0) 推荐(0) 编辑

使用zookeeper报错 stat is not executed because it is not in the whitelist. envi is not executed because it is not in the whitelist.

摘要：在使用四字命令或者zk ui界面查看zookeeper集群时，出现如下提示：解决办法阅读全文

posted @ 2019-09-20 10:41 哈喽哈喽111111 阅读(3973) 评论(0) 推荐(0) 编辑

2019年9月19日

使用python的kazoo模块连接zookeeper实现最基本的增删改查

摘要： kazoo的官方文档地址：https://kazoo.readthedocs.io/en/latest/index.html 阅读全文

posted @ 2019-09-19 17:16 哈喽哈喽111111 阅读(1505) 评论(0) 推荐(0) 编辑

Maven之阿里云镜像仓库配置

摘要： 1. 全局配置添加阿里云的镜像到maven的setting.xml配置中，这样就不需要每次在pom中，添加镜像仓库的配置，在mirrors节点下面添加子节点：注：可以设置为哪个中央仓库做镜像，为名为“central”的中央仓库做镜像，写作central;为所有中央仓库做镜像，写作。Maven默阅读全文

posted @ 2019-09-19 16:47 哈喽哈喽111111 阅读(17711) 评论(0) 推荐(1) 编辑

通过yum安装maven

摘要：安装maven 查找maven安装路径配置文件路径阅读全文

posted @ 2019-09-19 16:43 哈喽哈喽111111 阅读(13318) 评论(0) 推荐(1) 编辑

zk ui安装 (选装，页面查看zk的数据)

摘要： ```bash # 使用WEB UI查看监控集群-zk ui安装 cd /usr/local git clone https://github.com/DeemOpen/zkui.git yum install -y maven # 更换使用阿里云maven源 vim /etc/maven/settings.xml nexus-aliyun ... 阅读全文

posted @ 2019-09-19 16:29 哈喽哈喽111111 阅读(679) 评论(0) 推荐(0) 编辑

2019年9月18日

安装运行zookeeper的坑

摘要：从官网下载zookeeper的地址中有俩文件一个是apache zookeeper 3.5.5.tar.gz ，另一个是apache zookeeper 3.5.5 bin.tar.gz 若是使用前者，运行的话会报错：Error: Could not find or load main class 阅读全文

posted @ 2019-09-18 17:01 哈喽哈喽111111 阅读(946) 评论(0) 推荐(0) 编辑

2019年9月16日

部署java应用的几种方式

摘要： 1. J2EE应用该应用根目录下有好多文件夹和以jsp结尾的文件部署时，需要在tomcat的conf目录下的server.xml文件中添加上``,用来确当具体的代码路径通常来说，Springboot 部署会采用两种方式：全部打包成一个jar，或者打包成一个war。 2. maven项目 war 阅读全文

posted @ 2019-09-16 17:09 哈喽哈喽111111 阅读(1685) 评论(0) 推荐(0) 编辑

2019年9月11日

解决sudo用户找不到环境变量的问题

摘要：出于安全方面的考虑，使用sudo执行命令将在一个最小化的环境中执行，环境变量都重置成默认状态。所以PATH这个变量不包括用户自定义设置的内容在sudo用户的主目录里的.bashrc中添加如下内容即可解决有这样一个shell脚本，其内容如下，没有给其x权限参考连接：https://blog.cs 阅读全文

posted @ 2019-09-11 12:10 哈喽哈喽111111 阅读(1808) 评论(0) 推荐(0) 编辑

2019年9月5日

Python装饰器详解

摘要： 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 """ 4 __ ~~~~~~~~~~~ ___ 5 . . ~~// ...... __--~ ~~ 6 -. \_|// |||\\ ~~~~~~::::... /~ 7 ___ _ _-~o~ \/ ||| \\ _/~~- 8 __ ~~~.==~||\=_ -_--~/_-~|- |\ 阅读全文

posted @ 2019-09-05 15:05 哈喽哈喽111111 阅读(640) 评论(0) 推荐(0) 编辑

2019年9月2日

filebeat开启自带模块收集日志如何辨别日志来源等

摘要： filebeat启动自带模块后，日志先输出到Redis中比如开启了system模块日志和redis模块日志在Redis中查看收集过来的日志时，可以看到如下的这些信息 system日志信息 redis日志信息根据下图所示，有两处地方可以用来判断来源可以根据这俩的不同在logstash中判断来源阅读全文

posted @ 2019-09-02 14:54 哈喽哈喽111111 阅读(1658) 评论(0) 推荐(0) 编辑

2019年8月30日

使用elasticsearch7.3版本在一台主机上部署多个实例组建集群

摘要：系统：centos 7.4 x64 主机ip:192.168.0.160 软件包：elasticsearch 7.3.0 linux x86_64.tar.gz 配置步骤若报错说找不到主节点，可以先启动主节点，等主节点集群建立后，再启动从节点，观察从节点日志输出，确保从节点加入集群。分别启动的话阅读全文

posted @ 2019-08-30 10:50 哈喽哈喽111111 阅读(2793) 评论(0) 推荐(0) 编辑

2019年8月29日

redis 集群搭建

摘要： 5.7 集群搭建 5.7.1 准备工作 redis5.0版本之后可以直接使用命令创建集群，不使用命令了。 5.7.2 集群规划（1）Redis集群最少需要6个节点，3主3从，可以分布在一台或者多台主机上。真集群：6台主机，每台主机的redis服务使用的IP不同，端口号随意，一样不一样都可以阅读全文

posted @ 2019-08-29 09:03 哈喽哈喽111111 阅读(636) 评论(0) 推荐(0) 编辑

Kibana多用户创建及角色权限控制

摘要： 1 介绍 ELK日志管理属于基础设施平台，接入多个应用系统是正常现象，如果接入多个系统的索引文件没有进行权限划分，那么很大程度会出现索引文件误处理现象，为了避免这种情况发生，多用户及权限设置必不可少。通过Filebeat采集应用日志，发送到redis（或者kafka），通过在filebeat.ym 阅读全文

posted @ 2019-08-29 09:02 哈喽哈喽111111 阅读(17919) 评论(0) 推荐(1) 编辑

对Elastic集群内部配置TLS加密通信及身份验证

摘要： 1、介绍官方宣布从6.8和7.1开始，免费提供多项安全功能。其中包括tls加密通信，基于角色访问控制等功能。可以使用企业CA证书来完成这一步骤，但是一般情况下，我们可以通过elasticsearch自带的elasticsearch certutil的命令生成证书。然后各节点通过该证书可以进行安全阅读全文

posted @ 2019-08-29 09:01 哈喽哈喽111111 阅读(7040) 评论(2) 推荐(3) 编辑

filebeat收集日志传输到Redis集群,logstash从Redis集群中拉取数据

摘要：前提：已配置好Redis集群，并设置的有统一的访问密码架构是filebeat redis集群 logstash elasticsearch,需要修改filebeat的输出和logstash的输入值 filebeat地址：192.168.80.108 redis集群地址：192.168.80.107 阅读全文

posted @ 2019-08-29 09:00 哈喽哈喽111111 阅读(2557) 评论(1) 推荐(0) 编辑

2019年8月28日

filebeat->redis->logstash->elasticsearch->kibana

摘要：整体流程 1. filebeat收集openresty应用日志传输到Redis集群中 2. Logstash从Redis集群中拉取数据，并传输到Elasticsearch集群 3. 使用Kibana可视化索引 4. 使用Elasticsearch head管理lasticsearch集群注：Log 阅读全文

posted @ 2019-08-28 18:04 哈喽哈喽111111 阅读(900) 评论(0) 推荐(0) 编辑

使用filebeat收集日志传输到redis的各种效果展示

摘要： 0 环境 Linux主机，cengtos7系统安装有openresty软件，用来访问生成日志信息 1.15.8版本安装有filebeat软件，用来收集openresty的日志 7.3版本安装有redis软件，用来接收filebeat发送过来的日志，5.0.5版本 fields_under_ro 阅读全文

posted @ 2019-08-28 11:19 哈喽哈喽111111 阅读(5618) 评论(0) 推荐(0) 编辑

logstash7.3版本不支持从redis集群中拉取数据

摘要： filebeat可以把收集到的日志传输到redis集群中，但是logstash如何从从redis集群中拉取数据的呢？ ogstash使用的是7.3版本经过查看官网文档，发现logstash7.3版本不支持从redis集群中拉取数据 host参数的值是string，不支持列表 Redis input 阅读全文

posted @ 2019-08-28 10:49 哈喽哈喽111111 阅读(769) 评论(0) 推荐(0) 编辑