reblue520

2018年1月15日

摘要：访问web管理界面添加集群并测试阅读全文

posted @ 2018-01-15 15:41 reblue520 阅读(739) 评论(0) 推荐(0)

摘要：国内测试在国外测试[root@u04mix03 ~]# curl http://es.chinasoft.com/myip107.150.X.X United States US Los Angeles [root@u04mix03 ~]# curl http://es.yayaim.com<ht 阅读全文

posted @ 2018-01-15 11:29 reblue520 阅读(1730) 评论(0) 推荐(0)

2018年1月12日

centos中释放缓存的方法

摘要：释放缓存区内存的方法 a）清理pagecache（页面缓存） # echo 1 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches=1 b）清理dentries（目录缓存）和inodes # echo 2 > /proc/sys/vm/drop_caches 或者 # sysctl -w vm.drop_caches... 阅读全文

posted @ 2018-01-12 12:40 reblue520 阅读(12944) 评论(0) 推荐(0)

2018年1月11日

python连接kafka生产者，消费者脚本

摘要：使用方式生产消息 python testkafka.py p g k 消费消息 python testkafka.py c g k 阅读全文

posted @ 2018-01-11 20:15 reblue520 阅读(8853) 评论(3) 推荐(1)

2018年1月10日

python初始化环境记录

摘要：初始化python环境：yum install -y gcc libffi-devel python-devel openssl-devel gcc-c++yum install -y python-pippip install --upgrade pip 报错： #include <Python. 阅读全文

posted @ 2018-01-10 14:07 reblue520 阅读(824) 评论(0) 推荐(0)

Centos7环境下etcd集群的搭建

摘要： Centos7环境下etcd集群的搭建一、简介 "A highly-available key value store for shared configuration and service discovery." Etcd是coreos开发的分布式服务系统，内部采用raft协议作为一致性算法。作为一个高可用的配置共享、服务发现的键值存储系统，Etcd有以下的特点：简单：安装配置简... 阅读全文

posted @ 2018-01-10 12:31 reblue520 阅读(603) 评论(0) 推荐(0)

2018年1月5日

zepplin0.7.2报错ERROR, exception: null, result: %text java.lang.NullPointerException的处理

摘要： zepplin0.7.2报错ERROR, exception: null, result: %text java.lang.NullPointerException的处理问题描述：使用zepplin查询业务系统数据时报错空指针，具体如下： interpreter.remote.RemoteInt 阅读全文

posted @ 2018-01-05 15:06 reblue520 阅读(793) 评论(0) 推荐(0)

2018年1月3日

使用lld自动发现监控多实例redis

摘要： zabbix 可以通过常见的手段监控到各种服务，通过编写脚本来获取返回值并将获取到的值通过图形来展现出来，包括（系统、服务、业务）层面。可是有些时候在一些不固定的场合监控一些不固定的服务就比较麻烦。例如，服务器运行四台 redis，端口分别是 6379 6380 6381 6382，那么这时候如果需要监控则需要建立三个模板，分别对应不同的模板又要设置不同的 Shell Script 及 User... 阅读全文

posted @ 2018-01-03 15:48 reblue520 阅读(1009) 评论(1) 推荐(0)

2017年12月28日

清理messages提示-bash: /var/log/messages: Operation not permitted的处理

摘要：报警提示系统盘容量不足了/var/log下查看messages日志已经很大了,所以就想着把messages清空一下,以此来释放空间.在删除的时候提示没有权限。看了下日志，发现是大量的haproxy日志，记得之前是关闭了的，没有写入/var/log/haproxy.log，往messages里面写了 # tail -f /var/log/messages Dec 28 12:43:03 lo... 阅读全文

posted @ 2017-12-28 13:00 reblue520 阅读(3432) 评论(0) 推荐(0)

2017年12月22日

使用python调用淘宝的ip地址库查询接口结合zabbix判断dnspod域名解析是否正确

摘要：接下来把脚本配置在zabbix中即可阅读全文

posted @ 2017-12-22 14:26 reblue520 阅读(369) 评论(0) 推荐(0)

2017年12月21日

通过python脚本获取服务器硬件信息

摘要： # 使用函数式编程获取内存使用信息，写入html文件中阅读全文

posted @ 2017-12-21 08:58 reblue520 阅读(5864) 评论(0) 推荐(0)

2017年12月20日

通过python脚本和zabbix配合监控zookeeper的节点数

摘要：通过python脚本和zabbix配合监控zookeeper的节点数需求描述：在日常zabbix监控zookeeper的时候，无法通过shell来获取zookeeper的具体节点信息，没有开放具体的接口，只能通过交互式的shell获取 python提供了操作zookeeper的api，我们可以使用python脚本结合zabbix来监控zookeeper的服务端是否上线 1.安装相关的依... 阅读全文

posted @ 2017-12-20 17:51 reblue520 阅读(631) 评论(0) 推荐(0)

2017年12月15日

python多线程threading下载示例

摘要：普通分段下载阅读全文

posted @ 2017-12-15 11:21 reblue520 阅读(2464) 评论(0) 推荐(0)

2017年12月6日

基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用

摘要：基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式、面向列的NoSQL数据库，基于HDFS存储，以表的形式存储数据，表由行和列组成，列划分到列族中。HBase不提供类SQL查询语言，要想像SQL这样查询数据，可以使用Phonix，让SQL查询转换成hbase 阅读全文

posted @ 2017-12-06 15:41 reblue520 阅读(1536) 评论(0) 推荐(0)

2017年12月1日

通过python统计nginx日志定位php网站响应慢的问题

摘要： # 公司网站反映很慢，可能是一些页面的访问方法或者页面引起，通过程序统计nginx访问日志的页面和具体的action方法访问次数以及平均响应时间可以为程序开发的同事提供参考定位具体的代码 # 默认的nginx日志 log_format main '$remote_addr - $remote_use 阅读全文

posted @ 2017-12-01 11:00 reblue520 阅读(712) 评论(0) 推荐(0)

2017年11月30日

前端lvs访问多台nginx代理服务时出现404错误的处理

摘要：前端lvs访问多台nginx代理服务时出现404错误的处理环境描述：app --> lvs --> nginx --> server app访问页面购买流量页面(nginx服务器)代理到后端和服务器交互(多台server)刚开始访问没有问题，流量变大为了避免出现问题，nginx配置了两台进行负载均阅读全文

posted @ 2017-11-30 10:23 reblue520 阅读(1056) 评论(0) 推荐(0)

2017年11月27日

使用percona-xtrabackup工具对mysql数据库的备份方案

摘要：使用percona-xtrabackup工具对mysql数据库的备份方案需要备份mysql的主机 172.16.155.23存放备份mysql的主机 172.16.155.22 目的：将155.23主机上mysql数据库每天全量备份一次，并且同步到远程主机中 1.安装备份工具 2.编写备份数据库脚阅读全文

posted @ 2017-11-27 18:00 reblue520 阅读(356) 评论(0) 推荐(0)

2017年11月23日

使用Vagrant搭建本地python开发环境

摘要：使用Vagrant搭建本地python开发环境关于vagrant:Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境，它使用Oracle的开源VirtualBox虚拟化系统也可以使用vmware来搭配使用，因为配置较为繁琐放弃了(貌似需要安装一个收费插件，还不如直接安装virtu 阅读全文

posted @ 2017-11-23 20:08 reblue520 阅读(546) 评论(0) 推荐(0)

通过python操作GeoLite2-City.mmdb库将nginx日志访问IP转换为城市写入数据库

摘要：通过python操作GeoLite2-City.mmdb库将nginx日志写入数据库 # 创建存放nginx日志的表accesslog2 # 安装geoip2模块# sudo pip2 install geoip2 连接数据库和操作数据库的底层模块参考：python操作mysql数据库增删改查的db 阅读全文

posted @ 2017-11-23 15:14 reblue520 阅读(1273) 评论(0) 推荐(0)

使用python找出nginx访问日志中访问次数最多的10个ip排序生成网页

摘要：使用python找出nginx访问日志中访问次数最多的10个ip排序生成网页方法1：linux下使用awk命令方法2：通过python处理日志方法2 阅读全文

posted @ 2017-11-23 14:40 reblue520 阅读(1905) 评论(0) 推荐(0)

通过python操作smtplib模块发送邮件

摘要： # gconf.py 发送邮件代码 mailutils.py 阅读全文

posted @ 2017-11-23 13:43 reblue520 阅读(170) 评论(0) 推荐(0)

python操作mysql数据库增删改查的dbutils实例

摘要： python操作mysql数据库增删改查的dbutils实例 # 数据库配置文件 # 操作数据库增删改查的dbutils.py代码阅读全文

posted @ 2017-11-23 12:59 reblue520 阅读(2032) 评论(0) 推荐(0)

通过python生成nginx模板配置文件

摘要：通过python生成nginx模板配置文件阅读全文

posted @ 2017-11-23 12:50 reblue520 阅读(1287) 评论(0) 推荐(0)

2017年11月17日

kafka组件makemirror处理跨机房业务的应用

摘要：业务背景：app分散在不同的idc厂商不同的地域，产生业务数据都向一个kafka中进行处理，这些数据比较分散，如果一时网络抖动或者其他因素，数据就丢失了app --> kafka --> hadoop集群于是在各机房建一个机房中心kafka，kafka可以保留3天或者3天以上的数据，然后集中向中心阅读全文

posted @ 2017-11-17 19:05 reblue520 阅读(2232) 评论(0) 推荐(0)

zabbix添加对haproxy的监控

摘要： zabbix添加对haproxy的监控 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy本身提供一个web页面可以显示haproxy的各种信息，方便管理员查看系统状态等。此次我采用socat（socat是net 阅读全文

posted @ 2017-11-17 18:22 reblue520 阅读(1484) 评论(1) 推荐(0)

专注个人成长

公告