05 2018 档案

摘要:之前的文档介绍了ELK架构的基础知识,日志集中分析系统的实施方案:- ELK+Redis- ELK+Filebeat - ELK+Filebeat+Redis- ELK+Filebeat+Kafka+ZooKeeper ELK进一步优化架构为EFK,其中F就表示Filebeat。Filebeat即是 阅读全文
posted @ 2018-05-29 12:26 散尽浮华 阅读(3914) 评论(3) 推荐(5) 编辑
摘要:Docker-Compose是一个部署多个容器的简单但是非常必要的工具.安装Docker-Compose之前,请先安装 python-pip Docker-compose常用命令 阅读全文
posted @ 2018-05-25 15:33 散尽浮华 阅读(2308) 评论(0) 推荐(0) 编辑
摘要:比如现在需要对172.16.50.0/24网段的ip进行检查,检查哪些ip现在被占用,哪些ip没有被占用,可以通过ping命令来检查,脚本如下: 阅读全文
posted @ 2018-05-22 09:19 散尽浮华 阅读(15789) 评论(0) 推荐(4) 编辑
摘要:最近IDC上架了一批hadoop大数据业务服务器,由于集群环境需要在这些服务器之间实现ssh无密码登录的相互信任关系。具体的实现思路:在其中的任一台服务器上通过"ssh-keygen -t rsa"产生公私钥文件,然后将公钥文件拷贝成authorized_keys文件,最后将它的.ssh目录下的文件 阅读全文
posted @ 2018-05-20 16:29 散尽浮华 阅读(6047) 评论(1) 推荐(2) 编辑
摘要:需求说明:公司最近来了一批服务器,用于大数据业务部署。数据节点服务器由14块物理磁盘,其中有2块是900G的盘,12块是4T的盘。在服务器系统安装时,进入系统的BIOS界面:1)将2块900G的磁盘做成raid1用作系统盘(顺便说一下:raid0最少需要1块磁盘;raid1最少需要2块磁盘;raid 阅读全文
posted @ 2018-05-18 18:00 散尽浮华 阅读(3339) 评论(1) 推荐(1) 编辑
摘要:下面测试的部署机ip地址为:192.168.10.2051)yum安装OpenLDAP 2)配置ldap,包括准备DB_CONFIG和slapd.conf 3)生成ldap管理员密码 4)修改slapd.conf,主要配置dc和rootpw,rootpw配置上面设置的密码(rootpw必须顶格写,与 阅读全文
posted @ 2018-05-17 18:56 散尽浮华 阅读(7239) 评论(1) 推荐(1) 编辑
摘要:在Linux系统中,curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持文件的上传和下载操作,是综合传输工具,习惯上称url为下载工具。下面就日常运维中基于curl命令使用做下总结(用法、详解、指南): 一、Curl命令用法 1. curl语法和参 阅读全文
posted @ 2018-05-12 22:43 散尽浮华 阅读(11540) 评论(0) 推荐(2) 编辑
摘要:一、kafka基础介绍 0. kakfa概述 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)开源消息系统,由Scala写成,是由Apache软件基金会开发的一个开源消息系统项目,该项目的目标是为处理实时数据提供一个统一、高通量、 阅读全文
posted @ 2018-05-10 20:13 散尽浮华 阅读(6627) 评论(0) 推荐(2) 编辑
摘要:一、RocketMQ 基础知识介绍Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 上图是一个典型的消息中间件收发消息的模型,RocketMQ也是这样的设计,简单说来RocketMQ具有以下特点:1)是一个队列模型的消息中间件,具有高性能、高可 阅读全文
posted @ 2018-05-09 18:03 散尽浮华 阅读(25652) 评论(4) 推荐(3) 编辑
摘要:Redis的集群方案大致有三种:1)redis cluster集群方案;2)master/slave主从方案;3)哨兵模式来进行主从替换以及故障恢复。 一、sentinel哨兵模式介绍Sentinel(哨兵)是用于监控redis集群中Master状态的工具,是Redis 的高可用性解决方案,sent 阅读全文
posted @ 2018-05-07 19:05 散尽浮华 阅读(140067) 评论(13) 推荐(41) 编辑
摘要:Keepalived 实现VRRP(虚拟路由冗余)协议,从路由级别实现VIP切换,可以完全避免类似heartbeat脑裂问题,可以很好的实现主从、主备、互备方案,尤其是无状态业务,有状态业务就需要额外花些功夫了。既然Mysql可以使用Keepalived很好的做到主从切换,那么Redis自然可以使用 阅读全文
posted @ 2018-05-07 12:01 散尽浮华 阅读(6741) 评论(0) 推荐(1) 编辑
摘要:公司的一个项目上线,需要用到Nodejs和npm环境,这里记录下安装过程,方便回看同时供大家参考。 1)yum安装方式(版本比较老点,v5.12.0 + 3.8.6) 2)tar包安装(制定版本安装,v8.1.0+5.0.3) 阅读全文
posted @ 2018-05-04 13:15 散尽浮华 阅读(4840) 评论(1) 推荐(1) 编辑