KeithTt - 博客园

2017年5月7日

摘要： AWK 是三个人名的缩写 Alfred V. Aho Peter J. Weinberger Brian W. Kernighan 通常我们使用的是gawk，是 awk 的一种特殊实现，表示GNU awk。在 CentOS 上 awk 就是 gawk 的软链 $ ll `which awk` /b 阅读全文

posted @ 2017-05-07 17:23 KeithTt 阅读(325) 评论(0) 推荐(0)

grep

摘要： grep:文本过滤工具(模式：pattern) 正则表达式（Regular Expression，REGEXP） grep Global search REgular expression and Print out the line. 作用：文本搜索工具，根据用户指定的"模式(过滤条件)"对目标文阅读全文

posted @ 2017-05-07 13:05 KeithTt 阅读(4393) 评论(0) 推荐(0)

sed

摘要：流编辑器，以行为单位常用选项 -n：不打印没关系的行，不输出模式空间的内容至屏幕。 -e：多点编辑，连接多个命令同时处理。也 -f：指定脚本文件，并将脚本应用到文件。脚本文件的内容，每行一个命令。 -r：支持使用扩展正则表达式 -i：edit files in place (makes backu 阅读全文

posted @ 2017-05-07 07:38 KeithTt 阅读(271) 评论(0) 推荐(0)

iptables

摘要：主要的防火墙有数据包过滤型的和依据服务软件程序作为分析的两种。所谓包过滤，就是分析进入主机的网络数据包，将数据包的头部数据提取出来进行分析，以决定该连接为放行或抵挡的机制。 firewall：隔离工具;工作于主机或网络的边缘,对经由的报文根据预先定义的规则进行检测,对于能够被规则匹配到的报文实阅读全文

posted @ 2017-05-07 04:05 KeithTt 阅读(395) 评论(0) 推荐(0)

2017年4月16日

CentOS7搭建elasticsearch集群

摘要：准备三个节点，系统版本为CentOS7.3。 1、安装java环境 2、下载程序包 3、安装elasticsearch 4、修改配置文件 5、启动服务 6、查看集群状态阅读全文

posted @ 2017-04-16 19:50 KeithTt 阅读(1433) 评论(0) 推荐(0)

Centos7 部署 redis-sentinel

摘要：三个节点 11.0.8.15 master sentinel 11.0.8.16 slave sentinel 11.0.8.17 slave sentinel 1、安装redis yum install -y redis 2、修改redis配置文件 $ vim /etc/redis.conf pr 阅读全文

posted @ 2017-04-16 18:41 KeithTt 阅读(2514) 评论(0) 推荐(0)

2017年4月15日

编译安装haproxy开启支持SSL

摘要： 1、下载二进制包 wget http://www.haproxy.org/download/1.7/src/haproxy-1.7.5.tar.gz tar xvf haproxy-1.7.5.tar.gz -C /usr/local/src cd /usr/local/src/haproxy-1. 阅读全文

posted @ 2017-04-15 23:16 KeithTt 阅读(4212) 评论(0) 推荐(0)

2017年4月11日

CentOS7单节点部署redis-cluster

摘要：准备一台机器，系统版本为CentOS7。（注意本文描述的是redis cluster，不是主从复制） 1、下载软件包 2、解压 3、编译 4、为多实例redis配置启动环境 5、修改配置文件 6、启动三个redis实例 7、安装ruby环境 8、启动redis集群 9、查看集群状态阅读全文

posted @ 2017-04-11 01:12 KeithTt 阅读(1444) 评论(0) 推荐(0)

2017年4月8日

搭建hadoop集群

摘要： hadoop的架构 HDFS + MapReduce = Hadoop MapReduce = Mapper + Reducer hadoop的生态系统准备四个节点，系统版本为CentOS7.3 192.168.135.170 NameNode,SecondaryNameNode,Resource 阅读全文

posted @ 2017-04-08 01:21 KeithTt 阅读(710) 评论(0) 推荐(0)

2017年4月4日

配置nginx为FastDFS的storage server提供http访问接口

摘要： 1、拉取模块代码 2、编译安装nginx，添加支持fastdfs nginx module模块 3、修改nginx配置文件，在server配置段中添加一段 4、复制模块配置文件，并修改 5、创建数据目录软链接 6、启动nginx服务 7、上传文件测试 8、用浏览器访问storage节点阅读全文

posted @ 2017-04-04 03:28 KeithTt 阅读(5077) 评论(0) 推荐(0)

FastDFS分布式存储

摘要：分布式存储分类通用分布式存储：mogilefs, fastdfs, ...（无文件系统接口, 通过API访问）专用分布式存储：即分布式文件系统, moosefs, ...（有文件系统接口） GFS: Google FileSystem ，分布式系统的开山鼻祖, 由于Google内部需要遂开发, 阅读全文

posted @ 2017-04-04 03:08 KeithTt 阅读(3028) 评论(0) 推荐(0)

2017年3月31日

一键部署Kubernetes高可用集群

摘要：三台master，四台node，系统版本为CentOS7 | IP | ROLE | |: :|: :| | 172.60.0.226 | master01 | | 172.60.0.86 | master02 | | 172.60.0.106 | master03 | | 172.60.0.227 阅读全文

posted @ 2017-03-31 10:31 KeithTt 阅读(9067) 评论(4) 推荐(1)

一键部署ETCD集群脚本

摘要：这里使用三个节点，系统版本为CentOS7 1、准备三台机器，系统为centos7 2、关闭防火墙和selinux 3、校对时间 4、设置ssh互信 5、执行脚本即可。阅读全文

posted @ 2017-03-31 10:21 KeithTt 阅读(2627) 评论(0) 推荐(1)

2017年3月21日

使用Nginx代理Kibana并设置身份验证

摘要： 1、在ES-sever上安装nginx wget http://nginx.org/download/nginx-1.8.1.tar.gz tar xvf nginx-1.8.1.tar.gz yum install -y gcc gcc-c++ automake pcre pcre-devel z 阅读全文

posted @ 2017-03-21 13:26 KeithTt 阅读(8432) 评论(3) 推荐(0)

2017年3月12日

MongoDB ShardingCluster

摘要： sharding集群中的组件： 1、mongos：router，可以通过 keepalived 实现高可用。 2、config server：元数据服务器，这里要借助 zookeeper 存放配置信息。 3、shard server：数据节点，即 mongod 实例，生产环境中这里的每一个shard 阅读全文

posted @ 2017-03-12 03:08 KeithTt 阅读(499) 评论(0) 推荐(0)

MongoDB ReplicaSet

摘要：在mongodb中，数据同步有两种类型： master/slave ：主从。已经废弃，被副本集取代。 replica set ：副本集。一个副本集只能有一个主节点，可以有多个从节点。主节点可以读写，从节点只能读。主节点将数据修改操作保存至oplog中。需要奇数个节点，至少三个节点。心跳信息每阅读全文

posted @ 2017-03-12 02:56 KeithTt 阅读(3793) 评论(0) 推荐(0)

2017年3月10日

MongoDB索引

摘要：索引的优点： 1、大大减少了服务器需要扫描的数据量； 2、索引可以帮助服务器避免排序或使用临时表； 3、索引可以将随机I/O转换为顺序I/O； mongodb的索引类型 https://docs.mongodb.com/manual/indexes/ index types 创建索引查看索引删除阅读全文

posted @ 2017-03-10 23:29 KeithTt 阅读(267) 评论(0) 推荐(0)

2017年3月9日

CentOS下查看nginx和php的编译参数

摘要：在已经编译安装好的nginx和php的server上是可以查看之前编译时候的参数的，方法如下。 1、查看nginx的编译参数 2、查看php的编译参数阅读全文

posted @ 2017-03-09 22:58 KeithTt 阅读(4984) 评论(0) 推荐(0)

RabbitMQ集群搭建

摘要：准备三个节点，系统为CentOS7 | Node | IP | | |: :| | rabbitmq01 | 172.50.0.64 | | rabbitmq02 | 172.50.0.65 | | rabbitmq03 | 172.50.0.66 | 这里把node1作为master节点。 1、修阅读全文

posted @ 2017-03-09 22:13 KeithTt 阅读(406) 评论(0) 推荐(0)

Markdown常用语法

摘要：标题在文本前面加上 # 即可，同理、你还可以增加二级标题、三级标题、四级标题、五级标题和六级标题，总共六级，只需要增加 # 即可，标题字号相应降低。 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题链接 [显示文本](链接地址) [ 阅读全文

posted @ 2017-03-09 21:43 KeithTt 阅读(225) 评论(1) 推荐(0)

Zkui安装

摘要： A UI dashboard that allows CRUD operations on Zookeeper. 一个允许在zookeeper上进行增删查改操作的图形管理工具，与zkdash类似。 1、拉取代码 git clone https://github.com/DeemOpen/zkui.g 阅读全文

posted @ 2017-03-09 21:36 KeithTt 阅读(8079) 评论(1) 推荐(0)

Zkdash安装

摘要： zkdash是一个zookeeper的管理界面，也可以作为任何基于zookeeper的配置管理工具，比如：Qconf 1、拉取代码 2、安装依赖包 3、安装并运行mysql，创建数据库，并赋予访问权限 4、修改配置文件 5、初始化数据库 6、运行zkdash 7、用浏览器访问初次使用zkdash时阅读全文

posted @ 2017-03-09 21:31 KeithTt 阅读(2426) 评论(1) 推荐(0)

QConf简要搭建过程

摘要： QConf的组件： ZooKeeper as the server, restore all configurations, so the limit data size of single configuration item is 1MB, since the size limit of Zno 阅读全文

posted @ 2017-03-09 21:23 KeithTt 阅读(1739) 评论(1) 推荐(0)

部署 zookeeper 集群

摘要：这里用了三台主机，系统为CentOS7 节点列表 172.50.0.31 172.50.0.34 172.50.0.37 1、安装JDK yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel 2、下载程序包 wget https://m 阅读全文

posted @ 2017-03-09 21:15 KeithTt 阅读(712) 评论(0) 推荐(0)

2017年2月17日

Kubernetes使用cephfs作为后端存储

摘要：这里使用了k8s自身的持久化卷存储机制：PV和PVC。各组件之间的关系参考下图： PV的Access Mode（访问模式） The access modes are: ReadWriteOnce – the volume can be mounted as read-write by a singl 阅读全文

posted @ 2017-02-17 16:03 KeithTt 阅读(6521) 评论(0) 推荐(0)

cephfs创建及挂载

摘要： Ceph 文件系统（ Ceph FS ）是个 POSIX 兼容的文件系统，它使用 Ceph 存储集群来存储数据。Ceph 文件系统要求 Ceph 存储集群内至少有一个 Ceph 元数据服务器。 1、添加MDS，接上篇，这里把ceph01节点作为元数据服务器MDS。```#ceph-deploy md 阅读全文

posted @ 2017-02-17 16:01 KeithTt 阅读(8892) 评论(0) 推荐(0)

ceph集群安装

摘要：所有 Ceph 部署都始于 Ceph 存储集群。一个 Ceph 集群可以包含数千个存储节点，最简系统至少需要一个监视器和两个 OSD 才能做到数据复制。Ceph 文件系统、 Ceph 对象存储、和 Ceph 块设备从 Ceph 存储集群读出和写入数据。 Ceph架构图 1、集群配置节点IP功能 c 阅读全文

posted @ 2017-02-17 16:00 KeithTt 阅读(1809) 评论(0) 推荐(0)

Kubernetes日志收集

摘要：关于kubernetes的日志分好几种，针对kubernetes本身而言有三种： 1、资源运行时的event事件。比如在k8s集群中创建pod之后，可以通过 kubectl describe pod 命令查看pod的详细信息。 2、容器中运行的应用程序自身产生的日志，比如tomcat、nginx、p 阅读全文

posted @ 2017-02-17 15:56 KeithTt 阅读(18441) 评论(0) 推荐(1)

Jenkins集成Docker

摘要：大概过程如下图：由于需要用到docker打包镜像，jenkins宿主机上需要安装docker，原先的jenkins server安装在centos6上无法运行docker，所以这里单独用一台centos7安装一个jenkins server。 jenkins的安装方法有多种： 1、下载jar包，直阅读全文

posted @ 2017-02-17 15:53 KeithTt 阅读(6769) 评论(0) 推荐(1)