摘要: 本文收录在Linux运维企业架构实战系列 前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建,操作完成后整理的个人心得,分享给大家~~~ 1、认识Hadoop和Hbase 1.1 hadoop简单介绍 Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大 阅读全文
posted @ 2019-04-01 15:32 无情站长 阅读(1394) 评论(0) 推荐(0)
摘要: 分类: Linux服务篇,Linux架构篇 分类: Linux服务篇,Linux架构篇 1、认识kafka 1.1 kafka简介 Kafka 是一个分布式流媒体平台 kafka官网:http://kafka.apache.org/ (1)流媒体平台有三个关键功能: 发布和订阅记录流,类似于消息队列 阅读全文
posted @ 2019-04-01 15:30 无情站长 阅读(643) 评论(0) 推荐(0)
摘要: 分类: Linux服务篇,Linux架构篇 分类: Linux服务篇,Linux架构篇 一、环境需求 本帖针对的是Linux环境,Windows或其他系统也可借鉴。具体只讲述Jenkins配置以及整个流程的实现。 1.JDK(或JRE)及Java环境变量配置,我用的是JDK1.8.0_144,网上帖 阅读全文
posted @ 2019-04-01 15:27 无情站长 阅读(991) 评论(1) 推荐(0)
摘要: 分类: Linux架构篇 分类: Linux架构篇 一、介绍Jenkins 1、Jenkins概念 Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台。这是一个免费的源代码,可以处理任何类型的构建或持续集成。集成Jenkins可以用于一些测试和部署技术。Jenki 阅读全文
posted @ 2019-04-01 15:24 无情站长 阅读(566) 评论(0) 推荐(0)
摘要: 本文收录在Linux运维企业架构实战系列 必备条件 硬件条件 硬件条件 ① 一台安装好 Jumpserver 系统的可用主机(堡垒机) ② 一台或多台可用的 Linux、Windows资产设备(被管理的资产) 服务条件 (1)coco服务 ① 鉴于心态检测存在延迟,也可以直接在 Jumpserver 阅读全文
posted @ 2019-04-01 15:23 无情站长 阅读(711) 评论(0) 推荐(0)
摘要: 本文收录在Linux运维企业架构实战系列 环境准备 系统:CentOS 7 IP:192.168.10.101 关闭selinux 和防火墙 # CentOS 7 $ setenforce 0 # 可以设置配置文件永久关闭 $ systemctl stop iptables.service $ sy 阅读全文
posted @ 2019-04-01 15:18 无情站长 阅读(1091) 评论(1) 推荐(1)
摘要: 本文收录在Linux运维企业架构实战系列 做了几周的测试,踩了无数的坑,总结一下,全是干货,给大家分享~ 一、elk 实用知识点总结 1、编码转换问题(主要就是中文乱码) (1)input 中的codec => plain 转码 将GB2312 的文本编码,转为UTF-8 的编码 (2)也可以在fi 阅读全文
posted @ 2019-04-01 15:15 无情站长 阅读(390) 评论(0) 推荐(0)
摘要: 本文收录在Linux运维企业架构实战系列 一、收集切割公司自定义的日志 很多公司的日志并不是和服务默认的日志格式一致,因此,就需要我们来进行切割了。 1、需切割的日志示例 2018-02-24 11:19:23,532 [143] DEBUG performanceTrace 1145 http:/ 阅读全文
posted @ 2019-04-01 15:12 无情站长 阅读(529) 评论(0) 推荐(0)
摘要: 本文收录在Linux运维企业架构实战系列 一、els、elk 的介绍 1、els,elk els:ElasticSearch,Logstash,Kibana,Beats elk:ElasticSearch,Logstash,Kibana ① ElasticSearch 搜索引擎 ElasticSea 阅读全文
posted @ 2019-04-01 15:10 无情站长 阅读(1904) 评论(0) 推荐(0)
摘要: 项目实战系列,总架构图 http://www.cnblogs.com/along21/p/8000812.html KVM的介绍、准备工作和qemu-kvm 命令详解 1、介绍 (1)介绍 KVM:就是Keyboard Video Mouse的缩写。KVM 交换机通过直接连接键盘、视频和鼠标 (KV 阅读全文
posted @ 2019-04-01 15:08 无情站长 阅读(887) 评论(0) 推荐(0)
摘要: 无监控,不运维。好了,废话不多说,下面都是干货。 流量党勿入,图片太多!!! 项目实战系列,总架构图 http://www.cnblogs.com/along21/p/8000812.html 一、User parameters 用户参数 1、介绍和用法 ① 介绍 自定义用户参数,也就是自定义key 阅读全文
posted @ 2019-04-01 15:05 无情站长 阅读(428) 评论(0) 推荐(0)
摘要: 无监控,不运维。好了,废话不多说,下面都是干货。 警告:流量党勿入,图片太多!!! 项目实战系列,总架构图 http://www.cnblogs.com/along21/p/8000812.html 实验前准备: ① ntpdate 192.168.30.1 同步时间 ② 关闭防火墙、selinux 阅读全文
posted @ 2019-04-01 15:03 无情站长 阅读(675) 评论(0) 推荐(0)
摘要: 分类: Linux架构篇 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 企业级nosql数据库应用与实战-redis 环境背景:随着互联网2.0时代的发展,越来越多的公司更加注重用户体验和互动,这些公司的平台上会出现越来越多方便用户操作和选择的新功能 阅读全文
posted @ 2019-04-01 14:59 无情站长 阅读(353) 评论(0) 推荐(0)
摘要: 1、认识puppet 1.1 引入 puppet是什么,咱们先不用专业的名词解释它,咱们先描述一些工作场景,看明白这些工作场景,自然会知道puppet是什么。 (1)场景一: 管理员想要在100台服务器上同时创建一个名叫"along"的用户,怎么办,当然,我们可以"手动解决",登录每一台服务器,然后 阅读全文
posted @ 2019-04-01 14:53 无情站长 阅读(884) 评论(0) 推荐(0)
摘要: 实战环境: 公司计划在年底做一次大型市场促销活动,全面冲刺下交易额,为明年的上市做准备。公司要求各业务组对年底大促做准备,运维部要求所有业务容量进行三倍的扩容,并搭建出多套环境可以共开发和测试人员做测试,运维老大为了在年底有所表现,要求运维部门同事尽快实现,当你接到这个任务时,有没有更快的解决方式? 阅读全文
posted @ 2019-04-01 14:50 无情站长 阅读(904) 评论(0) 推荐(1)
摘要: 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 企业级分布式存储应用与实战-mogilefs 环境:公司已经有了大量沉淀用户,为了让这些沉淀用户长期使用公司 阅读全文
posted @ 2019-04-01 14:47 无情站长 阅读(606) 评论(0) 推荐(0)
摘要: 本文收录在Linux运维企业架构实战系列 今天想起当初研究nginx反向代理负载均衡时,nginx自身的upstream后端配置用着非常不舒服; 当时使用的淘宝基于nginx二次开发的Tengine,今天总结一下。 1、认识Tengine 1.1 介绍 Tengine是由淘宝网发起的Web服务器项目 阅读全文
posted @ 2019-04-01 14:42 无情站长 阅读(923) 评论(0) 推荐(1)
摘要: 分类: Linux架构篇 分类: Linux架构篇 总项目流程图,详见 http://www.cnblogs.com/along21/p/8000812.html 实验一:实现反向代理负载均衡且动静分离 1、环境准备: 机器名称 IP配置 服务角色 备注 nginx VIP:172.17.11.11 阅读全文
posted @ 2019-04-01 14:38 无情站长 阅读(541) 评论(0) 推荐(1)
摘要: 本文收录在Linux运维企业架构实战系列 转自https://www.cnblogs.com/along21/ 一、开启GC日志 1、在Tomcat 的安装路径下,找到bin/catalina.sh 加上下面的配置,具体参数,自己配置: [root@centos7 tomcat]# vim bin/ 阅读全文
posted @ 2019-04-01 14:32 无情站长 阅读(680) 评论(0) 推荐(0)
摘要: 分类: Linux架构篇 分类: Linux架构篇 tomcat企业级Web应用服务器配置与实战 环境背景:公司业务经过长期发展,有了很大突破,已经实现盈利,现公司要求加强技术架构应用功能和安全性以及开始向企业应用、移动APP等领域延伸,此时原来开发web服务的php语言已经不适应新的场景,需要上j 阅读全文
posted @ 2019-04-01 14:30 无情站长 阅读(724) 评论(0) 推荐(0)
摘要: 转自https://www.cnblogs.com/along21/ Mysql实现企业级数据库主从复制架构实战 环境背景:公司规模已经形成,用户数据已成为公司的核心命脉,一次老王一不小心把数据库文件删除,通过mysqldump备份策略恢复用了两个小时,在这两小时中,公司业务中断,损失100万,老王 阅读全文
posted @ 2019-04-01 14:28 无情站长 阅读(570) 评论(0) 推荐(1)
摘要: 转自https://www.cnblogs.com/along21/ Mysql实现企业级日志管理、备份与恢复实战 环境背景:随着业务的发展,公司业务和规模不断扩大,网站积累了大量的用户信息和数据,对于一家互联网公司来说,用户和业务数据是根基。一旦公司的数据错乱或者丢失,对于互联网公司而言就等于说是 阅读全文
posted @ 2019-04-01 14:26 无情站长 阅读(702) 评论(0) 推荐(0)
摘要: 转自https://www.cnblogs.com/along21/ 企业级缓存系统varnish应用与实战 环境背景:随着公司业务快速发展,公司的电子商务平台已经聚集了很多的忠实粉丝,公司也拿到了投资,这时老板想通过一场类似双十一的活动,进行一场大的促销,届时会有非常多的粉丝访问网站,你的总监与市 阅读全文
posted @ 2019-04-01 14:24 无情站长 阅读(393) 评论(0) 推荐(0)
摘要: 分类: Linux架构篇 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ haproxy实现高级负载均衡实战 环境:随着公司业务的发展,公司负载均衡服务已经实现四层负载均衡,但业务的复杂程度提升,公司要求把mobile手机站点作为单独的服务提供,不在和 阅读全文
posted @ 2019-04-01 14:20 无情站长 阅读(636) 评论(0) 推荐(0)
摘要: 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 实现基于Keepalived高可用集群网站架构 环境:随着业务的发展,网站的访问量越来越大,网站访问量已经从 阅读全文
posted @ 2019-04-01 14:15 无情站长 阅读(843) 评论(0) 推荐(1)
摘要: 负载均衡集群企业级应用实战-LVS 转自https://www.cnblogs.com/along21/ 实现基于LVS负载均衡集群的电商网站架构 背景:随着业务的发展,网站的访问量越来越大,网站访问量已经从原来的1000QPS,变为3000QPS,网站已经不堪重负,响应缓慢,面对此场景,单纯靠单台 阅读全文
posted @ 2019-04-01 14:12 无情站长 阅读(1108) 评论(0) 推荐(1)
摘要: Linux运维企业架构项目实战系列 项目实战1—LNMP的搭建、nginx的ssl加密、权限控制的实现 项目实战2—LVS、nginx实现负载均衡系列2.1 项目实战2.1—实现基于LVS负载均衡集群的电商网站架构2.2 项目实战2.2—nginx 反向代理负载均衡、动静分离和缓存的实现2.3 项目 阅读全文
posted @ 2019-04-01 14:10 无情站长 阅读(8649) 评论(0) 推荐(2)
摘要: 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 分类: Linux架构篇 转自https://www.cnblogs.com/along21/ 总项目流程图,详见 http://www.cnblogs.com/along21/p/8000812.htm 阅读全文
posted @ 2019-04-01 14:08 无情站长 阅读(2512) 评论(2) 推荐(0)
摘要: 一、MySQL多实例介绍 一台服务器上开启多个不同的服务端口(3306,3307,3308),运行多个MySQL服务进程,共用一套MySQL安装程序,多实例MySQL在逻辑上看是各自独立的 1、多实例主从复制原理图 2、优点 ①有效利用服务器资源②节约服务器资源③资源互相抢占问题,其中一个实例并发很 阅读全文
posted @ 2019-04-01 14:04 无情站长 阅读(306) 评论(0) 推荐(0)
摘要: 1.MySQL多实例介绍 1.1.什么是MySQL多实例 MySQL多实例就是在一台机器上开启多个不同的服务端口(如:3306,3307),运行多个MySQL服务进程,通过不同的socket监听不同的服务端口来提供各自的服务:; 1.2.MySQL多实例的特点有以下几点 1:有效利用服务器资源,当单 阅读全文
posted @ 2019-04-01 13:56 无情站长 阅读(208) 评论(0) 推荐(0)
摘要: 一、应用场景介绍 本文主要是介绍Redis集群在Linux环境下的安装讲解,其中主要包括在联网的Linux环境和脱机的Linux环境下是如何安装的。因为大多数时候,公司的生产环境是在内网环境下,无外网,服务器处于脱机状态(最近公司要上线项目,就是无外网环境的Linux,被离线安装坑惨了,走了很多弯路 阅读全文
posted @ 2019-04-01 08:58 无情站长 阅读(415) 评论(0) 推荐(0)
摘要: 本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。 一、基础环境 在Linux上安装Hadoop之前,需要先安装两个程序: 1.1 安装说明 1. JDK 1.6或更高版本(本文所提到的安装的是jdk1.7); 2. SS 阅读全文
posted @ 2019-04-01 08:55 无情站长 阅读(1124) 评论(0) 推荐(0)
摘要: 硬件环境 本文适用的硬件环境如下 Redis已经成功安装,安装路径为/home/idata/yangfan/local/redis-3.2.1。 我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群。 1、启动Redis多个实例 我们在Redis安装目录下创建目 阅读全文
posted @ 2019-04-01 08:52 无情站长 阅读(293) 评论(0) 推荐(0)