摘要:一 HDFS概念 1.1 概念 HDFS,它是一个文件系统,全称:Hadoop Distributed File System,用于存储文件通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。 1.2 组成 1)HDFS集群包括,NameNode和D 阅读全文
posted @ 2019-08-09 10:58 走天涯 阅读(142) 评论(0) 推荐(0) 编辑
摘要:2019.04.18晚上 玄易财富 老承 今晚我们分享 中国牛市历次特征 三月份最后一个交易日,沪指强力拉升近100点至3100点关口。券商板块大涨8个多点,保险银行也在平静中轮动起来,茅台五粮液股价创历史新高,北上资金扫货100多亿……这一切,看起来像极了牛市。 一季度政策加持、民心向涨的一波技术 阅读全文
posted @ 2019-04-18 21:55 走天涯 阅读(252) 评论(0) 推荐(0) 编辑
摘要:1、Kubernetes 概述 Kubernetes 是 Google 开源的容器集群管理系统,基于 Docker 构建一个容器的调度服务,提供资源调度、均衡容灾、服务注册、劢态扩缩容等功能套件。 基于容器的云平台 Kubernetes 基于 docker 容器的云平台,简写成: k8s 。 ope 阅读全文
posted @ 2018-08-10 10:47 走天涯 阅读(1642) 评论(0) 推荐(2) 编辑
摘要:方法一、利用 Downloadonly 插件下载 RPM 软件包及其所有依赖包 默认情况下,这个命令将会下载并把软件包保存到 /var/cache/yum/ 的 rhel-{arch}-channel/packageslocation 目录,不过,你也可以下载和保存软件包到任何位置,你可以通过 –d 阅读全文
posted @ 2018-07-17 09:04 走天涯 阅读(5170) 评论(0) 推荐(0) 编辑
摘要:一、环境的搭建 实验环境: 操作系统:Centos 7.4 二、隐藏Apache版本信息 1. 屏蔽apache版本等敏感信息 2. 提升:彻底让版本等敏感信息消失 要彻底将版本之类的信息进行改头换面,需要在编译之前做准备或者进行重新编译了。在重新编译时,修改源码包下include目录下的ap_re 阅读全文
posted @ 2018-07-16 16:45 走天涯 阅读(371) 评论(0) 推荐(0) 编辑
摘要:一、关于CPU 中央处理器调优 1、 CPU处理方式: 例如: 批处理——以前的大型机(Mainframe)上所采用的系统,需要把一批程序事先写好(打孔纸带),然后计算得出结果 分时——现在流行的PC机和服务器都是采用这种运行模式,即把CPU的运行分成若干时间片分别处理不同的运算请求 实时——一般用 阅读全文
posted @ 2018-07-08 23:45 走天涯 阅读(447) 评论(0) 推荐(0) 编辑
摘要:一、系统调优概述 性能优化就是找到系统处理中的瓶颈以及去除这些的过程。性能优化其实是对OS 各子系统达到一种平衡的定义,这些子系统包括: CPU Memory IO Network 这些子系统之间关系是相互彼此依赖的,任何一个高负载都会导致其他子系统出现问题。比如: 大量的网页调入请求导致内存队列的 阅读全文
posted @ 2018-07-06 16:31 走天涯 阅读(103) 评论(0) 推荐(0) 编辑
摘要:以太网的封装与解封过程 1.数据包封装过程: ⑦用户在应用层进行文件传输的操作⑥在表示层把我们的动作和命令翻译成计算机识别的微码,提供数据⑤CPU 读取文件调用到内存④要传输的数据在数据层进行数据分片,每片数据最大为 1500 字节。对数据封装成段,打上段头(段头中包含源端口、目的端口、传输协议 T 阅读全文
posted @ 2018-07-05 17:04 走天涯 阅读(2061) 评论(0) 推荐(0) 编辑
摘要:一、概念 打电话和写信(发短信),两个人如果要通话,首先要建立连接--即打电话时的拨号,等待响应后 即接听电话后,才能互相传递信息,最后还要断开连接 即挂电话写信(发短信)就比较简单了,填写好收信人的地址后将信投入邮箱,收信人就可以收到了。 UDP:寄送普通邮件 TCP: 寄送挂号信 流量控制:如果 阅读全文
posted @ 2018-07-05 14:33 走天涯 阅读(725) 评论(0) 推荐(0) 编辑
摘要:TCP/IP 模型也被称作 DoD 模型(Department of Defense Model)。TCP/IP 字面上代表了两个协议:TCP(传输控制协议)和 IP(网络之间互联协议)。TCP/IP 协议不是 TCP 和 IP 这两个协议的合称,而是指因特网整个 TCP/IP 协议族。 DoD 是 阅读全文
posted @ 2018-07-05 10:24 走天涯 阅读(227) 评论(0) 推荐(0) 编辑
摘要:一、概念 概念:开放系统互联参考模型,是由 ISO(国际标准化组织)定义的。目的:规范不同系统的互联标准,使两个不同的系统能够较容易的通讯。 网络刚面世时,通常只有同一家厂商的计算机才能彼此通讯。OSI 模型是主要的网络构建模型,面熟了数据和网络信息如何通过网络介质从一台计算机的应用程序传输的另一台 阅读全文
posted @ 2018-07-05 10:15 走天涯 阅读(129) 评论(0) 推荐(0) 编辑
摘要:一、HAProxy概述: HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。根据官方数据,其最高极限支持10G的并发。 HAProxy特别适用于那些负载特大的web站点, 这些站点通常又需要会话保持或七层处理。HAProxy运 阅读全文
posted @ 2018-07-04 23:50 走天涯 阅读(17107) 评论(1) 推荐(1) 编辑
摘要:一、概述: LB负载均衡集群分两类: LVS (四层)和 nginx或haproxy (七层) 客户端通过访问分发器的VIP来访问网站 |现在应用更复杂,比如现在网站页面有: .php .html .png .jpeg .jsp 等, 有动态页面有静态页面。静态页面一般是不变的,想访问更快些,可以学 阅读全文
posted @ 2018-07-04 20:59 走天涯 阅读(1580) 评论(0) 推荐(0) 编辑
摘要:一、Heartbeat概述: Heartbeat的工作原理:heartbeat最核心的包括两个部分,心跳监测部分和资源接管部分,心跳监测可以通过网络链路和串口进行,而且支持冗余链路,它们之间相互发送报文来告诉对方自己当前的状态,如果在指定的时间内未收到对方发送的报文,那么就认为对方失效,这时需启动资 阅读全文
posted @ 2018-07-04 11:57 走天涯 阅读(639) 评论(0) 推荐(0) 编辑
摘要:一、Keepalived介绍 keepalived 是一个类似于 layer3, 4 & 5 交换机制的软件,也就是我们平时说的第 3 层、第 4 层和第 5层交换。 Keepalived 的作用是检测 web 服务器的状态,如果有一台 web 服务器死机,或工作出现故障,Keepalived 将检 阅读全文
posted @ 2018-07-03 14:29 走天涯 阅读(124) 评论(0) 推荐(0) 编辑
摘要:一、MFS概述: MooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时间),可以创建特殊的文件(块设备,字符设备,管道,套接字) 阅读全文
posted @ 2018-07-02 15:46 走天涯 阅读(862) 评论(0) 推荐(0) 编辑
摘要:对于我们正常连接VPN代理我们需要开启哪些重要的服务呢?下面我就说一说我们的XP系统和WIN 7系统需要开启的一些重要服务。 首先我们来说一说关于XP系统的一些服务。 我们点击开始,在运行中需要输入的是services.msc,之后点击确定,下面就是要找到一些服务了。 首先一个重要的服务就是电话服务 阅读全文
posted @ 2018-07-02 09:52 走天涯 阅读(11) 评论(0) 推荐(0) 编辑
摘要:分布式(不一定有集群): 是指将不同的业务分布在不同的地方(应用服务器)。 集群cluster: 一群机器的集合。 负载均衡(集群):(Load balance cluster, LBC) (负载均衡器)根据规则(平均)分配各请求到一个集群各个机器。 高可用(集群):(High availabili 阅读全文
posted @ 2018-07-02 09:21 走天涯 阅读(264) 评论(0) 推荐(0) 编辑
摘要:前言 从今天起,我将一步一步的分享大数据相关的知识,其实很多程序员感觉大数据很难学,其实并不是你想象的这样,只要自己想学,还有什么难得呢? 学习Hadoop有一个8020原则,80%都是在不断的配置配置搭建集群,只有20%写程序! 一、引言(大数据时代) 1.1、从数据中得到信息 我们看一张图片: 阅读全文
posted @ 2018-06-30 17:30 走天涯 阅读(279) 评论(0) 推荐(0) 编辑
摘要:一、概述 随着OpenStack日渐成为开源云计算的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 ceph官方文档 http://docs.ceph.org.cn/ ceph中文开源社区 http://c 阅读全文
posted @ 2018-06-30 12:26 走天涯 阅读(11205) 评论(0) 推荐(3) 编辑
摘要:一、Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储,则M 阅读全文
posted @ 2018-06-30 10:40 走天涯 阅读(208) 评论(0) 推荐(0) 编辑
摘要:1.背景介绍 作为运维,在公司经常遇到一些机械性重复工作要做,例如:为新机器装系统,一台两台机器装系统,可以用光盘、U盘等介质安装,1小时也完成了,但是如果有成百台的服务器还要用光盘、U盘去安装,就显得有些力不从心了。PXE技术就能很好的解决这个问题,本文将会对PXE的工作原理有所介绍,而cobbl 阅读全文
posted @ 2018-06-27 09:39 走天涯 阅读(370) 评论(0) 推荐(1) 编辑
摘要:1 需要确定虚拟的防火墙已经关闭 2 修改vi /etc/sysconfig/network-scripts/ifcfg-eth0配置文件 增加以下参数 BOOTPROTO=none 这一行很重要 一定要设置成静态的 否则就会出现标题的问题 IPADDR=192.168.123.210 ## 这一行 阅读全文
posted @ 2018-06-26 13:40 走天涯 阅读(133) 评论(0) 推荐(0) 编辑
摘要:一、ISCSI多路径应用 如果存储服务器到交换机只有一条线路的时候,那么一条线路出线故障,整个就没法使用了,所以多线路可以解决这个问题,避免单点故障 如上图,如果SAN服务器与客户端交换机只有一条线路相连,那么如果交换机或者线路出现故障,那么整个通讯中断, 如图二,SAN服务器与我们的客户端有两条以 阅读全文
posted @ 2018-06-23 18:23 走天涯 阅读(1550) 评论(0) 推荐(1) 编辑
摘要:partprobe: 用于重读分区表,当出现删除文件后,出现仍然占用空间。可以partprobe在不重启的情况下重读分区。 将磁盘分区表变化信息通知内核,请求操作系统重新加载分区表。 -d 不更新内核 -s 显示磁盘分区汇总信息 -h 显示帮助信息 -v 显示版本信息 eg: partprobe / 阅读全文
posted @ 2018-06-22 11:13 走天涯 阅读(4626) 评论(0) 推荐(0) 编辑
摘要:一、NAS和SAN服务器概述 SAS: 容量小, 300G, 600G, 900G, 价格贵。 SATA:容量大,500G, 750G, 1T, 2T, 3T, 4T 不支持热插拔,价格低。 假SAS盘:容量大, 支持热插拔,价格低, SAS接口的sata盘 , 速度慢 。 1.关于存储方式 1.直 阅读全文
posted @ 2018-06-22 10:59 走天涯 阅读(923) 评论(0) 推荐(0) 编辑
摘要:一、LVS-IP TUN集群概述 DR方式是通过MAC,规模是一个交换网络。而TUN方式,是通过给数据包加上新的IP头部来实现,这个可以跨整个广域网。TUN模式可以解决DR模式下不能跨网段的问题,甚至可以跨公网进行 如图: 异地机房的好处: 容灾 但是是否可以保证 边界 最近访问到对应的real s 阅读全文
posted @ 2018-06-15 16:12 走天涯 阅读(1093) 评论(0) 推荐(0) 编辑
摘要:一、 LVS-DR和LVS-IP TUN集群概述 1. Direct Routing(直接路由) Director分配请求到不同的real server。real server处理请求后直接回应给用户,这样director负载均衡器仅处理客户机与服务器的一半连接。负载均衡器仅处理一半的连接,避免了新 阅读全文
posted @ 2018-06-15 15:27 走天涯 阅读(150) 评论(0) 推荐(0) 编辑
摘要:一、 集群概述 1、 什么是集群? 一组各自相互独立且又相互依赖的,通过高速网络互联的计算机组成的一个计算机组, 以单一的系统模式加以管理, 为用户提供服务, 对用户来说, 用户只会认为对方是一个服务. 这个里面, 一组计算机的一台计算机就是集群的一个节点 2、 集群的特性: 可伸缩性, 可靠性, 阅读全文
posted @ 2018-06-15 10:37 走天涯 阅读(941) 评论(0) 推荐(0) 编辑
摘要:网站压力测试工具-Webbench webbench简介: Webbench是有名的网站压力测试工具,它是由 Lionbridge公司(http://www.lionbridge.com)开发的网站压力测试工具,它能测试处在相同硬件上,不同服务的性能以及不同硬件上同一个服务的运行状况。webbenc 阅读全文
posted @ 2018-06-12 16:34 走天涯 阅读(267) 评论(0) 推荐(0) 编辑
摘要:关于 /proc/sys/net/ipv4/下 文件的详细解释: 1) /proc/sys/net/ipv4/ip_forward 该文件表示是否打开IP转发。 0,禁止 1,转发 基本用途:如VPN、路由产品的利用; 出于安全考虑,Linux系统默认是禁止数据包转发的。所谓转发即当主机拥有多于一块 阅读全文
posted @ 2018-06-12 15:06 走天涯 阅读(1622) 评论(0) 推荐(1) 编辑
摘要:一、全网数据备份方案1、需要备份的文件目录有(原则上,只要运维人员写入或更改的数据都需要备份)。/data,/etc/rc.local,/var/spool/cron/root等,根据不同都服务器做不同的调整2、为了规范化,每台服务器进行本地备份时都备份到/backup目录下3、每台WEB服务器进行 阅读全文
posted @ 2018-06-10 14:17 走天涯 阅读(131) 评论(0) 推荐(0) 编辑
摘要:写一个使用shell脚本增量备份系统文件,顺便复习一下shell脚本相关的命令,这个脚本可以根据自己的需求来备份不同的文件或者文件夹,进行完整备份和增量备份。 参考的网址:http://blog.51cto.com/wgkgood/1330200 直接上脚本如下: 阅读全文
posted @ 2018-06-08 13:52 走天涯 阅读(2929) 评论(1) 推荐(0) 编辑
摘要:我的vim配置主要有以下优点: 1.按F5可以直接编译并执行C、C++、java代码以及执行shell脚本,按“F8”可进行C、C++代码的调试 2.自动插入文件头 ,新建C、C++源文件时自动插入表头:包括文件名、作者、联系方式、建立时间等,读者可根据需求自行更改 3.映射“Ctrl + A”为全 阅读全文
posted @ 2018-06-08 09:50 走天涯 阅读(773) 评论(0) 推荐(0) 编辑
摘要:由于开发需要,在本地环境中配置了LNMP环境,使用的是Centos 7.4 的源码安装,安装一切正常,但是由于默认网站文件夹比较奇葩,于是把网站文件用mv命令移动到了新的目录,并相应修改了配置文件,并重启Nginx。 那么好,问题来了!本以为重启就OK了。居然报个“403 is forbidden“ 阅读全文
posted @ 2018-06-05 10:08 走天涯 阅读(591) 评论(0) 推荐(0) 编辑
摘要:登陆服务器之后进到nginx使用./nginx -s reload重新读取配置文件,发现报nginx: [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)错误,进到logs文件发 阅读全文
posted @ 2018-06-05 09:16 走天涯 阅读(94) 评论(0) 推荐(0) 编辑