运维知识体系

【运维知识体系】-v3.1 作者：赵舜东（赵班长） (转载请注明来自于-新运维社区：https://www.unixhot.com)
运维架构层级/运维角度			内容描述/主要技术关键词	监控体系	自动化/DevOps	云计算
客户端层	浏览器		Cookie作用域、浏览器缓存协商（Last-Modified、Expires、Etag）、组件分离、前端优化、运维检测工具	舆论监控 外部网络监控 APM	故障检测工具	DNS服务 CDN服务 移动服务 云盾
	DNS		浏览器DNS缓存、DNS缓存、自建DNS服务器、商业DNS产品、智能DNS、公共DNS（BGP anycast）、bind+DLZ/DPDK
	客户端/APP		HTTP-DNS、打点日志、加密传输、移动推送、各类SDK（监控SDK、推流SDK等）
外部层	外部CDN		GSLB、反向代理缓存、分布式存储、流量调度、配置管理、用户端（各类API如：带宽监控、预缓存、缓存刷新）		基于开放API开发
	外部安全防护		第三方安全解决方案（防DDOS、防CC攻击、WAF等）
网络层	互联层		多机房互联（VPN、专线）、异地灾备-->异地多活-->按SET部署	设备监控 （Zabbix SNMP） 网络质量监控 （Smokeping）	SDN OpenvSwitch （GRE、Vxlan）	高速通道
	核心层		防火墙、路由器、Ipsec VPN、链路负载均衡和高可用 （CCNP级别）			VPC（专有网络）
	汇聚层		三层交换 动态路由（OSPF）、静态路由、EC（端口汇聚）、MSTP+VRRP等 （CCNP级别）
	接入层		二层交换 （VTP、SPF、Trunk、端口安全）等 （CCNA级别）
接入层	负载均衡 高可用	四层负载均衡	开源：LVS（IP负载均衡）+Keepalived、Haproxy 商业：F5、Netscaler	服务监控（API）	平台开发 （LBaas）	高防IP 云负载均衡SLB CDN服务
		七层负载均衡	反向代理：Haproxy、Nginx、Apache（根据HTTP协议支持的属性进行L7分发）、A/B Test Gateway、WAF
	反向代理缓存		ATS、Squid、Varnish、Nginx(缓存分级、预缓存、缓存刷新）
应用服务层	Web服务层		HTTP协议、Web服务器（Apache、Nginx/OpenResty、Tomcat、Resin、Jboss）安全设置、性能优化	业务监控(API) 流量分析(Piwik) 服务监控(API) 安全监控(WAF)	配置管理：SaltStack 过载保护-服务降级 灰度发布-openresty 项目管理-Readmine 代码仓库-gitlab 持续集成-Jenkins 持续审查-SonarQube	镜像市场
	应用服务层		运行环境（PHP Python Java C C++）、性能优化、缓存（OPCache、LocalCache）、Session存储、代码部署			各种SAAS服务
	业务层	业务实现	API网关、302调度、业务模块化（电商例：用户、商品、购物车、结算中心、价格等服务）、微服务
		服务层	SOA框架（Dubbo）、微服务框架（istio、Spring Cloud）、协议（RPC、RESTful）、框架安全、应用性能监控			分布式应用服务
	分布式层	消息队列	ActiveMQ（成熟）、RabbitMQ（成熟、案例多）、RocketMQ（业务应用）、Kafka（日志传输）、ZeroMQ（快）			消息队列服务
存储层	文件存储	单机存储	块存储 - 机械硬盘、SSD、文件系统（ext4、xfs）、LVM、tmpfs	系统监控 软件自带监控	配置管理	云硬盘 对象存储
		单机存储扩展	文件分发（多级分发）、文件同步（rsync、inotify）、DRBD、DAS（块存储）
		共享存储	文件存储 - NAS[NFS（Unix/Linux）]、FTP、SAN、iSCSI
		分布式存储	对象存储 - GlusterFS、MooseFS、Ceph、FastDFS（非对象存储）
	DAL	数据访问层	应用层分片、淘宝TDDL、开源：360（Atlas）、阿里（Cobar）、MyCat、MySQL-Proxy、根据业务开发			数据库服务
	数据存储	分布式缓存	Memcached、Redis（客户端分片、Redis Cluster、Twemproxy、Codis）	数据库监控	数据库运维平台	云数据库-RDS Mongodb、Redis Memcached OceanBase
		NoSQL	Redis、LevelDB（SSDB）、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB（支持MySQL协议）
		时间序列	RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch、Hbase
		RDBMS	MySQL（PXC集群、MHA）、Oracle（DG、OGG、RAC）、PostgreSQL、SqlServer、SQLite、DB2
		大数据	Hadoop生态圈（HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu）、Mahout智能推荐	服务监控	Ambari、CM	大数据服务
基础服务层	业务决策		灰度发布、服务降级、异地灾备、数据分析平台、智能扩容决策树（需要各层支持）、智能监控	监控工具： Zabbix Nagios Cacti Open-Falcon Sensu	自动化工具 （Puppet Chef SaltStack Ansible）	日志服务 操作审计 资源编排 运维监控服务 持续交付系统
	运维相关		项目管理（Redmine、Jira、知识库、Bugzilla、CodeReview）、工单系统、运维操作平台、监控平台
	应用相关		持续集成、日志收集平台（ELKStack）、自动化部署平台、Job管理（调度）平台、安全扫描平台
	系统相关		LDAP、内部DNS、DHCP、Mail、SMS、Gitlab、Yum仓库、操作审计（xenapp）、堡垒机
容器层	容器编排		Mesos（Marathon、Chronos）、Kubernetes、Docker Swarm、Rancher、CoreOS（fleet）、OpenStack（Magnum）	Docker Stats cAdvisor DataDog Zabbix	Docker Swarm Mesos Kubernetes	容器服务
	容器和系统		容器：LXC、LXD、Docker、rkt、系统：CoreOS、Atomic、RancherOS
	网络和存储		网络：Calico、Flanel、Weave Net 存储：Ceph 镜像管理：Docker Registry、Harbor
操作系统层	CPU		CPU运行级别、使用率、上下文切换、运行队列、进程调度、系统调用、CPU管理（进程管理、taskset、intel VT-X）	mpstat、strace	虚拟化	公有云 弹性计算产品
	内存		虚拟内存、SWAP换入换出、内存寻址、内存管理（Buffer Cache、HugePages、ksmd、EPT）	vmstat、free
	I/O（磁盘）		缺页中断、IOPS（顺序IO、随机IO）、IO管理（IO调度算法、virtio）、VFS	iostat、iotop
	I/O（网络）		TCP/IP（三次握手、四次挥手、状态转换、TCP队列）、IO模型、Bonding、Bridge、网络管理（iftop、tcpdump）	iftop
	内核/Shell		内核定制、内存参数优化、脚本编程（AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua）	系统监控
基础设施层	IAAS(基础设施即服务)		公有云、私有云（OpenStack/cloudstack+KVM/XEN、oVirt）、混合云	服务监控	配置管理
	硬件管理		硬件选型、配件更换、资产录入、系统安装（Cobbler）、标签化、Raid构建、远程控制（KVM、iDrac、ILO、IMM）	巡检、IPMI	IPMI、CMDB
	IDC托管		需求分析、IDC选型、网络测试、谈价格、签合同、设备采购（原厂vs渠道）、机柜和机位规划
	数据中心		数据中心选址、制冷、供电、网络、运维	风火水电	基础设施监控	无
运维产品化	基于DevOps产品思路		项目管理（类似Jira）、Bug管理、代码托管（类似Gitlab）、持续交付（类似Jenkins的构建、测试、部署）	监控平台、看板	软件定义数据中心	DevOps产品
	自动化运维产品思路		CMDB、ITSM管理系统（事件管理、问题管理、故障管理、工单系统）、作业平台、堡垒机、APM、私有云平台	监控平台	CI/CD系统	运维管理产品
运维服务化	OAAS		OAAS：Operations as a Service,运维咨询、运维托管、技术培训、应急处理、产品即服务、DevOps专家服务
测试和开发相关			运维协助：性能测试（TCPCopy、日志转换）、单机监控（nmon）、环境规划（开发、测试、预生产、生产）、CI（持续集成）、自动化部署
运维管理体系			运维管理必会：ITSM、ITIL V3、IT Service CMM、Six Sigma、DevOps Master、项目管理（PMBok）、架构层面（知识体系、运维方案、容量规划、灾备规划、服务降级）
运维发展趋势（个人理解）			打杂（小公司啥都干）->分层（应用运维、系统运维、基础运维、运维开发等）->场景化（分业务）->自动化（最终大家的目标都是自动化）
运维自动化发展趋势（个人理解）			标准化（文档化、流程化）->工具化（流程固化为工具）->Web化（平台化）->服务化（API化）->智能化（自动化）->产品化（服务化，云服务、运维创业）
备注：			1.本表格只体现和运维相关的内容；2.表格没有严格意义上的层级关系；3.持续更新中，由于每个层次内容多，只例举比较出名（重要/开源）的关键词； 4.运维人员要给自己划好知识边界！（横向|纵向）5.转载请注明来自-运维社区https://www.unixhot.com/page/ops

运维知识体系v3.1【赵班长】

Web缓存知识体系-V3.0 赵舜东（赵班长) 【转载请注明来自于-运维社区】
缓存分层	缓存分级	内容	内容简介/主要技术关键词
用户层	DNS	浏览器DNS缓存	Firefox默认60秒,HTML5的新特性：DNS Prefetching
		应用程序DNS缓存	Java（JVM）、PHP语言本身的DNS缓存
		操作系统DNS缓存	客户端操作系统DNS缓存
		DNS缓存服务器	专用的DNS缓存服务器、LocalDNS缓存
	浏览器	浏览器缓存	HMTL5新特性：Link Prefetching
			基于最后修改时间的HTTP缓存协商： Last-Modified
			基于打标签的HTTP缓存协商： Etag
			基于过期时间的HTTP缓存协商：  Expires、cache-control
代理层	CDN	反向代理缓存	基于Nginx+（Squid、Varnish、ATS）等，一般有多级
Web层	解释器	Opcache	操作码缓存
	Web服务器	Web服务器缓存	Apache（mod_cache）、Nginx(FastCGI缓存、Proxy cache)
应用层	应用服务	动态内容缓存	缓存动态输出
		页面静态化	动态页面静态化，需要专门用于静态化的CMS
		Local Cache	应用本地缓存，PHP（Yac、Xcache） Java（ehcache）
数据层	分布式缓存	分布式缓存	Memcache、Redis等
	数据库	MySQL	MySQL自身缓存、innodb缓存、MYISAM缓存
系统层	操作系统	CPU Cache	L1（数据缓存、指令缓存） L2、L3
		内存Cache	内存高速缓存、Page Cache
物理层	Raid卡	Raid Cache	磁盘阵列缓存（Raid卡可以控制是否使用磁盘高速缓存）
	磁盘	Disk Cache	磁盘高速缓存
备注	1.此体系结构仅包含读缓存（Cache），不包含写缓冲（Buffer），所有很多缓冲区没有列举。 2.根据用户发起一个HTTP请求开始，持续更新中，欢迎大家添加更多的内容。

缓存知识体系v3.0【赵班长】

缠中说禅_新浪博客