阿里云

阿里云

DTS数据传输服务

DTS是数据传输服务，支持常见关系型数据库nosql，包括大数据等数据引擎之间的数据迁移，数据库binlog订阅以及数据库实时同步

DTS迁移方案

DTS提供0停机迁移，在整个迁移的过程当中，原数据库可以正常提供服务，迁移完成之后业务可以直接切换到目标实例，整个迁移的停机时间是秒级

DTS提供迁移回滚方案，这就意味着在整个迁移过程当中，如果业务流量切换到目标实例出现异常的话，业务可以秒级切换原实例

• 整个迁移方案为用户提供0停机0风险的迁移方案

DTS数据库日志实时订阅

通过日志实时订阅功能，用户去实现异步消息通知，缓存更新。包括复杂etl的数据库实时同步场景

DTS还支持端到端的数据实时同步功能，通过数据库日志的数据实时同步，DTS可以实现毫秒级的同步延时

使用数据同步功能，用户可以实现异地灾备，异地多活，数据实时仓库，以及数据库读写分离等应用场景

DMS数据管理

#一个操作RDS数据库的应用软件

阿里云数据管理提供的数据库管理服务包含三层结构：业务层，调度层，连接层，用于对RDBMS，NoSQL的实时数据访问和后台数据任务的调度

业务层：DMS业务层提供数据实时点击SQL访问，业务层为无状态节点，可线性扩展，确保DMS整体服务能力的 提升宕机无状态切换，确保7x24小时服务

调度层：调度层为提供调度，其后台主要通过线程池进行调度，分为实时调度和后台定时调度两类。

　　　　实时调度提供前端点击后立即调度并一次性任务处理，数据管理后台自动完成所有工作

　　　　后台定时调度任务为用于定时获取用户指定的数据，提供查阅和分析

连接层：连接层为数据管理的访问数据核心部件，主要包含如下几点：

　　　　兼容mysql,sqlserver,postgresql,ppas,redis,mongdb的请求

　　　　前端操作上会话隔离及保持，即通过数据管理打开多个sql窗口，接近客户端的体验

　　　　实例会话数量控制，防止对单个实例建立大量的连接数

　　　　按功能分级回收连接策略，尽可能确保不同功能体验的基础上减少对数据库连接数

AS弹性伸缩

弹性伸缩由三大部分组成：1.弹性扩张，当业务要进行升级时，自动进行弹性扩张添加ecs实例

2.弹性收缩，当业务下降时自动释放资源，当cpu使用率低于30%时候，弹性收缩自动收缩

3.弹性自愈，当健康检查功能检测到基本实例和设置的实例最小值时，弹性伸缩将不再收缩或者扩张

AS应用场景

视频公司，视频直播公司，游戏公司，电商，亦或者公司内部大型活动的时候

AS工作流程

AS工作流程：监控健康情况--->触发伸缩任务--->生成伸缩组--->进行ecs伸缩操作（伸缩规则，伸缩配置，伸缩活动）

1 2 3 3-4（根绝伸缩规则，伸缩配置，伸缩活动进行ecs伸缩操作）

冷却伸缩组（对于伸缩组操作起到一个保护和资源控制的作用）

5

AS伸缩模式

• 定时模式：您可以创建定时任务，在指定时间执行指定伸缩规则。

• 动态模式：您可以基于云监控性能指标（如CPU利用率）创建报警任务，当伸缩组的指标数据满足您指定的报警条件时，触发报警并执行您指定的伸缩规则。

• 固定数量模式：

  • 您在伸缩组设置了最小实例数，当伸缩组的ECS实例数量低于下限时，伸缩组会自动添加ECS实例，使得伸缩组内的ECS实例数量等于下限。

  • 您在伸缩组设置了最大实例数，当伸缩组的ECS实例数量超过上限时，伸缩组会自动移出ECS实例，使得伸缩组内的ECS实例数量等于上限。

  • 您可以在创建伸缩组时设置期望实例数，伸缩组会自动将ECS实例数量维持在期望实例数。

• 健康模式：您可以在伸缩组开启健康检查功能，伸缩组会定期检查ECS实例的运行状态，如果发现一台ECS实例未处于运行中状态，则判定为不健康并移出该ECS实例。

• 自定义模式：您可以手动进行弹性伸缩，包括手动执行伸缩规则，或者手动添加、移出或者删除已有的ECS实例。

• 多模式并行：以上所有模式都可以组合配置。例如，在每天中午12点开始，业务需求明显增加，您可以设置定时任务，在每天12点创建20台ECS实例以应对业务高峰。但创建的ECS实例台数不一定能满足需求， 则您可以选择其他伸缩模式，如动态模式、自定义模式等，与定时模式配合一起使用。

#伸缩模式根据业务情况而定，一般动态，定时，固定模式用的多些

阿里云监控

oss对象存储

oss对象存储是一种面向海量数据规模的分布式存储服务，具有稳定，可靠，安全，低成本的特点。

非常适合存储各类分结构话数据，比如视频，图像，日志，文本文件，单个数据的大小从1字节到48.8TB

可以存储的数据个数无限，容量和处理能力弹性扩展，从而给互联网应用提供海量存储能力。

oss提供标准的RESTful API接口java，python等10多种语言的SDK包，您可以根据业务进行二次开发，您也可以通过OSS提供的web控制台，图形化工具，命令行工具，对oss上存储的数据进行上传，下载和处理，您还可以通过在线迁移服务，迁移工具轻松的将海量数据移入或移出oss。

根据数据使用的场景不同，oss提供多种存储类型供您选择，可全面优化存储成本

oss基本概念

存储空间（Buket）

存储空间是用户用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。用户可以根据实际需求，创建不同类型的存储空间来存储不同的数据。

对象（Object）

对象是OSS存储数据的基本单元，也被称为OSS的文件。和传统的文件系统不同，对象没有文件目录层级结构的关系。对象由元信息（Object Meta），用户数据（Data）和文件名（Key）组成，并且由存储空间内部唯一的Key来标识。

Endpoint（访问域名）

Endpoint表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务，当访问不同的Region的时候，需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint也是不同的。

AccessKey（访问密钥）

AccessKey简称AK，指的是访问身份验证中用到的AccessKeyId和AccessKeySecret。OSS通过使用AccessKeyId和AccessKeySecret对称加密的方法来验证某个请求的发送者身份。

oss存储类型

标准存储：存储作为移动应用，大型网站，图片分享或热点音视频的主要存储方式

低频访问：较低价格的低频访问，来存储较少访问但需实时响应的数据

归档存储：成本低归档存储来存储需要长时间保存的数据，其数据在一分钟之内即就绪可读

冷归档存储：针对基本不在访问，但需超长期存储的归档数据，您可以选择成本最低

oss生命周期管理

对符合特定条件的数据自动删除或者转换成低频访问，归档或冷归档存储类型

oss数据上传

oss数据上传时，oss提供简单上传，分片上传和追加上传三种方式

oss提供完善的数据容灾机制

同城冗余存储：将每个对象存储在同一个地域的三个可用区中，确保硬件失效时的数据可靠性和可用性

跨区域复制：将数据复制到其他地域实现数据的异地容灾

合规保留策略：对于不允许修改的合规数据，您可以使用合规保留数据，以“不可删除，不可篡改”的方式保存和使用

版本控制功能：防止数据被意外删除或覆盖，开启版本控制功能。所有误删除，误覆盖的数据都会保存为历史版本并支持随时恢复

CDN内容分发网络

#系统将原站内容分发至最接近用户的边缘节点，使用户可就近获取所需内容，y

SDN网络

物理隔离：顾名思义，在物理设备上进行相对的隔离

逻辑隔离：逻辑隔离制定规则进行有条件性隔离（VPC专有网络）

SDN软件定义网络

软件定义网络（Software Defined Network，SDN）是由美国斯坦福大学clean-slate课题研究组提出的一种新型网络创新架构，是网络虚拟化的一种实现方式。其核心技术OpenFlow通过将网络设备的控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网络作为管道变得更加智能，为核心网络及应用的创新提供了良好的平台。

传统个网络>网络虚拟化>SDN网络（软件定义网络）

阿里云网络

阿里云网络产品

VPC：专有网络
SLB：负载均衡
NAT：网关
EIP：弹性公ip
VPN：网关
共享带宽
共享流量包
高速通道
云托付
全球加速

VPC专有网络

VPC专有网络是基于阿里云构建的一个隔离的网络环境，专有网络之间逻辑上彻底隔离。VPC提供了两个能力

• 用户而已自定义网络拓扑，包括选择自有ip地址范围，划分网段，配置路由表和网关等

• 通过专线或vpn与原有数据中心连接，云上和云下的资源使用同一个网络地址规划，实现应用的平滑迁移上云

• vpc只能拥有一个路由器，可拥有多个交换机，一个路由器添加自定义路由表来实现vpc内跨可用区网段连接和流量走向

网络虚拟化

vm ip地址灵活分配

• vm ip地址与物理网络 拓扑解耦

  • 结耦：结合在一起有相互关系

  • 解耦：两者没什么关系跟别的在一块也可以

• vm ip地址可以根据业务需要进行分配

vm ip地址从寻址功能变为标记

• vm任意迁移，ip地址保持不变

• vm迁移时，不需要配置物理交换机

多租户

• 租户间相互隔离

• 租户可以自行设置安全策略

转发逻辑由自学习变成集中控制

• OVS由控制平面统一管理

• 路由信息由控制器集中控制

消除大二层网络问题

• 二层网络有实变虚，不在仅仅是Vlan

• 消除ARP广播域，减少网络故障

• 简化vm配置，减少网络故障

• 减轻网络设备压力，减少网络业务上非业务报文

overlay虚拟网络技术是基于真实的物理网络进行虚拟的，虚拟出来的虚拟网络要先做到隔离，vpc就做到了这一点，在虚拟网路内还可以部署更多的阿里云产品

云企业网（CEN）

主要目的是组件混合云和分布式业务系统的全球网络，协助用户打造一张具有企业级规模和通信能力的云上网络

云企业网相当于一张企业内部大网，可以接纳任何不同地域的网络，实现产品业务内部互通，更加丰富的实现自己的混合云业务和跨云地域业务

VPN网关

VPN网关是一款基于internet，通过加密通道将企业数据中心，企业办公网络或internet终端和阿里云专有网络（VPC）安全可靠的连接起来

ipsec-VPN：提供站点到站点vpn连接

ssl-VPN：提供点到站点的vpn连接，不需要客户网关，终端直接接入

NAT网关

NAT叫网络地址转换，目前ipv4上网都是通过NAT进行上网的，当多个ECS实例需要上网时候构建NAT网关多个共享一个网关进行上网，还可搭建NAT网关高可用架构一个主一个备来作为应急措施

SNAT：访问公网服务

DNAT：提供公网服务

项目：vpc+vpn+自定义路由（实现跨地域网络连接或CEN云企业网）

如图所示要链接vpc1和vpc2，两者网段不一样地域也不一样通过添加路由器自定义条目到各自的vpn网关上面，通过网关的ipsec加密通道实现两个网关网络跨地域网段连接

具体操作通过编写自己的路由条目跳转到自己的vpn网关身上，vpn网关则设置目标vpn网关进行网关连接

缺点：成本较高，操作麻烦

云企业网（CEN）：通过云企业网实现多个VPC通信

在VPC间，VPC与本地数据中心间搭建私网通信通道，通过自动路由分发及学习，提高网络的快速收敛和跨网络通信的质量和安全性，实现全网资源的互通

项目：VPC+VPN+本地数据中心（构建混合云）

第一种：通过在云上vpc专有网络构建VPN网卡通过ipsec加密通道来连接到本地数据中心，构建混合云，实际就是线上vpn机制添加目标vpn时候添加线下网段，线下拿出一台服务器来作为中继服务器来修改防火墙配置静态路由配置ipsec和线下的服务器网段实现这种连接

第二种：通过云上vpn和阿里云vpn网关设备进行连接

构建混合云网络连接

drds ons ocs odps

DRDS分布式数据库

drds核心思想

由单机数据库组成的多个数据库集群，进行水平扩展

最开始是用户->负载均衡层->drds集群层->mysq或rds数据库集群->数据复制组件

通过负载均衡作为流量分摊到drds反向代理集群组，再在drds反向代理集群组当中反向到后端mysql或rds数据库集群，后端数据库都是对drds集群组互通的，数据复制是数据库扩容的核心依赖

drds数据拆分

drds数据拆分是分布式数据库的核心理念

拆分：路由功能，逻辑数据库通过哪个拆分建选择了自己的拆分建之后drds反向代理层根据拆分建进行数据的读写路由

以上拆分表有一定的路由规则f，拆分建是membe-id，当进行sql查询时候，只要进行拆分建的搜索对照出相同存在的数据都会在库2进行操作，这个路由是由drds自动路由的

RDS数据库

RDS数据库只读实例和读写分离

用户创建一个或多个只读实例来满足大量的数据库读取需求。

在应用程序中配置读写分离地址，就可以使写请求自动转发到主实例，读请求自动转发到各个只读实例

RDS支持数据热迁移再不影响业务的情况下进行数据迁移至云上

具体操作：通过读取分离的地址来自动转发读和写的请求，读的请求自动转发只读实例，写请求转发到主实例

RDS灾备实例

通过数据传输服务（DTS）实现主实例和异地灾备实例之间的实时同步。主实例额灾备实例均搭建主备高可用架构

具体操作：通过DTS传输服务将主实例里面的数据同步到一个异地灾备实例当中，当主实例宕机用户可将异地灾备实例切换成主实例

CloudDBA

clouddba是用来监控和管理rds性能和运行状况的服务，针对sql语句的性能cpu使用率，内存使用率，磁盘空间使用率，提供了智能的优化以及诊断功能

RDS数据库版本

基础版：单节点，性价比高，个人学习

高可用版本：一主一备高可用架构，可通过dts实现高可用数据转移

三节点企业版：采用一主两备，在高可用版本上再加一台备用机器

集群版：采用一主一备和最多7 个只读实例的集群架构

创建账号

高权限账号：可以管理所有数据库和普通账号

普通账号：对rds有一定权限

DDL：对数据库表结构进行改动

DML：对数据进行改动

白名单：允许连接的设备（可以添加专有网络的内网ip）

外网地址：允许数据库对外被访问，将设备的公网ip添加到白名单里

数据库备份恢复：图形界面化操作，操作简单点击选项即可

手动备份：选择要备份实例，进行备份，将rds数据库数据备份到备份服务器或者oss服务上

备份到oss：可以通过阿里云的DTS服务进行数据同步，也可以通过阿里云DBS备份服务进行备份，可以存储到NAS，OSS等。

DBS数据备份服务

DBS数据备份服务支持混合云备份和云上备份，支持mysql和rds备份，可以备份到nas上或oss上

DBS支持的数据库类型

云上数据库基本都支持

线下数据库：mysql sqlserver oracle PostgreSQL mariadb

备份方式

逻辑备份：数据库对象级备份，备份内容是表、索引、存储过程等数据库对象，如MySQL mysqldump、Oracle exp/imp。

物理备份：数据库文件级备份，备份内容是操作系统上数据库文件，如MySQL XtraBackup、Oracle RMAN。

快照备份：基于快照技术获取指定数据集合的一个完全可用拷贝，随后可以选择仅在本机上维护快照，或者对快照进行数据跨机备份，如文件系统Veritas File System，卷管理器Linux LVM，存储子系统NetApp NAS。

DBS详细备份操作步骤

项目：RDS数据迁移

迁移条件：由于公司发展新型业务公司决定将线下mysql数据库牵制云上RDS数据库上

准备工作：阿里云RDS数据库，DG网关，线下mysql数据库，DMS，自建mysql实例ECS，DTS

在公司决定是冷机迁移还是热机迁移，冷机迁移免费，热机迁移实时同步产生的费用要按量支付

操作步骤：

• 创建MYsql实例

• 创建DG网关

• 将数据库进行全备

• 进行数据迁移rsync或者scp传输mysql备份并进行md5校验

• 在云上mysqldum将备份导入数据库

• 再通过DTS将mysql迁移至RDS数据库

线上mysql迁移rds

数据库网关	testmacos
数据库地址	127.0.0.1
端口	3306
备注	添加IDC数据库

（如果打通了vpc专线可以用DTS直接进行网关传输，但这样是走公网安全是一个问题，如果mysql数据包没做过加密处理会存在风险）

（然而通过这个DG网关是内网进行传输不会被劫持）数据库网关DG

DG使用方法

阿里云安全

网络通信五元组：源ip，源端口，协议，目标端口，目标ip

安全相关概念

黑客通过扫描端口对端口进行攻击

骨干网：用来连接不同区域的网络

idc数据中心：有自己idc机房和租用idc机房

（租用的有世纪互联，上海网速）

BGP协议：边际网关协议，是用来连接网络的独立系统的路由选择协议

使用bgp协议互联之后网络运营商所有的骨干路由就会判断ip段的最佳路由，以保证用户的高速访问

ABTN（阿里巴巴骨干网）：阿里云数据中心与公网进行连接