Azure Lei Zhang的博客

weibo: LeiZhang的微博/QQ: 185165016/QQ群:319036205/邮箱:leizhang1984@outlook.com/TeL:139-161-22926

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  390 随笔 :: 0 文章 :: 394 评论 :: 0 引用

  《Windows Azure Platform 系列文章目录

  

  Update: 2016-11-3,如果大家在使用Linux VM,使用FIO进行IOPS测试的时候,请使用以下命令:

sudo fio -filename=/data2/testfile  -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=16k -size=10G -numjobs=20 -runtime=60 -group_reporting -name=mytest

  注意ioengine使用libaio,不要使用-ioengine=psync,因为性能差别很大。

 

 

  本文介绍的是国内由世纪互联运维的Azure China

 

  熟悉Azure平台的读者都了解,Azure VM每一块Disk的IOPS为500。我们以D系列的VM为例,IOPS信息如下:

虚拟机类型 CPU RAM 临时磁盘 外挂磁盘数 IOPS
D1 1 3.5GB 50GB 2 2 * 500
D2 2 7GB 100GB 4 4 * 500
D3 4 14GB 200GB 8 8 * 500
D4 8 28GB 400GB 16 16 * 500
D11 2 14GB 100GB 4 4 * 500
D12 4 28GB 200GB 8 8 * 500
D13 8 56GB 400GB 16 16 *500
D14 16 112GB 800GB 32 32 * 500

  这里要特别注意:用户在创建Azure VM的时候,不要把所有的虚拟机磁盘都保存在同一个存储账号里。因为一个存储账号是有IOPS上限20000的。

  以笔者个人经验来说,我建议每3台虚拟机使用同一个存储账号,第4台虚拟机使用另外一个存储账号。

  当我们需要更高的IOPS的时候,比如某些场景需要更高性能的磁盘读写,这时候就需要用到高级存储Premium Storage。

  传统的标准存储(Standard Storage)使用的是普通硬盘(Hard Disk Drives, HDD),高级存储(Premium Storage)使用的固态硬盘(Solid State Drives, SSD)

  使用高级存储(Premium Storage)可以提高IOPS和吞吐量,降低延时。每个VM可以配置最多32TB的持久化存储,每个VM可以超过50000的IOPS,读取操作的延迟少于1毫秒。

  

 

  这里再特别强调一下,Azure D系列VM,本地临时磁盘是SSD的。请注意是临时存储,这个存储在Windows里显示为D盘,在Linux系统里是/dev/sdb1 。优点: IOPS高;缺点:非持久化存储,文件会有丢失的风险,不能保留重要的文件。D系列VM的其他磁盘都是普通SAS盘,每块盘MAX IOPS为500。

  而我们在这里介绍的Premier Storage和DS VM,对于DS VM来说,他们的磁盘是保存在Premier Storage里的。本地系统盘和数据盘都是SSD,提供持久化保存,文件不会有丢失的风险。(但是对于DS系列来说,也会有临时盘。这个存储在Windows里显示为D盘,在Linux系统里是/dev/sdb1 ,这是临时盘,数据会有丢失的风险)。

  

 

  在开始本章内容之前,我们先介绍一下高级存储(Premium Storage)的注意事项:

  1.Premium Storage目前在Azure China只能通过PowerShell创建。

  2.Premium Storage支持的类库:Storage REST API version 2014-02-14 or later; Service Management REST API version 2014-10-01 or later; andAzure PowerShell version 0.8.10 or later.

  3.Premium Storage目前只能在中国东部地区使用

  Update 2016-09-22,Premium Storage目前可以在中国东部和中国北部地区使用

  4.Premium Storage目前只支持Page Blob,只能被Azure DS系列的VM使用

  5.Premium Storage只支持本地冗余(Local Redundant Storage, LRS),即同一个数据中心三分冗余。在使用Premium Storage的时候想实现异地冗余,请参考:使用高级存储时的快照与复制 Blob 

  6.非DS系列的VM(A系列VM,D系列VM)是无法使用Premium Storage。

  只有DS系列的VM才可以使用Premium Storage。DS系列的VM可以同时使用Premium Storage和标准存储(Standard Storage)

  7.Premium Storage无法映射到自定义域名

  8.Premium Storage无法使用存储分析进行监控。如果需要监控,请使用基于操作系统的工具,如Windows 性能监视器(对于 Windows VM)和 IOSTAT(对于 Linux VM)。

  

 

  重要说明:

  1.单个Premium Storage Account最大容量为32TB。如果需要使用40TB的Premium Storage,请使用两个Premium Storage Account。

  2.默认情况下,附加到DS VM的Premium Storage缓存都设置为"读写"。为使应用程序的 I/O 达到最佳性能,建议使用此配置设置。对于频繁写入或只写的磁盘(例如 SQL Server 日志文件),请关闭磁盘缓存以获得更佳的应用程序性能。

  3.Azure限制了DS VM到Premium Storage的网络吞吐量。例如,STANDARD_DS1 VM 为高级存储磁盘通信提供每秒 32 MB 的专用吞吐量。这意味着,附加到此 VM 的 P10 高级存储磁盘最高只能达到每秒 32 MB,而不能像 P10 磁盘那样最高达到每秒 100 MB。同样,STANDARD_DS13 VM 可跨所有磁盘最高达到每秒 256 MB。目前,DS 系列上的最大 VM 是 STANDARD_DS14,它可以跨所有磁盘最高提供每秒 512 MB。根据磁盘通信中的读写 IO 混合形式,你可能会获得高于此值的吞吐量。

   请注意,这些限制只适用于磁盘通信。VM 网络通信可以使用单独的吞吐量,这不同于高级存储磁盘的专用带宽。下表列出了附加到 VM 的所有磁盘上的每个 DS 系列 VM 的当前最大 IOPS 和吞吐量(带宽)值:

VM大小 CPU 最大IOPS 最大磁盘吞吐量
STANDARD_DS1 1 3,200 32MB/S
STANDARD_DS2 2 6,400 64MB/S
STANDARD_DS3 4 12,800 128MB/S
STANDARD_DS4 8 25,600 256MB/S
STANDARD_DS11 2 6,400 64MB/S
STANDARD_DS12 4 12,800 128MB/S
STANDARD_DS13 8 25,600 256MB/S
STANDARD_DS14 16 50,000 512MB/S

  4.DS系列的VM可以同时使用Premium Storage和标准存储(Standard Storage)

  5.可以使用Storage Space,设置软RAID,来提高磁盘的IOPS。具体请参考:

  [New Portal]Windows Azure Virtual Machine (23) 使用Storage Space,提高Virtual Machine磁盘的IOPS

  6.建议在系统盘+数据盘的情况下,如果系统盘只是用于引导,请考虑使用标准存储(Standard Storage),这样可以节省成本。数据盘可以使用Premium Storage,因为性能更好。

  如果系统盘和数据盘有数据传输,系统盘可以使用Premium Storage以获得更好的性能。

  

 

  高级存储性能:

  当你为某个高级存储帐户设置磁盘时,其每秒的输入/输出操作次数 (IOPS) 和吞吐量(带宽)取决于磁盘大小。目前有三种类型的高级存储磁盘:P10、P20 和 P30。每种类型各有特定的 IOPS 和吞吐量限制,如下表所示:

 

Premium Storage P10 P20 P30
磁盘大小 128GB 512GB 1024GB
每个磁盘的IOPS 500 2300 5000
每个磁盘的吞吐量 100MB/S 150MB/S 200MB/S

   Azure 会将磁盘大小映射(向上舍入)至表中指定的最接近高级存储磁盘选项。例如,大小为 100 GB 的磁盘会分类为 P10 选项,每秒最多可执行 500 个 IO 单位,每秒吞吐量可达 100 MB。同样地,大小为 400 GB 的磁盘会分类为 P20 选项,每秒最多可执行 2300 个 IO 单位,每秒吞吐量可达 150 MB。

  输入/输出 (I/O) 单位大小为 256 KB。如果要传送的数据少于 256 KB,会视为单个 I/O 单位。较大的 I/O 大小则会视为大小是 256 KB 的多个 I/O。例如,1100 KB 的 I/O 会视为五个 I/O 单位。

  吞吐量限制包含磁盘的读取和写入。例如,P10 磁盘的读取和写入总和应小于或等于每秒 100 MB。同样地,单个 P10 磁盘可有每秒 100 MB 的读取或每秒 100 MB 的写入吞吐量,或是每秒 60 MB 的读取和每秒 40 MB 的写入吞吐量。

  当你在 Azure 创建磁盘后,请根据应用程序的容量、性能、缩放性和高峰负载需求来选择最适合的高级存储磁盘产品。

  下表描述高级存储帐户的缩放性目标:

总帐户容量 本地冗余存储帐户的总吞吐量
  • 磁盘容量:32 TB
  • 快照容量:10 TB
入站 + 出站最高每秒 50 Gbps
  • 入站是指发送到存储帐户的所有数据(请求)。
  • 出站是指从存储帐户接收的所有数据(响应)。

 

 

  高级存储的计费方式:

  1.Premium Storage按照磁盘分配的最大容量计费。例如:你申请了1TB的Premium Storage,实际只用了1GB,则Azure会按照Premium Storage的最大容量,即1TB计费。

  2.DS VM还会按照分钟计费。DS系列VM的价格和D系列VM的价格相同

 

 

=============================分隔符===============================

  接下来介绍使用高级存储Premium Storage和DS VM,关键步骤如下:

  1.创建Premium Storage

  2.创建DS VM

  

  1.首先我们以管理员身份,运行Azure PowerShell

  2.选择当前的订阅:

Select-AzureSubscription '[SubscriptionName]' –Current

  3.在中国东部创建Premium Storage

New-AzureStorageAccount -StorageAccountName "yourpremiumaccount" -Location "China East" 
-Type "Premium_LRS" 

  

  4.创建新的DS VM,VM Size为DS2

$storageAccount = "yourpremiumaccount"
$adminName = "youradmin"
$adminPassword = "yourpassword"
$vmName ="yourVM"
$location = "China East"
$imageName = "a699494373c04fc0bc8f2bb1389d6106__Windows-Server-2012-R2-201409.01-en.us-127GB.vhd"
$vmSize ="Standard_DS2"
$OSDiskPath = "https://" + $storageAccount + ".blob.core.chinacloudapi.cn/vhds/" + $vmName + "_OS_PIO.vhd"
$vm = New-AzureVMConfig -Name $vmName -ImageName $imageName -InstanceSize $vmSize -MediaLocation $OSDiskPath
Add-AzureProvisioningConfig -Windows -VM $vm -AdminUsername $adminName -Password $adminPassword
New-AzureVM -ServiceName $vmName -VMs $VM -Location $location

 

 

  创建虚拟机,并加入虚拟网络

$storageAccount = "yourpremiumstorage" 
$adminName = "yourusername"
$adminPassword = "yourpassword"
$vmName =  "yourvmname"
 
$location =  "China East"
$imageName = "f1179221e23b4dbb89e39d70e5bc9e72__OpenLogic-CentOS-67-20160415"
$vmSize = "Standard_DS13"
 
$vnet = "yourvnetname"
$ipaddr= "privateip"
 
$subnet = "subnetname"
$csname = "yourcloudservicename"

New-AzureService -ServiceName $csname  -Location $location -Label demo 
 
# Create the VM
$OSDiskPath = "https://" + $storageAccount + ".blob.core.chinacloudapi.cn/vhds/" + $vmName + "_OS_PIO.vhd"
 
$vm = New-AzureVMConfig -Name $vmName -ImageName $imageName -InstanceSize $vmSize -MediaLocation $OSDiskPath
 
Add-AzureProvisioningConfig -VM $vm -Linux -LinuxUser $adminName -Password $adminPassword
 
Set-AzureSubnet -SubnetNames $subnet -VM $vm
Set-AzureStaticVNetIP -IPAddress $ipaddr -VM $vm
 
New-AzureVM -ServiceName  $csname -VMs $VM -VNetName $vnet

 

 

  5.在创建的DS VM上挂载新的数据磁盘:

$storageAccount = "yourpremiumaccount"
$vmName ="yourVM"
$vm = Get-AzureVM -ServiceName $vmName -Name $vmName
$LunNo = 1
$path = "http://" + $storageAccount + ".blob.core.chinacloudapi.cn/vhds/" + "myDataDisk_" + $LunNo + "_PIO.vhd"
$label = "Disk " + $LunNo
Add-AzureDataDisk -CreateNew -MediaLocation $path -DiskSizeInGB 128 -DiskLabel $label -LUN $LunNo -HostCaching ReadOnly -VM $vm | Update-AzureVm

 

 

  修改DS VM Size

  1.笔者发现创建成功的Azure DS VM,如果想修改VM Size是没有配置页面的。如下图:

  

  2.如果我们想修改VM Size的话,可以以管理员身份,运行以下命令:

#在弹出的输入框,输入用户名和密码
Add-AzureAccount -Environment AzureChinaCloud

#设置当前订阅
Select-AzureSubscription -SubscriptionName [SubscriptionName] –Current

#修改VM Size
Get-AzureVM –ServiceName '[CloudServiceName]' –Name '[VMName]' | Set-AzureVMSize '[VMSize]' | Update-AzureVM

#我们以DB-CS-A为例,设置大小为Standard_DS4,该命令为
Get-AzureVM –ServiceName 'uladvdb' –Name 'DB-CS-A' | Set-AzureVMSize 'Standard_DS4' | Update-AzureVM

#注意,运行上述命令修改VM Size后,该VM会重启。请确认把虚拟机一台一台重启,不要同时重启造成服务宕机

 

 

 

  上面聊完了技术问题,现在聊聊非技术问题

  1.Azure 高级存储是怎么计算费用的?

  首先我们看一看Azure官方提供的高级存储价格:

  http://www.windowsazure.cn/home/features/storage/#price

磁盘类型 P10 P20 P30
磁盘大小 128GB 512GB 1024GB
每月价格 470 1750 3230
每个磁盘的IOP 500 2300 5000
每个磁盘的吞吐量 100MB/S 150MB/S 200MB/S

  我们知道,Azure DS虚拟机在创建的时候,默认情况下Windows OS盘的大小为127GB,Linux OS盘的大小为30GB。

  参照上面的表,我们可以发现Windows OS 127GB和Linux OS 30GB,都小于P10的磁盘大小128GB。则Windows OS 127GB和Linux OS 30GB都是按照P10收费的。

  任何高级存储的磁盘大小,小于等于128GB的,都是按照P10收费。

  任何高级存储的磁盘大小,大于128GB,但是小于等于512GB,都是按照P20收费的。

  任何高级存储的磁盘大小,大于512GB,但是小于等于1024GB,都是按照P30收费的。

 

  好了,再举一个复杂的例子。假设我要130GB容量的磁盘,应该如何收费?

  1.如果是单块磁盘是130GB,那磁盘大小是大于128GB,但是小于等于512GB,都是按照P20收费的。每月费用=1750元/月。

  2.如果是2块磁盘,总容量是130GB。那我可以这样分配,5GB+125GB=130GB。这2块磁盘大小都小于等于128GB,都是按照P10收费的。每月费用=470*2=940元/月

  所以规划好高级存储的磁盘容量,可以帮我们显著的节省成本。

 

 

  

  2.Azure高级寸尺是怎么收取费用的?

  Azure高级存储是按照磁盘的最大容量收费的。

  在标准存储(Standard Storage)里,我们创建的磁盘VHD (A系列的虚拟机和D系列的虚拟机),是按照磁盘实际存储数据的容量来收费的。比如我分配的磁盘大小是1TB,但是实际存储容量为1GB,则普通存储是按照1GB的实际存储容量来收费的。

  在高级存储(Premium Storage)里,我们创建的磁盘VHD (DS系列的虚拟机),是按照整个VHD分配的总容量大小来收费的。比如我们分配的磁盘大小是1TB,但是实际存储容量为1GB,则高级存储是按照1TB的总容量,及P30的整体费用来收费的。

 

 

 

 

  Update 2016-04-06,笔者拿了一台DS13的VM,挂载1023GB (P30)磁盘,使用IOMeter进行测试:

  先设置Outstanding I/Os,为32。如下图:

  

 

  然后设置4K,100% Read

  

  

  IOMeters读的结果:

  

  可以看到上图中,P30 MAX IOPS为5000左右

 

 

  参考资料:

      https://azure.microsoft.com/en-us/documentation/articles/storage-premium-storage-preview-portal/

      http://www.windowsazure.cn/documentation/articles/storage-premium-storage-preview-portal/?fb=001

 

  

posted on 2015-10-08 20:04 Lei Zhang的博客 阅读(...) 评论(...) 编辑 收藏