摘要:上一期文章介绍了 Azure Batch + Low Priority VM 的方式实现了成本优化的训练架构,其实训练这种任务式的场景在可接受中断的情况下非常适合 Low Priority VM 来执行,即使中途被中断了也没有关系,可以重新来执行。推理场景就略有不同,推理通常是一个 Always O 阅读全文
posted @ 2019-07-01 08:18 wekang 阅读(140) 评论(0) 推荐(0) 编辑
摘要:今天我们来说一说如何通过 Azure Batch 实现多快好省的 AI 训练。多:Azure 云平台提供各种规格型号的计算服务资源,从 CPU 到 GPU 再到 FPGA,响指一打最新的 V100 卡加持 NVLINK 手到擒来。快:Azure 平台除了基础的计算资源外,还提供其它丰富的产品和工具, 阅读全文
posted @ 2019-06-30 23:55 wekang 阅读(212) 评论(0) 推荐(0) 编辑
摘要:上一篇中通过 Function 服务来实现了 NSG Flow Log 的 ETL 和流化处理,然后将处理好的 NSG Flow Log 推入到 Event Hub 中。NSG Flow Log 的分析引擎这里选用 Azure Data Explorer,是因为 Data Explorer 有强大的 阅读全文
posted @ 2019-06-14 14:32 wekang 阅读(166) 评论(0) 推荐(0) 编辑
摘要:上一篇中我们已经完成了事件驱动的日志注入的事件驱动的部分,本篇我们继续介绍关于由事件驱动产生的增量 NSG Flow Log 如何进行 ETL 处理,然后流式的方式注入到 Data Explorer 分析引擎中。我们先来回顾一下整体架构图,当 NSG Flow Log 的日志事件产生后,我们通过调用 阅读全文
posted @ 2019-06-03 16:08 wekang 阅读(193) 评论(0) 推荐(0) 编辑
摘要:上一回我们对 NSG Flow Log 方案的整体架构做了介绍,大家可以参考下面的架构图,快速回忆一下。本文我们主要聚焦在事件驱动的日志注入部分,即架构图中流程中的第一到第三步。 NSG Flow Log 目前支持的 Export 方式只有持久化到 Blob 存储中,使用的是 Block Blob 阅读全文
posted @ 2019-05-28 14:42 wekang 阅读(159) 评论(0) 推荐(0) 编辑
摘要:最近无意间翻看手册,发现 Global Azure 发布了 NSG Flow Log v2,在原有 Log 的基础上增加了 Flow State,Flow Bytes Statistics,Flow Packet Statistics,这些 Telemetry 字段对于从网络层面做运维和运营非常有帮 阅读全文
posted @ 2019-05-23 11:13 wekang 阅读(227) 评论(0) 推荐(0) 编辑
摘要:最近爆出的在代码仓库中泄露密钥的新闻屡见不鲜,今儿我们就来聊聊如何在 Azure 中有效管理代码中的密钥。Azure 中的服务通常可以分为控制平面和数据平面,控制平面通常指资源的CRUD操作(比如创建xx Azure 资源服务),数据平面通常指与服务的数据连接(比如在 Azure Blob Stor 阅读全文
posted @ 2019-03-26 02:01 wekang 阅读(373) 评论(0) 推荐(0) 编辑
摘要:今天我们来聊聊 Azure 虚拟机运维的计划运维管理(Scheduled Event),在微软云 Azure 上会出现计划性的运维事件一种是 Azure 平台发起的,一种是客户自主发起的,对于这种可预知的运维事件,是否可以进行有效的发现-管理-响应呢,下面我们就来做个小 demo 来带大家 Get 阅读全文
posted @ 2019-03-01 12:40 wekang 阅读(334) 评论(0) 推荐(0) 编辑
摘要:Step 1: Step 2: Step 3: 参考安装手册:https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html Step 4: https://docs.nvidia.com/deeplearning/sdk/nccl 阅读全文
posted @ 2018-11-26 23:30 wekang 阅读(196) 评论(0) 推荐(0) 编辑
摘要:今儿咱们撩一撩 Brigade,AZURE 的童鞋出去讲容器总会把 Helm,Draft,Brigade 挂在嘴边,这 Brigade 到底能做什么今天我们就来说一说。K8s 中有一种调度模式叫 Job,Job 不名思意就是任务,以达到某一目标定义的一系列执行,Job 其实非常适合在 K8s 中执行 阅读全文
posted @ 2018-11-26 01:15 wekang 阅读(242) 评论(0) 推荐(0) 编辑