wu2198

摘要： Russ Slaten 2014年 11 月 18日下午 4点 我们最近宣布了支持具有多个网络接口控制器 (NIC) 的虚拟机 (VM)。我仍在努力了解此功能适用的所有新场景，但首先，我希望亲自测试一下这项功能。 我的方案是通过 PowerShell使用实例级公用 IP地址 (PIP)... 阅读全文

摘要： YU-SHUN WANG Azure 网络高级项目经理 在 2014 年欧洲 TechEd 大会上，我们宣布了在Azure VM 中为多个网络接口 (NIC) 提供支持，并与多家重要厂商合作，在 Azure 中引入了网络虚拟设备，其中最引人注目的是 Citrix Netscaler 和 R... 阅读全文

摘要： 在Windows Azure中，用户可以对部署在Azure中的虚拟机的映像、磁盘以及快照进行生成和下载。用户可以方便地将Azure中的虚拟机实例迁移到本地、私有云甚至其他公有云平台进行测试、扩展或者再部署。但是，除Azure外，大部分公有云供应商并不提供虚拟机映像的下载服务。用户如要迁移自己的应... 阅读全文

摘要： Storage模块负责了Spark计算过程中所有的存储，包括基于Disk的和基于Memory的。用户在实际编程中，面对的是RDD，可以将RDD的数据通过调用org.apache.spark.rdd.RDD#cache将数据持久化；持久化的动作都是由Storage模块完成的。包括Shuffle过程中... 阅读全文

摘要： 通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。1.1.1 sp... 阅读全文

摘要： 我们在最近的博客文章中介绍了 Azure StorageFiles的预览版，请单击此处。该文章包含 Azure Files 的相关信息，说明了如何申请预览版并开始使用，还介绍了一些有助于创建共享和传输数据的工具。本文章将重点阐述如何才能创建与 Azure File共享的持久连接，以便您的计划... 阅读全文

摘要： 我们非常高兴地宣布在微软Azure中国区推出 Microsoft Azure File 服务预览版。Azure File 服务使用标准 SMB 2.1 协议提供文件共享。Azure 中运行的应用程序现在可以使用熟悉的标准文件系统 API（如 ReadFile 和 WriteFile）在虚拟机之间... 阅读全文

摘要： 回忆一下，每个Stage的上边界，要么需要从外部存储读取数据，要么需要读取上一个Stage的输出；而下边界，要么是需要写入本地文件系统（需要Shuffle），以供childStage读取，要么是最后一个Stage，需要输出结果。这里的Stage，在运行时的时候就是可以以pipeline的方式运行的... 阅读全文

摘要： Shuffle Map Task运算结果的处理这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的... 阅读全文

摘要： 在Spark 0.6和0.7时，Shuffle的结果都需要先存储到内存中（有可能要写入磁盘），因此对于大数据量的情况下，发生GC和OOM的概率非常大。因此在Spark 0.8的时候，Shuffle的每个record都会直接写入磁盘，并且为下游的每个Task都生成一个单独的文件。这样解决了Shuff... 阅读全文