wu2198

摘要： 最近在做在线架构的实现，在线架构和离线架构近线架构最大的区别是服务质量（SLA，Service Level Agreement，SLA 99.99代表10K的请求最多一次失败或者超时）和延时。而离线架构在意的是吞吐，SLA的不会那么严苛，比如99.9。离线架构一般要有流控，以控制用户发送请求的速度... 阅读全文

摘要： Jonathan TulianiAzure网络 - DNS和 Traffic Manager高级项目经理 在北美 TechEd 大会上，我们宣布了 Azure Traffic Manager将支持 Azure外部端点。我们非常高兴能够宣布进一步的增强功能，为使用轮询机制负载平衡增... 阅读全文

摘要： Stephen MaloneAzure网络 - DNS和 Traffic Manager高级项目经理 我们非常高兴地宣布，中国版 Azure中现已提供 Azure Traffic Manager。Azure Traffic Manager 是一种流量管理解决方案，可促进部署到 Azu... 阅读全文

摘要： RDD是Spark最基本，也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间，可以看这篇译文：http://shiyanjun.cn/archives/744.... 阅读全文

摘要： Spark技术内幕：Master基于ZooKeeper的High Availability（HA）源码实现 详细阐述了使用ZK实现的Master的HA，那么Master是如何快速故障恢复的呢？处于Standby状态的Master在接收到org.apache.spark.deploy.master... 阅读全文

摘要： 当用户应用new SparkContext后，集群就会为在Worker上分配executor，那么这个过程是什么呢？本文以Standalone的Cluster为例，详细的阐述这个过程。序列图如下：1. SparkContext创建TaskScheduler和DAG SchedulerSparkCo... 阅读全文

摘要： SparkContext是开发Spark应用的入口，它负责和整个集群的交互，包括创建RDD，accumulators and broadcast variables。理解Spark的架构，需要从这个入口开始。下图是官网的架构图。DriverProgram就是用户提交的程序，这里边定义了SparkC... 阅读全文

摘要：  我们很高兴地宣布Azure Traffic Manager 现已面向中国版Azure正式发布。此版本现已投入生产，由企业 SLA支持，随时可用于生产场景中。 借助Azure Traffic Manager，您可以控制用户流量到托管在Azure内部或外部的应用程序的分配。您的应用程序... 阅读全文

摘要： 对于大规模的集群，相信都有一整套比较完善的自动化部署方案。自动化部署有很多问题值得思考，比如如何均衡的利用每个节点的资源，保证整个集群的负载打散；如果方便的加入新机器，如何在机器物理故障时下线它，然后将部署的任务迁移到其他的备机，有点资源管理的意味了。本文不会讨论这些问题。只涉及一个很简单的场景：... 阅读全文

摘要： Android WebView播放flash(判断是否安装flash插件) 最近帮一个同学做一个项目，断断续续的一些知识点记录一下。一个页面中有一个WebView，用来播放swf，如果系统中未安装flash插件，必须提示用户到market中安装。 下面做一个demo，效果图如下： ... 阅读全文