计算网格平台Alchemi效率测试

前边介绍了计算网格平台Alchemi的一些情况:

[推荐] 基于.net的Grid实现:Alchemi
Alchemi试用手记
Alchemi的实现机制初探

昨天对其效率做了一个简单的测试,测试结果如下:

对不同大小的空间数据集进行坡度求解的运算的计算结果见下表。其数据集大小分别为400×400,2000×2000和10000×10000的数据集;网格节点,即Alchemi的Executor节点分别为1到5。测试结果表明,对于小数据集,在网格计算环境下,效率呈现下降趋势,例如对于400×400,2000×2000的数据集,效率分别是单机环境的0.09倍和0.29倍,但对于10000×10000的大数据集,2个节点的网格计算环境效率即超过单机环境,而对于5个节点,效率提升为1.92倍。



对于分布式调用,其运行效率受以下因素影响:
(1)远程调用本身的开销,一般来说,远程调用要比本地调用慢1个数量级以上;
(2)网络传输速度的限制,所有运行的代码和调用指令等都需要远程传送,因此效率也必然要比本地调用慢得多。

这2个原因也是为什么对于较小的数据集,网格环境下效率反而不如本地代码(上表,图 a,b),但对于大数据集的较大的计算量,这些开销的负面影响被分布式计算所抵消,带来了更好的执行效率(上表,图 c)。而且,随着数据集大小的增加,计算量随之增加,增加网格节点会持续带来效率的提升,例如图a和图b随之网格节点增加,节点数超过2个以后,效率提升并不明显,但图c随着节点数增加,效率会持续提升。

由测试结果我们可以看到,通过计算网格技术的分布式计算,可以提高需要高密度计算的空间分析的运算效率,但对于运算时间小于远程调用及网络传输开销的运算,使用网格会得不偿失,所谓“分布式对象第一定律:不要使用分布式对象”,诚不我欺。

因此,网格可能只是适用于类似科学计算之类大计算量问题求解,对于一般的计算,例如企业系统,并不适合。
posted @ 2005-09-15 15:16 马维峰 阅读(1431) 评论(9)  编辑 收藏 所属分类: [02] GIS[06] .net[04] Grid(网格)

  回复  引用    
#1楼 2005-09-16 15:15 | idior [未注册用户]
在没有深入研究的情况下千万不要发表这样的结论:
网格可能只是适用于类似科学计算之类大计算量问题求解,对于一般的计算,例如企业系统,并不适合。

一来会误导读者,二来会被专家笑话的。

  回复  引用  查看    
#2楼 2005-09-16 16:00 | 懒狮      
◎idior
hehe,有道理!
不过不可否认,网格在运算密集的科学计算应用中有明显的优势。
  回复  引用  查看    
#3楼 2005-09-16 16:28 | idior      
虽然我没有深入了解网格.但是就我的接触而言.如果网格不能被运用于企业系统那是不会如此吸引学术界甚至是业界的眼球的.
个人认为网格的主要思想就是资源的共享以及对共享的控制.运算能力的共享仅仅是网格最初的运用.
  回复  引用    
#4楼 2005-09-17 12:09 | Mars [未注册用户]
第一,网格的提出是为了解决科学计算的问题;
第二,在企业计算方面,现在并没有深入研究,国外研究也集中在学术和科研方面的应用;
第三,资源共享应该是一个很好的方向,但到应用还有很长的路走。

另外,个人观点其实是很多人的观点,看看国外有关文章,不要想当然。
  回复  引用  查看    
#5楼 [楼主]2005-09-19 14:57 | 马维峰      
再说一点意见,现在的网格计算一般划分为:计算网格、数据网格和服务网格,网格最初的提出是计算网格,其初衷是并行计算,集群设置比较麻烦,因此提出此概念,可以任意扩充;至于数据网格,其目前实现大致使用的和P2P技术类似,例如目录服务和P2P交换,或者是类似网络文件系统;对于服务网格,完全是Web Service。

对于IBM等现在把很多东西贴网格的标签,大概和微软在2000年后把什么东西都贴.net标签是类似的、

这个是个人观点,欢迎讨论。
  回复  引用    
#6楼 2005-11-21 20:10 | 准备做网格的论文 [未注册用户]
你上面推荐的内容链接出错,能不能给个正确的链接地址。非常感谢!
  回复  引用    
#7楼 2006-04-07 13:43 | laohasdj [未注册用户]
具体的测试是怎么测试的啊
是不是就是把要测试的东西放在SDK里进行测试就可以拉

  回复  引用  查看    
#8楼 [楼主]2006-04-07 14:43 | 马维峰      
@laohasdj
这个只是平台,你可以使用SDK建立自己的应用,就可以测试速度了。

  回复  引用  查看    
#9楼 2006-12-21 17:26 | U2U      
好东西!

标题  
姓名  
主页
Email (博主才能看到) 
验证码 *  看不清,换一张 [登录][注册]
内容(请不要发表任何与政治相关的内容)  
  登录  使用高级评论  新用户注册  返回页首  恢复上次提交      


相关链接: