随笔分类 - 关注
摘要:百度的高性能计算系统(主要是后端数据训练和计算)目前有4000节点,超过10个的集群,最大的集群规模在1000个节点以上。每个节点由8核CPU以及16G内存以及12TB硬盘组成,每天的数据生成量在3PB以上。规划当中的架构将有超过1万个节点,每天的数据生成量在10PB以上。底层的计算资源管理层采用了Agent调度不同类型的计算分别给MPI结构的算法和Map-Reduce和DAG算法应用等。而通过调...
阅读全文
摘要:IBM 研究员 Craig Gentry 最近刚刚找到了一种 全同态加密算法。 记加密操作为 E,明文为 m,加密得 e,即 e = E(m),m = E'(e)。已知针对明文有操作 f,针对 E 可构造 F,使得 F(e) = E(f(m)),这样 E 就是一个针对 f 的同态加密算法。 假设 f 是个很复杂的操作,有了同态加密,我们就可以把加密得到的 e 交给第三方,第三方进行操作 F,我们拿...
阅读全文
摘要:正版的书太贵了……只能买盗版了……哎,这世道,什么都涨价,就工资不涨!在淘宝上搜了一阵,这个店还是比较便宜http://shop36662160.taobao.com/,做个记号,晚上买几本。
阅读全文
摘要:近日,由中科院计算所主办的“Hadoop 中国2010云计算大会”在北京召开,今年已是第四届举办。包括百度、淘宝和中移动在内的诸多企业都展示了基于Hadoop的应用。在本次大会上淘宝数据平台及产品部基础研发组周敏介绍了淘宝对Hadoop的功能扩展和改造,分布式数据仓库的构思,并着重介绍了对Hive实践以及改造。以下是周敏在本次大会的ppt节选。淘宝数据图淘宝望目前有会员2亿...
阅读全文
摘要:Rackspace和NASA近日联手推出的云计算软件堆栈OpenStack在开源软件与云计算业界激起阵阵涟漪。简单来说,OpenStack为那些希望给用户提供云服务的托管供应商们创造了进入云计算领域的机会,就像Parallels Virtuozzo为Web托管公司开发了虚拟化私有服务器。 随着对实际云计算与IaaS背后安全问题的理解逐渐加深,OpenStack为用户在将业务迁移到私有云或公共云之...
阅读全文
摘要:据国外媒体报道,网络托管公司RackSpace今日宣布,将开源其用于提供云存储和云计算服务的软件,该公司还计划发布OpenStack开源云计算平台,并向该项目提供开源代码。OpenStack分为云计算和云存储两个项目,OpenStack云计算主要作用在于为虚拟服务器提供自动创建和管理,OpenStack云存储可以创建大量的、可扩展的对象存储软件,这个存储软件是用在商用的集群服务器上,它能够存储TB...
阅读全文