李燕

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  云计算

P2P system:How Chord tackles failures
摘要：若有peer failures 怎么办接上面的例子，如果N32 fail掉了，但是N80的finger table还没有更新，这样query到了N16,它找不到N32，只有N80，这样query就会丢失掉。解决的方法是，保存r个successor而不是只一个successor，r 是一个系统可以配置... 阅读全文
posted @ 2015-11-18 20:03 李燕 阅读(221) 评论(0) 推荐(0)

P2P system: Chord
摘要：DHT= Distributed Hash Tablestore the objects(files) at nodes (hosts, machines) in a cluster. The cluster might be distrubuted out throughout the world... 阅读全文
posted @ 2015-11-01 15:47 李燕 阅读(550) 评论(0) 推荐(0)

P2P system: FastTrack and BitTorrent
摘要：FastTrackFastTrack来源于Gnutella，是Gnutella 和 Napster的杂交体有些node承担了更重要的责任，这些nodes称为supernodes,因为这些改进，它比Gnutella更快除了有几个supernodes之外，它与Gnutella overlay长得很像.这... 阅读全文
posted @ 2015-10-29 18:01 李燕 阅读(530) 评论(0) 推荐(0)

P2P system: GNUTELLA
摘要：P2P system: GNUTELLAGNUTELLA是第一个经论证的分布式的peer-to-peer system.Napster的一个重大问题是涉及到间接侵权，所以GNUTELLA消除the servers altogether然后使用client来search and retrieve,所以... 阅读全文
posted @ 2015-10-26 22:07 李燕 阅读(1859) 评论(0) 推荐(0)

P2P system: Napster
摘要：Napster structureclient machines之所以叫peers是因为对于server来说这些machines是平等对待的当你upload一首歌曲如PennyLane.mp3时，它不会上传到别的地方而是存在你的machine(运行了napster client的machine)里面... 阅读全文
posted @ 2015-10-24 16:45 李燕 阅读(631) 评论(0) 推荐(0)

P2P system: Introduction
摘要：P2P system : peer-to-peer system一些流行的P2P system: Napster, Gnutella我们为什么研究P2P system大型的分布式系统有成千上万个结点，这点与p2p system相似，p2p system也是有成千上万个clients进行comunic... 阅读全文
posted @ 2015-10-24 15:13 李燕 阅读(301) 评论(0) 推荐(0)

云计算(9)--Gossip:multicast problem
摘要：Gossip/Epidemic ptotocol 解决的问题是multicast problemGossip协议是电脑之间的通信协议，受启发与现实社会的流言蜚语。现代分布式系统通常用gossip协议来解决一些用其他方法难以解决的问题，可能是因为当前网络有一个不便的问题——过于庞大，或许是因为goss... 阅读全文
posted @ 2015-10-19 18:36 李燕 阅读(573) 评论(0) 推荐(0)

云计算(8)--MapReduce如何处理fault
摘要：一些常见的故障NM周期性的给RM发送heartbeats,如果RM发现server fails,则它会让所有与这个server有关的AM知道，让受影响的job的AM采取一些action,重新分配它的task.目前为止还没有能监测到RM failure的情况，我们使用hard backup,如果fai... 阅读全文
posted @ 2015-10-14 21:40 李燕 阅读(267) 评论(0) 推荐(0)

云计算(7)---the scheduler of Hadoop
摘要：The scheduler of HadoopProgramming MapReduce在有些情况下，reducer也可以先开始于Map.但为了便于理解，在这儿我们都是使reduce不会早于map发生the traffic that data from map to reduce is called... 阅读全文
posted @ 2015-10-12 21:46 李燕 阅读(150) 评论(0) 推荐(0)

云计算(6)--一些MapReduce的例子
摘要：例1:文件的字符串查找这里reduce不做merge的工作，因为每行都是不一样的，不能merge.与传统的grep程序相比，使用MapReduce可以加快处理，因为1它是Distributed的，不用把所有的文件都拷到一台机器上运行,你的data可以在不同的server上，原因2，它能并行处理，加快... 阅读全文
posted @ 2015-10-10 18:45 李燕 阅读(690) 评论(0) 推荐(0)

云计算(5)---MapReduce
摘要：什么是MapReduce例如用MapReduce如何计算12+22+32+42用MapReduce执行Wordcount步骤1：Mapmap task1 和map task2是独立，并行进行并行处理能加快速度Map阶段输出起中间媒介作用的(key,value)值,做为Reduce的输入步骤2 Red... 阅读全文
posted @ 2015-10-09 23:59 李燕 阅读(271) 评论(0) 推荐(0)

云计算(4)-云计算的经济效益, 私有云与公有云的适应场合
摘要：两种不同类型的云:私有云与公有云(应如何选择) 对于single site cloud是选择outsource还是own(自己拥有) 当要长期运行一个服务时，最好是选择own 当只是短期使用时，选择outsource 一般刚开始运行的公司会选择ou... 阅读全文
posted @ 2015-10-06 17:51 李燕 阅读(394) 评论(0) 推荐(0)

云计算(3)-what is new in today's Cloud
摘要：What is new in today's CloudFour features new in today's Clouds如果一个problem有以上4个features里面的一个或者多个，则这个problem就是new cloud computing problem(1)Massive sca... 阅读全文
posted @ 2015-09-30 21:56 李燕 阅读(197) 评论(0) 推荐(0)

云计算(2)-Cloud是什么
摘要：Cloud是什么compute cycles应建立在data center的附近而不是data center围绕着compute cyclesTwo kinds of cloudsExample of Cloud Topology(Singel-site cloud):2层hierarchical ... 阅读全文
posted @ 2015-09-30 20:44 李燕 阅读(211) 评论(0) 推荐(0)

云计算(1)-为什么要使用cloud
摘要：云计算-为什么要使用cloudMany cloud providers(一些提供云服务的商家)EC2:提供computing servicesS3:提供the ability to store data,可以在任何地方访问它们EBS:提供Block Storage,EC2 instances可以在它... 阅读全文
posted @ 2015-09-30 20:03 李燕 阅读(289) 评论(0) 推荐(0)

云计算(1)
摘要：E-mail: wwang@tongji.edu.cnLabs: http://www.tjcities.com参考书籍：Dan C. Marinescu, Cloud Computing: Theory and Practice, Morgan Kaufmann, 2013Rajkumar Bu... 阅读全文
posted @ 2015-09-15 23:09 李燕 阅读(161) 评论(0) 推荐(0)