Data is Everything!

Database, Data Management, Data Analysis!

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2012年12月31日

摘要: 刚和实验室的一帮朋友玩完电玩,回到寝室,发现这时间真是稍纵即逝。去年春节躺在被窝里写总结的情形还历历在目,这2012年还有不到2小时就要结束了。觉得还是有必要给自己总结下,为今后回忆留下点线索。作为一名学生,还是得从学习和生活这两方面进行总结。学习篇虽然是研究生了,刚开始还是有不少基础课程需要学习。通过上半年的努力,我顺利完成了研究生的基础课程内容,可谓后面可以专心给实验室“搬砖”了。同时,结合自己的兴趣(为了看动漫),我也尝试选修了日语,可是坚持了两个星期后,因各种事就放弃了,现在只记得50个音了。除了课程学习以外,更重要的一面是我实验室的科研生活。这一年虽然干了不少事,但是还是没有取得理想 阅读全文
posted @ 2012-12-31 22:51 simon0227 阅读(147) 评论(0) 推荐(0) 编辑

2012年5月12日

摘要: 1. 什么是Lamport Timestamp 在分布式系统中,同步是一项重要的工作,也是一项困难重重的工作。如果在一个系统中各个子系统有一个全局同步的时钟,那么同步就十分简单,根据全局的时钟能很容易地判断一系列操作的先后执行顺序,从而使得在各个子系统中按相同的顺序执行这些操作。但是现实中的多个物理时钟由于种种原因同步很困难。在整个系统中设置一个专门负责生成时钟的节点,也会限制系统的扩展性(若考虑网络延迟,子系统申请到的时间戳也未必与它们事件真实发生的顺序一致)。 为了解决同步问题,Lamport提出了逻辑时钟(logical clock)的概念。他发现在整个过程中,我们的目的是想获得事件.. 阅读全文
posted @ 2012-05-12 14:11 simon0227 阅读(1143) 评论(0) 推荐(2) 编辑

2012年5月8日

摘要: 在看分布式系统方面的内容时,会遇到两个概念:Consistency Model和Consensus Protocol。前者叫做“一致性模型”,后者则为“一致性协议”。两者都在讲述“一致性”相关的内容,那么这两个概念之间有什么联系和区别吗? 首先,看看consistency 和 consensus的字面意思。下面是来自google 和iciba的翻译: Consistency: 一致性;连贯; 符合; 前后一致; 浓度 Consensus: 共识;一致; 舆论; 一致同意,合意 从字面意思看:前者侧重的是内容在时间顺序上的一致和统一;而后者则是指由许多参... 阅读全文
posted @ 2012-05-08 15:13 simon0227 阅读(2688) 评论(0) 推荐(0) 编辑

2012年1月23日

摘要: 以前都不在意整理自己的生活,发现渐渐变得容易忘事。现在让我回忆2011年初给自己定的一些目标,我已经焕然不知了。因此,趁这个时间点整理下2011年的事情,并大致规划下2012年(说不定这是第一次整理,同时也是最后一次整理了),也为日后回忆提供点线索。2011年对我来说有重要意义的事有如下几件:1、 我顺利完成了本科学业,结束了宝贵的四年大学生活。面对毕业,不得不与朝夕相处的同学们告别,各自开始自己新的生活。像秋五,kila等飞去了米国;老九,班长等进入社会开始自己的事业;其他多数跟我一样留在国内继续深造。与你们这些人能同窗四年很是开心,希望各位在自己的职位上做出满意的成绩,并期待早日重聚。2、 阅读全文
posted @ 2012-01-23 00:28 simon0227 阅读(134) 评论(0) 推荐(0) 编辑

2011年11月14日

摘要: Spark是Berkeley AMP实验室研究的最新成果。它是一个基于内存有容错性能的通用的集群计算框架。它的主要目的是用来处理iterative算法(机器学习)和iteractive查询(数据挖掘的一些工具)。这两种应用场景的共同点是对一个基本不变的数据集会重复访问。而mapreduce对这样的算法的处理性能比较一般。Spark的具体原理不在这里讲述,有兴趣的朋友可以去http://www.spark-project.org/进行进一步的了解。下面主要介绍下安装过程(Linux平台)中需要注意的几个问题:1. Spark安装过程需要用Git。但是在墙内还需要对Git进行代理设置,具体的设置方 阅读全文
posted @ 2011-11-14 23:50 simon0227 阅读(843) 评论(0) 推荐(0) 编辑