随笔分类 -  Hadoop

摘要:最近看TensorFlow代码的时候,用Git pull下来最新的master一看,哇好多的更新,然后点击去之前看到一半的cc文件继续看,好多地方都改变了。但是一看Git log,有好多巨大的commit叫什么 "Merge commit for internal changes", "Merge 阅读全文
posted @ 2016-12-27 14:17 LeftNotEasy 阅读(3367) 评论(0) 推荐(1) 编辑
摘要:前言 其实想写写关于开源的文章已经好久了,从在2010年开始接触Hadoop到现在已经有六个年头了,从最早的Hadoop用户和Contributor,再成为Committer,最后成为PMC (Product Management Committee,项目管理委员会) 委员,挫折、 欣喜都在交替在我 阅读全文
posted @ 2016-08-21 15:01 LeftNotEasy 阅读(10959) 评论(20) 推荐(29) 编辑
摘要:前言: 有一段时间没有写博客了(发现这是我博客最常见的开头,不过这次间隔真的好长),前段时间事情比较多,所以耽搁得也很多。 现在准备计划写一个新的专题,叫做《hadoop杂记》,里面的文章有深有浅,文章不是按入门-中级-高级的顺序组织的,如果想看看从入门到深入的书,比较推荐《the definitive guide of hadoop》。 今天主要想写写关于map-reduce v2(或者叫map-reduce next generation,或者叫YARN)与之前的map-reduce有什么不同。最近在学习Yarn的过程中,也参考了很多人的博客,里面的介绍都各有所长。不过一个很重要的问... 阅读全文
posted @ 2012-02-18 23:05 LeftNotEasy 阅读(27467) 评论(6) 推荐(10) 编辑
摘要:今天听同事分享了一篇很有意思的讲座,叫做"Why Map-Reduce Is Not The Solution To Your Big-Data Problem"(为什么Map-Reduce不是你的“大数据”问题的解决方案)。同事很牛,也分享了很多非常有价值的观点,不过他预言Map-Reduce将会在5年之内消失(而且还呼吁有做存储方面的牛人来预言一下,Hdfs将在5年之内消失),这个话题如果成立的话,让我这个目前在Hadoop工程师,感到无比的压力。这里不为了争个你死我活,只是谈谈自己的一些想法。另外由于这位同事的分享是内部进行的,这里就不透露分享中具体的内容了,只谈谈自己的观点。 阅读全文
posted @ 2011-08-27 10:53 LeftNotEasy 阅读(30754) 评论(17) 推荐(25) 编辑