随笔分类 -  27.Architecture design

摘要：读书会·北京第1期DeepQA框架与Siri架构会场笔记（含PPT下载）前言 读书会以"革新学术，砥厉品行，共同探讨，相互学习”为宗旨，不限主题，不限形式，重在创造或营造一种良好的学术气氛，和一种轻松的讨论氛围，以及持续深入探讨研究的持久热情。且现在市面上一般的官方活动基本都是华而不实，真正有价值的实质性的活动则少之又少。希望，读书会能众者兼顾。 读书会，昨日已于清华园顺利举办第一期，希望日后持续举办下去(欢迎一切欲分享主讲之人联系我，尤其是最近刚出了新书的朋友)。下面，再极为简略的说下昨日下午读书会的举办情况（不了解读书会的朋友请先参看我的上一篇文章：http://blo 阅读全文

摘要：从上百幅架构图中学大型网站建设经验（上）引言 近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yahoo！，YouTube，MySpace，Twitter，国内如优酷网等大型网站的技术架构（本文重点分析优酷网的技术架构），以飨读者。 本文着重凸显每一幅图的精彩之处与其背后含 阅读全文

摘要：从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。 由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤懑”。 尽管我对这个Hadoop与MapRe 阅读全文

摘要：从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。 由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤懑”。 尽管我对这个Hadoop与MapRe 阅读全文

摘要：从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，觉得Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到了一个我更加感兴趣的话题：海量数据处理。 由此，最近凡是空闲时，便在看“Hadoop”，“MapReduce”“海量数据处理”这方面的论文。但在看论文的过程中，总觉得那些论文都是浅尝辄止，常常看的很不过瘾，总是一个东西刚要讲到紧要处，它便结束了，让我好生“愤懑”。 尽管我对这个Hadoop与MapRe 阅读全文

摘要：从几幅架构图中偷得半点海量数据处理经验 （注：本文只是简简单单的截几幅图而已，要想更深入的学习和了解hadoop框架和mapreduce模式，或者对淘宝的数据魔方感兴趣的话，尽可参考此文：从Hadhoop框架与MapReduce模式中谈海量数据处理。） 最近对海量数据处理发生了不小的兴趣，特此从一些精彩文章中摘取几幅精彩的图片或片段，拿来给大家分享。所谓奇文共欣赏，好Architecture共品之。至于各位能从图中是窥得半点经验，还是一图以窥全貌，则不在我之责任，全在于读者怎么去解读这几幅精彩的架构图了。 所以，本文在选取一些架构图之后，只配以最简单的文字，个中内容，读者自行品味之。如果有任何 阅读全文

摘要：MapReduce技术的初步了解与学习--包含Google MapReduce中文版 今天咱们学习下MapReduce模型。由于是本人是初次接触，不是很了解。所以，有任何问题，还望各位不吝批评指正。本文中，我会先用最最通俗的语言阐述什么是MapReduce，然后再摘自Google MapReduce中文版上的一些内容，以期对这个模型有个初步的了解与认识。ok，闲不多说，下面进入正题。前言 海量数据处理也许是许多程序员需要面对的难题。尽管我们的计算机硬件越来越强大，但是相比于互联网中的海量数据来说，我们的个人计算机处理能力实在是微乎其微。本博客内前期已经对海量数据处理问题从算法层面上做出了一些总 阅读全文