2015 年 1月随笔档案 - 程序优化

摘要：前段时间公司hadoop集群宕机，发现是namenode磁盘满了, 清理出部分空间后，重启集群时，重启失败。又发现集群Secondary namenode 服务也恰恰坏掉，导致所有的操作log持续写入edits.new 文件，等集群宕机的时候文件大小已经达... 阅读全文

posted @ 2015-01-31 23:22 程序优化阅读(692) 评论(0) 推荐(0)

摘要：在运行一个group by的sql时，抛出以下错误信息：Task with the most failures(4): -----Task ID: task_201411191723_723592_m_000004URL: http://DDS0204.drati... 阅读全文

posted @ 2015-01-28 16:14 程序优化阅读(382) 评论(0) 推荐(0)

摘要：Bigtable：一个分布式的结构化数据存储系统本文的英文原文为Google在2006年发布的Google Bigtable paper本文的翻译版本由Alex完成,原文地址为: http://blademaster.ixiezi.com/这是我很长时间以来一直想要翻... 阅读全文

posted @ 2015-01-27 18:41 程序优化阅读(572) 评论(0) 推荐(0)

Google File System中文版

摘要：英文原文地址: Google File system译文原文地址: The Google File System中文版Google File System中文版摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。G... 阅读全文

posted @ 2015-01-27 16:18 程序优化阅读(285) 评论(0) 推荐(0)

Google MapReduce中文版

摘要：英文原文链接: Google Map Reduce译文原文链接: Google MapReduce中文版Google MapReduce中文版译者: alex摘要MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map... 阅读全文

posted @ 2015-01-27 16:15 程序优化阅读(474) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)