博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2014年1月24日

摘要: This document shows how to write a daemon in Linux using GCC. Knowledge of Linux and a familiarity with C are necessary to use this document. This HOWTO is Copyright by Devin Watson, under the terms of the BSD License. 阅读全文

posted @ 2014-01-24 16:31 |orz 阅读(231) 评论(0) 推荐(0) 编辑

2014年1月15日

摘要: 期望一个凡人掌握开发过程中各个方面的知识,合理吗?也许不合理,但是Facebook正是要寻找这样的人。在一个OSCON会议上,一名Facebook的工程师告诉我的,他们只聘请“全能(Full stack)”的程序员。那么,全能是什么意思呢? 阅读全文

posted @ 2014-01-15 13:12 |orz 阅读(241) 评论(0) 推荐(0) 编辑

2013年8月1日

摘要: 接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问题的过程中,有时需要翻源码,有时会向同事、网友请教,遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括Hadoop Committer(Hadoop开发者)求助。在获得很多人帮助后,自己将遇到问题和心得整理成文,希望本文可以对那些焦头烂额的Hadoop新手们有所帮助,少走笔者的弯路。 PS. 本文基于 Cloudera CDH 3u4(同Apache Hadoop 1.0)编写。相关推荐配置为官方推荐值或者笔者经验数值,它不是绝对的,可能会因为不同的应用场景和硬件环境有所出入。 阅读全文

posted @ 2013-08-01 14:28 |orz 阅读(195) 评论(0) 推荐(0) 编辑

摘要: 本文是Hadoop最佳实践系列第二篇,上一篇为《Hadoop管理员的十个最佳实践》。 MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中hello word程序)不仅要熟悉MapRuduce模型,还要了解Linux命令(尽管有Cygwin,但在Windows下运行MapRuduce仍然很麻烦),此外还要学习程序的打包、部署、提交job、调试等技能,这足以让很多学习者望而退步。 阅读全文

posted @ 2013-08-01 14:26 |orz 阅读(294) 评论(0) 推荐(0) 编辑

2013年7月11日

摘要: 这份报告的全名是《How to Choose the Right Apache Hadoop Distribution》。主要介绍了企业如何引入Hadoop,其中一些内容很好,值得一看。 阅读全文

posted @ 2013-07-11 15:06 |orz 阅读(703) 评论(0) 推荐(0) 编辑

2013年7月9日

摘要: Bash Script 显示其自身位置 阅读全文

posted @ 2013-07-09 12:16 |orz 阅读(182) 评论(0) 推荐(0) 编辑

2013年7月2日

摘要: Crontab 介绍 crontab命令的功能是在一定的时间间隔调度一些命令的执行。 阅读全文

posted @ 2013-07-02 15:45 |orz 阅读(261) 评论(0) 推荐(0) 编辑

2013年6月26日

摘要: Hadoop 2.0 详细安装过程 阅读全文

posted @ 2013-06-26 16:54 |orz 阅读(1391) 评论(0) 推荐(0) 编辑

2013年6月9日

摘要: Java Code Geeks联合创始人Byron Kiourtzoglou近日发表文章,从理论到实践剖析了大数据的4个V,并于文章最后分享了Java工程师可能会需要的13个主流开源大数据工具。 阅读全文

posted @ 2013-06-09 12:05 |orz 阅读(248) 评论(0) 推荐(0) 编辑

2012年12月20日

摘要: 代码颜色备份 阅读全文

posted @ 2012-12-20 14:13 |orz 阅读(250) 评论(0) 推荐(1) 编辑