摘要：Hadoop日志分析系统项目需求： 需要统计一下线上日志中某些信息每天出现的频率，举个简单的例子，统计线上每天的请求总数和异常请求数。线上大概几十台服务器，每台服务器大概每天产生4到5G左右的日志，假设有30台，每台5G的，一天产生的日志总量为150G。处理方案： 方案1：传统的处理方式，写个JAVA日志分析代码，部署到每台服务器进行处理，这种方式部署起来耗时费力，又不好维护。 方案2：采用Hadoop分布式处理，日志分析是Hadoop集群系统的拿手好戏。150G每天的日志也算是比较大的数据量了，搭个简单的Hadoop集群来处理这些日志是再好不过的了。Hadoop集群的搭建： 参见这两篇文章. 阅读全文

摘要：1. mapreduce内存不足 mapred.map.child.java.opts $CHILD_MAP_OPTS mapred.reduce.child.java.opts $CHILD_REDUCE_OPTSinstead of mapred.child.java.opts $CHILD_O... 阅读全文

摘要：1. 关于MapReduce的 1）MapReduce：一个重大的倒退：http://www.cnblogs.com/chinacloud/archive/2010/12/03/1895366.html 2）MapReduce:http://www.cnblogs.com/chinacloud/archive/2010/12/03/1895365.html 3) MapReduce Tutorial:http://hadoop.apache.org/docs/r1.1.1/mapred_tutorial.html 2. 关于HDFS的： 1）HDFS详解：http://www... 阅读全文

摘要：在官方网站上可以找到详细的文档：http://hadoop.apache.org/docs/r1.1.1/file_system_shell.html OverviewThe File System (FS) shell includes various shell-like commands that directly interact with the Hadoop Distributed File System (HDFS) as well as other file systems that Hadoop supports, such as Local FS, HFTP FS, S3. 阅读全文

摘要：(2013年1月5日)近日在网上找到两篇关于Ubuntu下Hadoop单机和集群安装的文章，英文的可以用来参考一下：1.http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/2.http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/ 总体来说，跟单机版的差不多，只是配置文件需要做些修改，以及各个服务器之间可以无密码ssh切换。现在简单描述一下: 1. 阅读全文

摘要：这个是在自己笔记本上的实验版本，在不熟悉的情况还是先考虑在自己的电脑上安装一个试验版本，然后再考虑安装部署生产环境中的机器。首先自己的电脑上需要安装一个虚拟机VMWare WorkStation, 安装好了之后，再在此虚拟机上安装Ubutun操作系统,我这里装的是Ubutun 11.10, 可以通过lsb_release -a 命令查看，如果没有这个命令的话可以用下面的命令安装一下sudo apt-get install lsb。 1. 在此操作系统上新建一个账号hadoop.tinyfun@ubuntu:/home$ sudo addgroup hadoopAdding group `ha. 阅读全文