莫等闲，白了少年头，空悲切。

摘要：Eclipse连接Hadoop集群环境，需要安装插件。Hadoop源码包中有Eclipse插件源代码，需要自己动手编译。环境：Hadoop 1.2.1 & EclipseKepler & Windows 7 & JAVA 71、生成插件源码解压Hadoop安装包，找到src\contrib\ecli... 阅读全文

摘要：本文记录MapReduce过程中遇到的问题及解决，持续更新。1、运行程序，提示"JobTracker is in safe mode"[huser@master bin]$ ../bin/hadoop jar AvgTemperature.jar AvgTemperature ./in/sample... 阅读全文

摘要：通过MapReduce程序分析气象数据集，更好的了解计算过程。环境：Hadoop 1.2.1 & Centos 6.5 x641、气象数据集准备下载链接：ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大，可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS... 阅读全文

摘要：本文记录Maven构建Hadoop开发环境软件环境：EclipseKepler x64 & Hadoop 1.2.1 & Maven 3硬件环境：Centos 6.5 x64前提已经安装Maven环境，详见http://www.cnblogs.com/guarder/p/3734309.html1、... 阅读全文

摘要：在本地使用Maven结合Eclipse搭建开发环境，自动化构建项目。环境：Win7 x64 & Eclipse Kepler x64 & Maven 31、安装Mavenmaven项目主页：http://maven.apache.org/下载安装包apache-maven-3.2.1-bin.zip... 阅读全文

摘要：本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环... 阅读全文

摘要：从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa... 阅读全文

摘要：R读书笔记一：变量，向量，数组，矩阵，数据框，读写文件，控制流1、创建向量和矩阵函数c( ), length( ), mode( ), rbind( ), cbind( )1）创建向量，求向量长度，向量类型。> x1=c(2,4,6,8,0)> x2=c(1,3,5,7,9)> length(x1)... 阅读全文

摘要：本文记录Linux基本命令，持续更新。查找：/查找文本符，回车查找复制一行：yy删除一行：dd粘贴：p撤销上一步操作：u查看文件大小：du -sh filename 阅读全文

摘要：本文记录在Hadoop集群环境下安装Hive。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Hive 0.111、简介项目主页：http://hive.apache.org/2、安装三种模式：内嵌模式：元数据保持在内嵌的Derby模式，只允许一个会话连接本地独... 阅读全文

摘要：本文记录Linux安装MySql过程。环境：OS：Centos 6.5 x64 & MySql 5.1 x641、系统检查检查是否已经安装MySql数据库。[root@master ~]# rpm -qa | grep mysql如果有安装，先卸载已经安装的MySql数据库。[root@master... 阅读全文

摘要：Mahout小案例学习，实现k-means算法。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget http://archive.ics.uci.edu/ml/databas... 阅读全文

摘要：本文记录在Hadoop集群环境下安装Mahout。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Mahout 0.91、简介mahout项目主页：https://mahout.apache.org/下载二进制包，上传到服务器。2、安装用集群环境用户安装，解压二... 阅读全文

摘要：本文记录Hadoop集群环境安装Pig。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Pig 0.121、简介项目主页：https://pig.apache.org/下载二进制安装包pig-0.12.0.tar.gz，上传到服务器。2、安装用集群环境普通用户安... 阅读全文

摘要：控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period 1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huse... 阅读全文

摘要：Hadoop集群实施成功后，再次格式化名称节点。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8... 阅读全文

摘要：namenode 和 secondaryNamenode 运行在同一机器上，分离配置到新节点上。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1master中的配置不是决定谁是namenode，而是决定谁是secondarynamenode。决定谁是namenode的... 阅读全文

摘要：环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、查看当前块大小，默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf... 阅读全文

摘要：模拟namenode崩溃，将name目录的内容全部删除，然后通过secondary namenode恢复namenode。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、进入name目录下，删除name目录内容。[huser@master name]$ pwd/h... 阅读全文

摘要：Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 ha... 阅读全文

摘要：用简单例子学习Hadoop，统计字符出现次数。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、创建文件夹，写入字符到文本文件。[huser@master hadoop-1.2.1]$ mkdir input[huser@master hadoop-1.2.1]$ ... 阅读全文

摘要：眼下大数据口号满天飞，今天拿我微信圈朋友一段时间内分享内容作为数据，用R包的算法实现简单分析。由于微信没有接口获取数据，暂时只能手动记录数据，主要是做个小尝试，数据获取方式是其次。1）我们看看微信圈活跃的朋友。PS：知道为何我们的流量烧的这么快了吧？这些小伙伴八成是运营商潜伏过来的余则成，在背后分成... 阅读全文