上一页 1 2 3 4 5 6 7 下一页

Ant编译MapReduce程序

摘要： 本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环... 阅读全文
posted @ 2014-05-11 20:36 guarder 阅读(332) 评论(0) 推荐(0)

MapReduce案例运行

摘要： 从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa... 阅读全文
posted @ 2014-05-11 17:15 guarder 阅读(574) 评论(1) 推荐(1)

R读书笔记一：变量，向量，数组，矩阵，数据框，读写文件，控制流

摘要： R读书笔记一：变量，向量，数组，矩阵，数据框，读写文件，控制流1、创建向量和矩阵函数c( ), length( ), mode( ), rbind( ), cbind( )1）创建向量，求向量长度，向量类型。> x1=c(2,4,6,8,0)> x2=c(1,3,5,7,9)> length(x1)... 阅读全文
posted @ 2014-05-08 22:11 guarder 阅读(562) 评论(0) 推荐(0)

Linux基本命令

摘要： 本文记录Linux基本命令，持续更新。查找：/查找文本符，回车查找复制一行：yy删除一行：dd粘贴：p撤销上一步操作：u查看文件大小：du -sh filename 阅读全文
posted @ 2014-05-04 23:09 guarder 阅读(153) 评论(0) 推荐(0)

Hive安装

摘要： 本文记录在Hadoop集群环境下安装Hive。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Hive 0.111、简介项目主页：http://hive.apache.org/2、安装三种模式：内嵌模式：元数据保持在内嵌的Derby模式，只允许一个会话连接本地独... 阅读全文
posted @ 2014-05-04 21:54 guarder 阅读(399) 评论(0) 推荐(0)

Linux安装MySql

摘要： 本文记录Linux安装MySql过程。环境：OS：Centos 6.5 x64 & MySql 5.1 x641、系统检查检查是否已经安装MySql数据库。[root@master ~]# rpm -qa | grep mysql如果有安装，先卸载已经安装的MySql数据库。[root@master... 阅读全文
posted @ 2014-05-04 20:49 guarder 阅读(313) 评论(0) 推荐(0)

Mahout学习

摘要： Mahout小案例学习，实现k-means算法。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget http://archive.ics.uci.edu/ml/databas... 阅读全文
posted @ 2014-05-03 17:52 guarder 阅读(260) 评论(0) 推荐(0)

Mahout安装

摘要： 本文记录在Hadoop集群环境下安装Mahout。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Mahout 0.91、简介mahout项目主页：https://mahout.apache.org/下载二进制包，上传到服务器。2、安装用集群环境用户安装，解压二... 阅读全文
posted @ 2014-05-03 11:40 guarder 阅读(595) 评论(0) 推荐(0)

Pig安装

摘要： 本文记录Hadoop集群环境安装Pig。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1 & Pig 0.121、简介项目主页：https://pig.apache.org/下载二进制安装包pig-0.12.0.tar.gz，上传到服务器。2、安装用集群环境普通用户安... 阅读全文
posted @ 2014-05-03 10:30 guarder 阅读(347) 评论(0) 推荐(0)

怎样控制namenode检查点发生的频率

摘要： 控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period 1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huse... 阅读全文
posted @ 2014-05-02 20:09 guarder 阅读(324) 评论(0) 推荐(0)

Hadoop集群实施成功后，再次格式化名称节点

摘要： Hadoop集群实施成功后，再次格式化名称节点。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8... 阅读全文
posted @ 2014-05-02 19:44 guarder 阅读(1325) 评论(0) 推荐(0)

secondary namenode和namenode分离

摘要： namenode 和 secondaryNamenode 运行在同一机器上，分离配置到新节点上。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.1master中的配置不是决定谁是namenode，而是决定谁是secondarynamenode。决定谁是namenode的... 阅读全文
posted @ 2014-05-02 18:07 guarder 阅读(277) 评论(0) 推荐(0)

修改HDFS块大小

摘要： 环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、查看当前块大小，默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf... 阅读全文
posted @ 2014-05-02 17:14 guarder 阅读(577) 评论(0) 推荐(0)

通过secondary namenode恢复崩溃的namenode

摘要： 模拟namenode崩溃，将name目录的内容全部删除，然后通过secondary namenode恢复namenode。环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、进入name目录下，删除name目录内容。[huser@master name]$ pwd/h... 阅读全文
posted @ 2014-05-02 11:15 guarder 阅读(515) 评论(0) 推荐(0)

Hadoop web监控界面设置安全机制

摘要： Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。实验环境：OS：Centos 6.5 x64 & Soft：Hadoop 1.2.11、修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 ha... 阅读全文
posted @ 2014-05-01 23:27 guarder 阅读(4035) 评论(2) 推荐(0)
上一页 1 2 3 4 5 6 7 下一页