随笔分类 -  hadoop学习之路

Hadoop实现远程登录与调试
摘要：配置远程登录1） 在自己的linux机上搭好hadoop，详细过程请参考：http://www.cnblogs.com/stardjyeah/p/4641554.html2） 修改linux的hosts文件# vim /etc/hosts在hosts文件的最下面一行添加，格式为：第一部份：网络IP地... 阅读全文
posted @ 2015-07-13 18:56 搞不清算法 阅读(5897) 评论(0) 推荐(0)
Hadoop编程实例之MapReduce
摘要：MapReduce原理图：MapReduce具体执行过程图：首先是客户端要编写好mapreduce程序，配置好mapreduce的作业也就是job，接下来就是提交job了，提交job是提交到JobTracker上的，这个时候JobTracker就会构建这个job，具体就是分配一个新的job任务的ID... 阅读全文
posted @ 2015-07-13 18:49 搞不清算法 阅读(5615) 评论(0) 推荐(0)
Hadoop编程实现之HDFS
摘要：HDFS原理图：下面我们来写一个基于HDFS的demo，该demo主要实现的是将HDFS上的一个文件内容读取出来并保存到另一个文件上的功能。1.辅助类这个类主要是用来获取hdfs文件系统连接的public class HdfsUtils { /** * @return ... 阅读全文
posted @ 2015-07-13 18:44 搞不清算法 阅读(2642) 评论(0) 推荐(0)
hadoop 2.5.0安装和配置
摘要：安装hadoop要先做以下准备：1.jdk，安装教程在http://www.cnblogs.com/stardjyeah/p/4640917.html2.ssh无密码验证，配置教程在http://www.cnblogs.com/stardjyeah/p/4641524.html3.linux静态ip... 阅读全文
posted @ 2015-07-12 21:18 搞不清算法 阅读(2509) 评论(0) 推荐(0)
SSH实现无密码验证
摘要：1) 安装sshsudo apt-get install ssh2) 设置免密码登陆ssh-keygen -t rsa（执行完本条命令后一直回车）若出现以下图案则说明配置成功：cp id_rsa.pub authorized_keys （到此处已经可以免密码登录本机，ssh localhost可测试... 阅读全文
posted @ 2015-07-12 21:05 搞不清算法 阅读(545) 评论(0) 推荐(0)
linux下jdk的安装：
摘要：1) 先看linux系统是否装有openjdkrpm -qa |grep java如果有，则将其删除rpm -e - -nodeps jdkname2) 将jdk解压到JAVA_HOME中，然后配置环境变量sudo vim /etc/profile在末尾追加如下字段：#JAVA_HOMEexport... 阅读全文
posted @ 2015-07-12 14:23 搞不清算法 阅读(596) 评论(0) 推荐(0)
Ubuntu 14.04静态ip设置
摘要：找到文件interfaces，路径：/etc/network/interfaces打开interfaces文件，看到以下内容：auto loiface lo inet loopbackauto dsl-provideriface dsl-provider inet ppppre-up /sbin/i... 阅读全文
posted @ 2015-07-12 11:20 搞不清算法 阅读(2422) 评论(0) 推荐(0)