随笔分类 -  hadoop

windows下运行hadoop2.7.2
摘要：1.下载hadoop-2.7.2.tar.gz 2.解压到D:\hadoop\ 3.配置HADOOP_HOME环境变量 4.将%HADOOP_HOME%\bin目录添加到path环境变量中 5.配置JAVA_HOME环境变量，注意路径不要带空格 6.下载hadoop-common-bin工具包(注意 阅读全文
posted @ 2016-12-24 22:29 一人浅醉- 阅读(766) 评论(0) 推荐(0)
Hadoop集群搭建步骤
摘要：实验性操作是在虚拟机里进行的，除了搭建hadoop本身的操作之外，遇到的其它问题总结如下： 1. 虚拟机挂载windows磁盘： 添加硬件，要保证该硬件此时没有被读写访问等，因为挂载后，该磁盘在宿主机上就不能用了。启动虚拟机linux，执行 fdisk –l 查看windows磁盘的分区，如/dev 阅读全文
posted @ 2016-11-27 01:26 一人浅醉- 阅读(2491) 评论(0) 推荐(0)
Hadoop基本命令详解
摘要：调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI路径详解点击这里。 1、cat 说明：将路径指定文件的内容输出到stdout。用法：hadoop fs -cat URI [URI …]范例：hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/fi... 阅读全文
posted @ 2016-11-17 19:26 一人浅醉- 阅读(2313) 评论(0) 推荐(0)
lzo压缩格式文件查看
摘要：使用lzop命令解压并查看 ：lzop -cd xxx.lzo |more 附压缩命令：lzop xxx.log （生成xxx.log.lzo） 其它参数： 需要在机器上安装lzop后才能使用命令，参考：http://cyibeike.blog.163.com/blog/static/2111257 阅读全文
posted @ 2016-11-17 16:26 一人浅醉- 阅读(9811) 评论(0) 推荐(0)
hadoop端口配置指南
摘要：获取默认配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xm... 阅读全文
posted @ 2016-11-17 15:40 一人浅醉- 阅读(9928) 评论(0) 推荐(0)