随笔分类 -  Hadoop

4、解决native库不兼容
摘要:解决native库不兼容 现象: 报警告 原因: 这是因为官网提供的版本本地库是32位的,在64位主机环境下无法执行。 解决方法: 需要下载hadoop源码进行编译(如何编译源码可以上网搜索),编译成功后,找到native下的文件拷贝到${HADOOP_HOME}/lib/native目录下即可。资 阅读全文

posted @ 2016-11-18 11:34 丛立 阅读(295) 评论(0) 推荐(0)

3、eclipse和maven环境安装以及HDFS读写的demo
摘要:安装eclipse和maven环境 $ mkdir /home/beifeng/.m2 $ tar zxf repository.tar.gz -C /home/beifeng/.m2 $ cp /opt/modules/apache-maven-3.0.5/conf/settings.xml /h 阅读全文

posted @ 2016-11-15 17:06 丛立 阅读(295) 评论(0) 推荐(0)

2、HDFS和Yarn的基础学习笔记
摘要:日志 --排错 .log:通过log4j记录的,记录大部分应用程序的日志信息 .out:记录标准输出和标准错误日志,少量记录 hdfs 常用shell -ls -put <localsrc> ... <dst> 上传 -cat -text 查看文件内容 -mkdir [-p] -mv -cp -du 阅读全文

posted @ 2016-11-15 14:49 丛立 阅读(860) 评论(0) 推荐(0)

1、Hadoop的伪分布式部署
摘要:伪分布式模式搭建: 1、环境准备 (1)主机名(root用户) # vi /etc/sysconfig/network HOSTNAME=hadoo1 (不要用下划线) (2)创建普通用户conglitrs(后期课程里面都会用这个用户去操作) # useradd conglitrs # passwd 阅读全文

posted @ 2016-11-15 14:25 丛立 阅读(344) 评论(0) 推荐(0)

导航