随笔分类 -  Hadoop 学习笔记

搭建分布式yarn
摘要：1.在前一篇准备好Hadoop的基础上配置，链接 http://www.cnblogs.com/cici20166/p/6266367.html 2./etc/profile 配置环境变量 export YARN_HOME=${HADOOP_HOME} 3.配置 yarn-site.xml 4.jp 阅读全文
posted @ 2017-01-11 19:36 ~~Cc 阅读(214) 评论(0) 推荐(0)
分布式集群环境下运行Wordcount程序
摘要：1.分布式环境的Hadoop提交作业方式与本地安装的Hadoop作业提交方式相似，但有两点不同： 1）作业输入输出都存储在HDFS 2）本地Hadoop提交作业时将作业放在本地JVM执行，而分布式集群将作业提交给JobTracker，并且使用分布式集群中的节点执行该作业。 2.运行步骤 1）./ha 阅读全文
posted @ 2017-01-10 22:36 ~~Cc 阅读(371) 评论(0) 推荐(0)
VM搭建hadoop分布式集群
摘要：1. 安装VMware Workstation Pro 2.安装Ubuntu-16.04 3.以下全程使用sudo –s 切换root权限 4.更新deb软件包列表：apt-get update 5.安装系统更新 apt-get upgrade 6.安装JDK8到/opt/java8 改变所属组和用 阅读全文
posted @ 2017-01-09 19:44 ~~Cc 阅读(591) 评论(0) 推荐(0)
安装运行Hadoop
摘要：1 准备环境 1.1 Ubuntu 或者 VMware Workstation Pro+Ubuntu 1.2 Jdk 1.3 eclipse 或其他开发工具（可选） 2 安装Hadoop 2.1 从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz（或其他版 阅读全文
posted @ 2016-12-27 22:43 ~~Cc 阅读(144) 评论(0) 推荐(0)