随笔分类 -  Hadoop

IDEA hadoop MapReduce 环境配置
摘要：1.下载，安装，配置好Hadoop 2.在IDEA中执行MapReduc 配置： 这里将JAR包加入： JAR包是：/usr/local2/hadoop/share/hadoop 目录下：直接右边+以下几个文件夹 common，common->lib, hdfs,mapreduce,yarn 3.配 阅读全文
posted @ 2017-12-12 19:40 soyosuyang 阅读(397) 评论(0) 推荐(0)
Hadoop MapReduce 运行步骤
摘要：步骤：【使用java编译程序，生成.class文件】 【将.class文件打包为jar包】 【运行jar包（需要启动Hadoop）】 【查看结果】 具体实现：1.添加程序所需要的依赖vim ~/.bashrcexport HADOOP_HOME=/usr/local2/hadoop export C 阅读全文
posted @ 2017-12-08 15:16 soyosuyang 阅读(359) 评论(0) 推荐(0)
将数据从数据仓库Hive导入到MySQL
摘要：1.启动Hadoop，hive，mysql 2.在mysql中建表（需要导入数据的） 选中要被导出的数据： 3.使用Sqoop将数据从Hive导入MySQL 阅读全文
posted @ 2017-12-05 18:35 soyosuyang 阅读(7096) 评论(0) 推荐(0)
ubuntu 16.04 Sqoop 安装
摘要：1.下载：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.解压 3.修改文件名+给文件夹附权限 4.修改配置文件sqoop-env.sh cd 阅读全文
posted @ 2017-12-05 16:54 soyosuyang 阅读(1332) 评论(0) 推荐(0)
hive 内部表与外部表的区别
摘要：hive 内部表： hive> create table soyo55(name STRING,addr STRING,money STRING) row format delimited fields terminated by ',' stored as textfile; hive> load 阅读全文
posted @ 2017-12-05 15:32 soyosuyang 阅读(515) 评论(0) 推荐(0)
Hadoop 分布式环境slave节点重启忽然不好使了
摘要：Hadoop 分布式环境slaves节点重启： 忽然无法启动DataNode和NodeManager处理： 在master节点： vim /etc/hosts: 修改slave 节点的IP （这个时候的IP应当登录slave节点ifconfig 查看） 造成这个原因是： slave节点如果是通过有线 阅读全文
posted @ 2017-11-29 11:50 soyosuyang 阅读(533) 评论(0) 推荐(0)
Hadoop 分布式环境搭建
摘要：1.集群机器： 1台 装了 ubuntu 14.04的 台式机 1台 装了ubuntu 16.04 的 笔记本 （机器更多时同样适用） 搭建步骤： 准备工作： 使两台机器处于同一个局域网：相互能够 ping 通 主机名称 IP地址soyo-VPCCB3S1C 192.168.1.130 （maste 阅读全文
posted @ 2017-11-20 21:13 soyosuyang 阅读(232) 评论(0) 推荐(0)
Hadoop 的使用
摘要：hadoop：hadoop启动：./sbin/start-dfs.shhadoop关闭：./sbin/stop-dfs.shbin文件用于在HDFS创建数据HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop往input中放数据：./bin/hdfs 阅读全文
posted @ 2017-10-10 20:07 soyosuyang 阅读(253) 评论(0) 推荐(0)
hadoop hbase 快速启动 关闭 配置：
摘要：vim ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //JDK安装路径export HADOOP_HOME=/usr/local/hadoop //Hdoop 安装路径export HADOOP_COMMON_LIB_NAT 阅读全文
posted @ 2017-10-10 20:05 soyosuyang 阅读(328) 评论(0) 推荐(0)