• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






守护式等待

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

随笔分类 -  24-Hadoop

 
hadoop 集群搭建
摘要:1.Hadoop集群规划 HDFS: NN DN YARN: RM NM 192.168.107.216 NN RM DN NM 192.168.107.215 DN NM 192.168.107.214 DN NM 2.(每台)ssh免密码登陆 https://www.cnblogs.com/yo 阅读全文
posted @ 2020-05-09 10:03 守护式等待 阅读(148) 评论(0) 推荐(0)
Hive 基本使用
摘要:1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT 阅读全文
posted @ 2020-05-08 17:17 守护式等待 阅读(180) 评论(0) 推荐(0)
关于hdfs中的core-site.xml,hdfs-site.xml,mapred-site.xml文件配置详解
摘要:配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法: /us 阅读全文
posted @ 2020-05-08 10:21 守护式等待 阅读(5731) 评论(0) 推荐(1)
hadoop hive
摘要:1.Hive底层执行引擎支持: MR/Tez/Spark 2.统一元数据管理: Hive数据是存放在HDFS 元数据信息(记录数据的数据)是存放在MySQL中 SQL on Hadoop: Hive、Spark SQL、impala.... 3.Hive体系架构 client: shell、thri 阅读全文
posted @ 2020-05-07 20:41 守护式等待 阅读(207) 评论(0) 推荐(0)
hadoop yarn
摘要:1 YARN产生背景 MapReduce1.x ==> MapReduce2.x master/slave : JobTracker/TaskTracker JobTracker:单点、压力大 仅仅只能够支持mapreduce作业 资源利用率 所有的计算框架运行在一个集群中,共享一个集群的资源,按需 阅读全文
posted @ 2020-05-06 15:55 守护式等待 阅读(174) 评论(0) 推荐(0)
hadoop 自定义数据类型和reduce个数
摘要:1.Access.java // 定义hadoop用的数据类型 package com.mr.access; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.DataOutput; impo 阅读全文
posted @ 2020-05-05 11:02 守护式等待 阅读(48) 评论(0) 推荐(0)
hadoop word count
摘要:1.环境准备 1.讲centos的hadoop安装包解压到windows桌面 2.添加环境变量 HADOOP_HOME:E:\03-software_java\04-hadoop\hadoop-2.6.0-cdh5.9.0 path:%HADOOP_HOME%/bin 3.把winutils.exe 阅读全文
posted @ 2020-05-05 10:57 守护式等待 阅读(67) 评论(0) 推荐(0)
HDFS Jave API 基本查找
摘要:1.maven 创建项目项目环境 2.配置hadoop环境依赖 https://mvnrepository.com/ // maven 网上仓库 配置 pom.xml <properties> <!--定义hadoop 版本--> <hadoop.version>2.6.0-cdh5.9.0</ha 阅读全文
posted @ 2020-04-11 11:25 守护式等待 阅读(28) 评论(0) 推荐(0)
HDFS 命令行操作
摘要:HDFS 命令行操作 1.hadoop fs -ls / 查看根目录下的文件 2.hadoop fs -lsr / lsr表示递归显示根路径下的文件 3.hadoop fs -mkdir /hdfsapi 在根路径下新建一个upload文件夹 4.hadoop fs -put word.txt /u 阅读全文
posted @ 2020-04-09 19:12 守护式等待 阅读(34) 评论(0) 推荐(0)
centos 搭建 单机 Hadoop(HDFS)环境
摘要:1.Hadoop(HDFS)环境搭建 使用的Hadoop相关的版本:CDH CDH相关资源下载地址 https://archive.cloudera.com/cdh5/cdh/5/ Hadoop版本:hadoop-2.6.0-cdh5.16.2 Hadoop下载: wget https://arch 阅读全文
posted @ 2020-04-09 19:11 守护式等待 阅读(144) 评论(0) 推荐(0)