摘要: hive环境的搭建 必须要有hadoop 配置hive 重命名:mv bingsf bin 创建/user/hive/warehouse bin/hdfs dfs -mkdir /tmp bin/hdfs dfs -mkdir -p /user/hive/warehouse 为上边的两个目录添加用户 阅读全文
posted @ 2020-01-15 18:13 dousil 阅读(137) 评论(0) 推荐(0)
摘要: Hive 简单说明 他没有很多的架构来讲,他就是一个简单的工具 数据仓库软件,分布式的读,i写管理大数据 访问方式 :JDBC(代码),命令行工具(常用) FaceBook 数据太大,需要大数据工程师,办法:用sql,sql转化为mapreduce程序,自动提交个yarn。 关系型数据库和hive对 阅读全文
posted @ 2020-01-15 17:32 dousil 阅读(94) 评论(0) 推荐(0)
摘要: Map Reduce 过程 sd 阅读全文
posted @ 2020-01-15 16:09 dousil 阅读(109) 评论(0) 推荐(0)
摘要: 什么是MAPREDUCE : MapReduce 八个字的核心的思想分而治之, Mapreduce简单的工作原理: mapredue 有maptask、reducetask组成 一个切片一个mapreduce, reduceTask 的默认是一个,可以设置多个 设置过程job.setNumReduc 阅读全文
posted @ 2020-01-15 15:29 dousil 阅读(259) 评论(0) 推荐(0)