摘要：
3.把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式：（1）方式一：上传数据后修复上传数据hive (db_614)> dfs -mkdir -p /user/hive/warehouse/db_614.db/user_info6/month=202011/day=22;hive (db 阅读全文
posted @ 2020-11-22 16:56
蔡地像徐坤
阅读(654)
评论(0)
推荐(0)
摘要：
hive中partition如何使用 网上有篇关于hive的partition的使用讲解的比较好，转载了： 一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是 阅读全文
posted @ 2020-11-18 10:35
蔡地像徐坤
阅读(378)
评论(0)
推荐(0)
摘要：
1.查看有无安装过mysqlrpm -qa|grep mysql 2.查看有无安装包yum list mysql* 3.虚拟机关掉eth0，联网后，安装mysql服务yum install mysql-serveryum install mysql-devel 4.开启eth0，Xshell连接后， 阅读全文
posted @ 2020-11-17 10:45
蔡地像徐坤
阅读(173)
评论(0)
推荐(0)
摘要：
1.在hadoop的安装目录etc/hadoop/下修改配置文件:yarn-site.xml<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.a 阅读全文
posted @ 2020-11-13 00:40
蔡地像徐坤
阅读(386)
评论(0)
推荐(0)
摘要：
开启jobhistory功能步骤:1.修改etc/hadoop/mapred-site.xml文件<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <pro 阅读全文
posted @ 2020-11-13 00:35
蔡地像徐坤
阅读(495)
评论(0)
推荐(0)
摘要：
解压hive文件hadoop@master:~$sudo tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /opt/modules 配置环境变量hadoop@master:~$vi /etc/profileexport HIVE_HOME=/opt/root/hi 阅读全文
posted @ 2020-11-13 00:33
蔡地像徐坤
阅读(189)
评论(0)
推荐(0)
摘要：
1、原始位置的默认配置 hive中的Default（默认）数据仓库的最原始位置是在hdfs上的 /user/hive/warehouse（以下默认Hive的HDFS根目录为/user/hive）路径下，这个原始位置是本地的/usr/local/hive/conf/hive-default.xml.t 阅读全文
posted @ 2020-11-13 00:31
蔡地像徐坤
阅读(1561)
评论(0)
推荐(0)
摘要：
准备工作：1.三台主机，主机名分别是master、slave01、slave022.修改主机名，vi /etc/sysconfig/network，重启3.修改虚拟机的网络设备选项，仅主机模式4.切换会普通用户，修改ifcfg-eth0,sudo vi /etc/sysconfig/network- 阅读全文
posted @ 2020-11-05 16:37
蔡地像徐坤
阅读(130)
评论(0)
推荐(0)
摘要：
配置ssh无密码访问生成公钥密钥对在每个节点上分别执行：命令行输入：ssh-keygen -t rsa一直按回车直到生成结束执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub其中前者为私钥，后者为公钥在主节点上执行：命令行输入：cp id_rs 阅读全文
posted @ 2020-11-05 16:15
蔡地像徐坤
阅读(130)
评论(0)
推荐(0)
摘要：
准备工作：1.root用户下添加用户，设置密码2.修改主机名，vi /etc/sysconfig/network，重启3.修改虚拟机的网络设备选项，仅主机模式4.切换到root用户，添加权限，vi /etc/sudoers, root ALL=(ALL) ALL5.切换会普通用户，修改ifcfg-e 阅读全文
posted @ 2020-10-29 19:23
蔡地像徐坤
阅读(150)
评论(0)
推荐(0)
浙公网安备 33010602011771号