大数据，十有八九挂在装环境上（2）

装个MySQL玩玩

 

1. 环境准备

a.删掉没用的包

rpm -aq |grep mariadb

 b.安装依赖包

yum install perl -y

yum install net-tools -y

 

2. 安装MySQL

彻底卸载MySQL

mysqladmin -uroot -proot shutdown  # 关闭MySQL

rpm -aq |grep mysql  # 查看包

rpm -e mysql-community-common-5.6.51-2.el6.x86_64 --nodeps  # 删刚才查出来的包

find / -name "mysql"  # 查本地文件

rm -rf 上面的文件，一个不留

打开 /etc/rc.local文件，查看是否有开机启动相关命令，如果有请手动删除。

 

a.解压MySQL

tar xvf mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar

b.然后按顺序复制安装。（如果报错，在包名前加 --force ，参考 https://blog.csdn.net/lufeisan/article/details/53435155）

rpm -ivh mysql-community-common-5.7.26-1.el7.x86_64.rpm（要加--force）
rpm -ivh mysql-community-libs-5.7.26-1.el7.x86_64.rpm（要加--force）
rpm -ivh mysql-community-client-5.7.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.26-1.el7.x86_64.rpm（要加--force）

 

3. 修改root口令（因为系统随机口令不方便）

systemctl start mysqld  # 启动MySQL

grep password /var/log/mysqld.log（第一次安装可以查看随机密码，我好像以前装过，密码123）

mysql -uroot -p  # 登录输入密码

set global validate_password_policy=0;  # 降低密码等级

set password for 'root'@'localhost' =password('12345678');  # 设置root密码为12345678

flush privileges;  # 刷新

CREATE USER 'hive'@'%' IDENTIFIED BY '12345678';  # 创建hive用户

GRANT ALL ON *.* TO 'hive'@'%';  # 授权，所有权限

FLUSH PRIVILEGES;  # 刷新（别忘了！！）

ok，MySQL就安装配置好了

 

再来个Hive玩玩

1. 解压

tar zxvf apache-hive-2.3.7-bin.tar.gz -C ../servers/

2. 配置环境变量

vi /etc/profile

##HIVE_HOME
export HIVE_HOME=/opt/lagou/servers/hive-2.3.7
export PATH=$PATH:$HIVE_HOME/bin

 source /etc/profile

坑：有可能突然就ls不能用，报错：-bash: ls: 未找到命令

那一定是你环境变量写错了

export PATH=/bin:/usr/bin:$PATH 急救一下

3. 修改配置

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- hive元数据的存储位置 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://centos7-3:3306/hivemetadata?createDatabaseIfNotExist=true&amp;useSSL=false</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>
    <!-- 指定驱动程序 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>
    <!-- 连接数据库的用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
        <description>username to use against metastore database</description>
    </property>
    <!-- 连接数据库的口令 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>12345678</value>
        <description>password to use against metastore database</description>
    </property>
</configuration>

4. 拷贝 MySQL JDBC 驱动程序

 cp mysql-connector-java-5.1.46.jar /opt/lagou/servers/hive-2.3.7//lib/

 5. 初始化元数据库

schematool -dbType mysql -initSchema

6. 启动Hive

# 启动hive服务之前，请先启动hdfs、yarn的服务

 hive  # 启动hive

 7. Hive 属性配置

<property>
    <!-- 数据默认的存储位置(HDFS) -->
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>

<property>
    <!-- 在命令行中，显示当前操作的数据库 -->
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
</property>

<property>
    <!-- 在命令行中，显示数据的表头 -->
    <name>hive.cli.print.header</name>
    <value>true</value>
</property>

<property>
    <!-- 操作小规模数据时，使用本地模式，提高效率 -->
    <name>hive.exec.mode.local.auto</name>
    <value>true</value>
    <description>Let Hive determine whether to run in local mode automatically</description>
</property>