spark——通过jdbc连接数据库中遇到的问题

官网下载MySQL的JDBC驱动时,发现下载下来的对应的安装包与之前用的不同,是dbd格式的(mysql-connector-java_8.0.19-1ubuntu16.04_all.deb),上网搜索了好多不同的方法才最终将其解压,找到对应的驱动。

一、deb、rpm、tar.gz三种不同linux安装包下的区别

rpm包-在红帽LINUX、SUSE、Fedora可以直接进行安装,但在Ubuntu中却无法识别;

deb包-是Ubuntu的专利,在Ubuntu中双击deb包就可以进入自动安装进程;

tar.gz包-在所有的Linux版本中都能使用,但安装过程也最麻烦,要先解压缩,然后在“终端”里用cd命令进入刚才解压的目录,再找到安装链接文件安装。

详细的区别,请参考Linux下软件包的分类及deb、rpm、tar.gz的区别

二、安装deb格式的包

1.双击deb的包,出现如下界面,安装即可。(但是我点击安装之后,并没有安装成功,搞不清状况)

2.使用命令:dpkg -i 安装包名字

但是,我弄了之后,也没有安装成功,出现的情况如下:

hadoop@hadoop-virtual-machine:/usr/local/spark/jars$ sudo dpkg -i mysql-connector-java_8.0.19-1ubuntu16.04_all.deb
[sudo] hadoop 的密码:
正在选中未选择的软件包 mysql-connector-java。
(正在读取数据库 ... 系统当前共安装有 209954 个文件和目录。)
正准备解包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb ...
正在解包 mysql-connector-java (8.0.19-1ubuntu16.04) ...
正在设置 mysql-connector-java (8.0.19-1ubuntu16.04) ...

再使用第一步没有安成的情况下,不能直接进行这一步,会出现如下情况。

dpkg:错误:另外一个进程已经为 dpkg 状态数据库 加锁

解决情况如下,我是重启的系统解决的,参考博客(Ubuntu安装deb时错误:“dpkg:错误:另外一个进程已经为 dpkg 状态数据库 加锁”解决):

以下方式任选一个即可:

1、重启系统

2、执行(这种方式不要尝试,系统很容易挂)

sudo rm /var/lib/dpkg/lock

然后执行修复

sudo dpkg --configure -a

3.使用命令:dpkg -L 安装包名字(不能带版本信息,否则也会出错)

这是看了简书一篇文章10.4 burnside polya hive之后解决的,出现代码如下

hadoop@hadoop-virtual-machine:~/下载$ dpkg -L mysql-connector-java_8.0.19-1ubuntu16.04_all.deb
dpkg-query: 软件包 mysql-connector-java_8.0.19-1ubuntu16.04_all.deb 没有被安装
使用 dpkg --info (= dpkg-deb --info) 来检测打包好的文件,
还可以通过 dpkg --contents (= dpkg-deb --contents) 来列出它们的内容。
hadoop@hadoop-virtual-machine:~/下载$ mysql-connector-java
mysql-connector-java:未找到命令
hadoop@hadoop-virtual-machine:~/下载$  dpkg -L mysql-connector-java
/.
/usr
/usr/share
/usr/share/java
/usr/share/java/mysql-connector-java-8.0.19.jar
/usr/share/doc
/usr/share/doc/mysql-connector-java
/usr/share/doc/mysql-connector-java/copyright
/usr/share/doc/mysql-connector-java/INFO_SRC
/usr/share/doc/mysql-connector-java/INFO_BIN
/usr/share/doc/mysql-connector-java/LICENSE.gz
/usr/share/doc/mysql-connector-java/README
/usr/share/doc/mysql-connector-java/CHANGES.gz
/usr/share/doc/mysql-connector-java/changelog.Debian.gz

然后在java文件夹中找到我想要的jar文件,放入spark文件夹下的jars文件夹中。

之后进行后续操作连接成功。

 

posted @ 2020-02-15 22:27  祺&Qi  阅读(1266)  评论(0编辑  收藏  举报