hive元数据备份与还原
在生产环境中,有时候在数据迁移,或者转存数据以及其他操作时,可能会造成数据的丢失。
所以对于hive,尤其数据量特别大的时候,对数据进行操作时,还是可能丢失数据的。
我们要知道,对于hive,元数据存储在自带的derby数据库,或者第三方数据库,比如mysql。
当元数据丢失时,可能会造成一系列问题:启动hive时,无法初始化metastore,无法创建链接,无法创建任务
1:hive的metastore丢失了,比如手动drop,或者文件损坏
2:有可能metastore版本号不对。
3:thrift远程服务,有可能这个thrift中介服务没有打开,导致找不到metastore
所以对于metastore的备份在生产环境中非常重要
在mysql中进行数据备份与还原:
备份:
mysqldump -u root -p 元数据在mysql中的名字 > metastore.sql
还原:
mysql -u root -p 元数据在MySQL中的名字 < metastore.sql