随笔分类 -  Sqoop

利用sqoop指定列指定条件的方式将数据从mysql中增量导入hive表中
摘要:1、sqoop增量(指定列指定条件的方式增量导入hive表中)导入hive脚本 #!/bin/bash #Set the RDBMS connection params rdbms_ip=$1 rdbms_connect="jdbc:mysql://${rdbms_ip}:**/*******?us 阅读全文

posted @ 2018-11-27 15:18 小诺宝宝 阅读(2181) 评论(0) 推荐(0)

记录几个sqoop任务执行中遇到的错误
摘要:sqoop报错 1. sqoop将mysql中的数据导入到hive中 报错:Hive does not support the SQL type for column ssl_cipher 原因:报这个错是因为hive不支持mysql表中某些字段的类型 解决:--map-column-hive ss 阅读全文

posted @ 2018-11-27 15:09 小诺宝宝 阅读(3829) 评论(0) 推荐(0)

利用sqoop1实现大数据平台与关系型数据库之间数据交互,一些简单的例子
摘要:前提安装好sqoop1,并配置好环境变量 下边贴一点简单的例子: 1.sqoop从hdfs 中导出数据到mysql sqoop export \ --connect "jdbc:mysql://192.168.1.148:3306/sqoop?useUnicode=true&characterEnc 阅读全文

posted @ 2018-10-12 14:04 小诺宝宝 阅读(762) 评论(0) 推荐(0)

导航