随笔分类 -  Sqoop

摘要：1、下载sqoop sqoop有两个方向的版本，sqoop 1版本和sqoop 2版本，这里使用sqoop 1。sqoop 1下载链接 http://www.apache.org/dyn/closer.lua/sqoop/1.4.7 2、解压 cd /data/ tar -zxvf sqoop-1. 阅读全文

摘要：我们采用sqoop-export插入数据的时候，如果主键已经存在了，插入会失败。想要根据主键判断是否要进行insert操作还是update操作，sqoop提供了update语法。示例 sqoop --connect "" --username "username" --password "passw 阅读全文

摘要：hue是一个Apache基金会下的一个开源图形化管理工具，使用python语言开发，使用的框架是Django。而sqoop也是Apache的一个开源工具，是使用Java语言开发，主要用于进行hdfs和传统关系型数据库之间的数据传递。这两天在整合这两个工具的时候，遇到了一个问题，特此记录。 Hue版本 阅读全文

摘要：sqoop import --connect 'jdbc:sqlserver://192.168.xx.xx:1433;username=sa;password=xxxx;database=WindElec' --table sqlTest1 --target-dir '/sqoop/test1' -m 2 阅读全文