摘要：
问题详情： 无法插入中文？ 解决办法： 需要修改编码格式，由默认的latin1改为utf8。 改成， 成功！ 阅读全文
posted @ 2017-03-17 17:49
大数据和AI躺过的坑
阅读(10533)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 1、Sqoop Import （进入官网） 因为，sqoop的使用方式是： sqoop COMMAND ARGS。 以下是 sqoop COMMAND ARGS 以下是 sqoop COMMAND ARGS 所以，sqoop COMMAND ARGS 是 2、Sqoop Exp 阅读全文
posted @ 2017-03-17 15:59
大数据和AI躺过的坑
阅读(5889)
评论(0)
推荐(0)
摘要：
Sqoop Export原理 Sqoop Export详细流程讲解 阅读全文
posted @ 2017-03-17 11:15
大数据和AI躺过的坑
阅读(1094)
评论(0)
推荐(0)
摘要：
Sqoop Import原理 Sqoop Import详细流程讲解 Sqoop在import时，需要指定split-by参数。Sqoop根据不同的split-by参数值来进行切分，然后将切分出来的区域分配到不同map中。 每个map中再处理数据库中获取的一行一行的值，写入到HDFS中(由此也可知，导 阅读全文
posted @ 2017-03-17 11:14
大数据和AI躺过的坑
阅读(2092)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ Sqoop 的基本架构图 注意： Sqoop，只需map task就可以了，因为，它只是做数据传输，不需做数据处理。 阅读全文
posted @ 2017-03-17 11:12
大数据和AI躺过的坑
阅读(673)
评论(0)
推荐(0)
摘要：
1）大部分企业还在使用sqoop1版本 2）sqoop1能满足公司的基本需求 3）sqoop2 功能还不是很成熟和完善 4）sqoop只是一个工具而已，相对比较简单 阅读全文
posted @ 2017-03-17 11:11
大数据和AI躺过的坑
阅读(735)
评论(0)
推荐(0)
摘要：
1、sqoop1和sqoop2是两个不同的版本，它们是完全不兼容的。 2、版本划分方式：Apache 1.4.x 之后的版本属于sqoop1,1.99.x之上的版本属于sqoop2。 3、与sqoop1相比，sqoop2的优势: 1）它引入的sqoop Server，便于集中化的管理Connecto 阅读全文
posted @ 2017-03-17 11:10
大数据和AI躺过的坑
阅读(1602)
评论(0)
推荐(0)
摘要：
1、sqoop可以高效的可控的利用资源，比如它可以通过调整任务数，来控制任务的并发度，另外还可以配置数据库的访问时间等等 2、sqoop能自动的完成数据类型的映射与转换 3、它支持多种数据库，比如mysql oracle，postgresql 阅读全文
posted @ 2017-03-17 11:09
大数据和AI躺过的坑
阅读(2271)
评论(0)
推荐(0)
浙公网安备 33010602011771号