随笔分类 - sqoop
摘要:Sqoop 抽数的并行化主要涉及到两个参数:num-mappers:启动N个map来并行导入数据,默认4个; split-by:按照某一列来切分表的工作单元。 split切分算法默认是根据主键来的:比如map 个数为4,取 ( 主键最大值 - 主键最小值 )/ map 数量 ,这就分成了 4份,如果
阅读全文
摘要:问题来源 官网原话是这样的: Since Sqoop breaks down export process into multiple transactions, it is possible that a failed export job may result in partial data b
阅读全文
摘要:使用查询语句来完成全表导入遇到的一些问题
阅读全文
摘要:Sqoop 使用shell命令的各种参数的配置及使用方法
阅读全文