摘要：1、指定切分的字段 Sqoop通过--split-by指定切分的字段，--m设置mapper的数量。通过这两个参数分解生成m个where子句，进行分段查询。因此sqoop的split可以理解为where子句的切分。 sqoop import \ --connect jdbc:mysql://192. 阅读全文

摘要：1.更新导出（updateonly模式）1.1参数说明-- update-key，更新标识，即根据某个字段进行更新，例如id，可以指定多个更新标识的字段，多个字段之间用逗号分隔。 -- updatemode，指定updateonly（默认模式），仅仅更新已存在的数据记录，不会插入新纪录。 1.2代码 阅读全文

摘要：通用参数 import export 通用通用参数选项 含义说明–connect 指定JDBC连接字符串–connection-manager 指定要使用的连接管理器类–driver 指定要使用的JDBC驱动类–hadoop-mapred-home 指定$HADOOP_MAPRED_HOME路径–h 阅读全文

摘要：1、hdfs文件的权限问题 问题分析与解决： 根据报错信息是hdfs文件的权限问题，命令进入集群执行的用户为null，而hdfs文件所有者为hdfs。 要么以用户hdfs执行命令，要么调整hdfs文件的权限，因为我只是使用hdfs文件的其中之一，暂时考虑：以hdfs用户执行命令。 在~/.bash_ 阅读全文