摘要：增量导入 一、说明 当在生产环境中，我们可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。这种情况下我们不可能将所有数据重新再导入一遍，所以此时需要数据增量导入。 增量导入数据分为两种方式： 一是基于递增列的增量数据导入（Append方式）。 二是基于时间列的数 阅读全文

摘要：一、说明： 将关系型数据库中的数据导入到 HDFS（包括 Hive， HBase） 中，如果导入的是 Hive，那么当 Hive 中没有对应表时，则自动创建。 二、操作 1、创建一张跟mysql中的im表一样的hive表im: 过程中报错总结： ERROR Could not register mb 阅读全文

摘要：一、常用命令列举 二、命令及参数详解 1、数据库连接 2、import 3、export 4、hive 阅读全文

摘要：Sqoop: 1、sqoop从数据库中导入数据到HDFS 2、SQOOP从数据库导入数据到hive 3、sqoop从hive中将数据导出到数据库 sqoop底层还是执行的mapreduce程序，，但是特殊的地方只有map TASK 可以实现：企业级数据仓库、文档型系统、关系型数据库<--> sqoo 阅读全文