摘要： 为什么进行数据挖掘？ 1. 进入信息时代（信息时代数据量暴增） 社会计算机化和功能强大的数据收集和存储工具导致数据的爆炸式增长；数据的爆炸式增长、广泛可用和巨大数量使得当前时代成为真正的数据时代；急需功能强大和通用的工具，以便从这些海量数据中发现有价值的信息，把这些数据转化成有组织的知识。 2. 数 阅读全文

摘要： sqoop创建并导入数据到hive orc表 查看表结构 sqoop导入数据到已存在的hive orc表 sqoop导入数据（query）到已存在的hive orc表 字段说明 注：若不指定字段类型，MySQL中的varchar数据抽取至hive中也会是varchar类型，但是varchar类型在h 阅读全文

摘要： Sqoop-将Hive ORC表导出到MySQL 全量： 更新： 如果允许更新时插入：--update-mode allowinsert 如果只允许更新，不允许插入：--update-mode updateonly 阅读全文

摘要： 开启动态分区 阅读全文

摘要： 场景：通过parseHtml UDF解析一串HTML，返回一以 @@ 分割的字符串，使用split分割字符串进数组中，然后将数组的元素转列。 开始的写法 --问题FAILED: SemanticException [Error 10081]: UDTF's are not supported out 阅读全文

摘要： Oozie执行Shell，传入参数1. 新建一个workflow 2. 拖入一个shell 3. shell脚本如下 这是在命令行可执行的命令，其中有三个动态参数，$1、$2、$3，此处做了一个import的导入操作，把指定数据抽取到HDFS路径下，用了--query写SQL语句抽取想要的数据，此处 阅读全文

摘要： Oozie执行Sqoop，传入参数（注意，在使用--query时，参数中一定不要带有空格，否则出错）1. 新建一个workflow 2. 拖入一个sqoop 3. sqoop抽取命令如下（建议先在命令行试下，因为oozie的错误提示很委婉，基本看不出错误原因） 这是在命令行可执行的命令，其中有三个动 阅读全文

摘要： Oozie执行hive，传入参数1. 新建一个workflow 2. 拖入一个hive2 3. hive脚本如下 注意，此处${date}表示需要执行时传入的参数4. 添加参数 5. 启动，填入参数即可 6.workflow.xml如下 阅读全文

摘要： 在使用oozie调用sqoop时，报了下边这个错 解决 阅读全文

摘要： 题目 代码 开始忘记了回退操作。。 阅读全文