RICH-ATONE

2020年11月20日 #

数据分析相关

摘要: 我在滴滴数据分析岗的面试和实习经历 如何用数据分析驱动用户增长 阅读全文

posted @ 2020-11-20 18:36 RICH-ATONE 阅读(137) 评论(0) 推荐(0)

Hadoop委任和解除节点

摘要: 一.Hadoop集群重启需要注意: 方法①:直接重启集群,重启完成后,需要执行如下命令: hadoop fsck / -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e 阅读全文

posted @ 2020-11-20 16:49 RICH-ATONE 阅读(172) 评论(0) 推荐(0)

Oozie调度Sqoop报错

摘要: 测试九次后以失败而告终,望评论 2020-11-20 15:24:13,326 [uber-SubtaskRunner] ERROR org.apache.sqoop.tool.ImportTool - Encountered IOException running import job: java 阅读全文

posted @ 2020-11-20 15:29 RICH-ATONE 阅读(291) 评论(0) 推荐(0)

Oozie调度Sqoop的两种方式

摘要: sqoop command sqoop命令可以通过command和arg标签组成。 当使用command元素时,oozie将会按照空格切分命令,作为参数。因此当你使用query的时候,就不能用command了! 当使用arg的时候,每个arg都是一个参数。 所有的参数部分,都可以使用EL表达式。 参 阅读全文

posted @ 2020-11-20 14:50 RICH-ATONE 阅读(411) 评论(0) 推荐(0)

MySql数据表直接到Hive表操作

摘要: 常用配置: bin/sqoop import \ --connect jdbc:mysql://ip:3306/database?tinyInt1isBit=false \ --username xxx \ --password xxx \ --table xxx \ --xxx \ --num-m 阅读全文

posted @ 2020-11-20 12:04 RICH-ATONE 阅读(1109) 评论(0) 推荐(0)

导航