Hive基本操作
摘要：
Hive基本操作 阅读全文
posted @ 2020-11-25 17:38 RICH-ATONE 阅读(169) 评论(0) 推荐(0)
Hadoop中NameNode的工作机制
摘要：
Hadoop中NameNode的工作机制 阅读全文
posted @ 2020-11-24 18:38 RICH-ATONE 阅读(144) 评论(0) 推荐(0)
2020年11月25日 #
2020年11月24日 #
2020年11月23日 #
Sqoop报错Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLTransactionRollbackException: Deadlock found when trying to get lock; try restarting transaction
摘要：
Error: java.io.IOException: Can't export data, please check failed map task logs at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.j 阅读全文
posted @ 2020-11-23 15:27 RICH-ATONE 阅读(2343) 评论(2) 推荐(0)
2020年11月22日 #
项目管理PMP相关
摘要：
项目管理实战 第一章：项目管理实战（引论） 第二章：项目管理实战（项目运行环境） 第三章：项目经理角色 为什么说你的数据团队需要一个项目管理型人才？ 数据团队如何为自己争取资源 < 评论分析： 我最近也一直在思考数据团队价值方面的事情，我感觉这是绝大部分公司里大数据部门共同的痛点。在有权利分配资源的 阅读全文
posted @ 2020-11-22 17:06 RICH-ATONE 阅读(165) 评论(0) 推荐(0)
2020年11月20日 #
数据分析相关
摘要：
我在滴滴数据分析岗的面试和实习经历 如何用数据分析驱动用户增长 阅读全文
posted @ 2020-11-20 18:36 RICH-ATONE 阅读(151) 评论(0) 推荐(0)
Hadoop委任和解除节点
摘要：
一.Hadoop集群重启需要注意： 方法①：直接重启集群，重启完成后，需要执行如下命令： hadoop fsck / -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e 阅读全文
posted @ 2020-11-20 16:49 RICH-ATONE 阅读(216) 评论(0) 推荐(0)
Oozie调度Sqoop报错
摘要：
测试九次后以失败而告终，望评论 2020-11-20 15:24:13,326 [uber-SubtaskRunner] ERROR org.apache.sqoop.tool.ImportTool - Encountered IOException running import job: java 阅读全文
posted @ 2020-11-20 15:29 RICH-ATONE 阅读(313) 评论(0) 推荐(0)
Oozie调度Sqoop的两种方式
摘要：
sqoop command sqoop命令可以通过command和arg标签组成。 当使用command元素时，oozie将会按照空格切分命令，作为参数。因此当你使用query的时候，就不能用command了！ 当使用arg的时候，每个arg都是一个参数。 所有的参数部分，都可以使用EL表达式。 参 阅读全文
posted @ 2020-11-20 14:50 RICH-ATONE 阅读(470) 评论(0) 推荐(0)
MySql数据表直接到Hive表操作
摘要：
常用配置： bin/sqoop import \ --connect jdbc:mysql://ip:3306/database?tinyInt1isBit=false \ --username xxx \ --password xxx \ --table xxx \ --xxx \ --num-m 阅读全文
posted @ 2020-11-20 12:04 RICH-ATONE 阅读(1935) 评论(0) 推荐(0)
浙公网安备 33010602011771号