2019年11月23日
troubshooting-sqoop 导出 TiDB表数据报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
摘要： 2019-11-22 17:15:27,705 FATAL [IPC Server handler 13 on 44844] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1574410493054_0011_m_00 阅读全文
posted @ 2019-11-23 16:46 阿東哥© 阅读(999) 评论(0) 推荐(0)
2019年6月12日
Hive2.0常用函数（对编辑器很无语😓）
摘要： Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 字符函数 <!- 阅读全文
posted @ 2019-06-12 15:55 阿東哥© 阅读(242) 评论(0) 推荐(0)
2019年6月11日
Hive正则表达式
摘要： 正则表达式基本语法 用圆括号将所有选择项括起来，相邻的选择项之间用|分隔。但用圆括号会有一个副作用，使相关的匹配会被缓存，此时可用?:放在第一个选项前来消除这种副作用。 其中 ?: 是非捕获元之一，还有两个非捕获元是 ?= 和 ?!，这两个还有更多的含义，前者为正向预查，在任何开始匹配圆括号内的正则 阅读全文
posted @ 2019-06-11 14:34 阿東哥© 阅读(423) 评论(0) 推荐(0)
2018年12月3日
troubleshooting-Container 'PHYSICAL' memory limit
摘要： 原因分析 CDH 集群环境没有对 Container分配足够的运行环境（内存） 解决办法 需要修改的配置文件，将具体的配置项修改匹配集群环境资源。如下： 配置文件 配置设置 解释 计算值（参考） yarn-site.xml yarn.nodemanager.resource.memory-mb 分配 阅读全文
posted @ 2018-12-03 21:43 阿東哥© 阅读(1256) 评论(0) 推荐(0)
2018年10月10日
Hive-查询结果导入到 MySQL
摘要： step1:add jar /home/chenweidong/lib/hive-contrib-2.1.1-cdh6.0.0.jar;add jar /home/chenweidong/lib/mysql-connector-java.jar; step2:CREATE TEMPORARY FUN 阅读全文
posted @ 2018-10-10 18:24 阿東哥© 阅读(416) 评论(0) 推荐(0)
Hive-复制表
摘要： 非分区表复制 复制一张非分区表，使用CREATE TABLE IF NOT EXISTS AS SELECT * FROM tb_name;只复制表结构，CREATE TABLE IF NOT EXISTS AS SELECT *** FROM tb_name WHERE 1=2; PS：分区表如果 阅读全文
posted @ 2018-10-10 18:12 阿東哥© 阅读(299) 评论(0) 推荐(0)
2018年9月23日
troubleshooting-执行导数shell脚本抛异常error=2, No such file or directory
摘要： Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0 阅读全文
posted @ 2018-09-23 18:06 阿東哥© 阅读(755) 评论(0) 推荐(0)
troubleshooting-sqoop mysql导入hive 报：GC overhead limit exceeded
摘要： Halting due to Out Of Memory Error...18/09/13 21:42:17 INFO mapreduce.Job: Task Id : attempt_1536756558194_0031_m_000001_0, Status : FAILEDError: Java 阅读全文
posted @ 2018-09-23 17:56 阿東哥© 阅读(2252) 评论(0) 推荐(0)
troubleshooting-When importing query results in parallel, you must specify --split-by.
摘要： 原因分析 -m 4 \ 导数命令中map task number=4，当-m 设置的值大于1时，split-by必须设置字段（需要是 int 类型的字段），如果不是 int类型的字段，则需要加上参数-Dorg.apache.sqoop.splitter.allow_text_splitter=tru 阅读全文
posted @ 2018-09-23 17:50 阿東哥© 阅读(550) 评论(0) 推荐(0)
troubleshooting-windows 在 CDH集群环境读取 Hive 表 KrbException: Cannot locate default realm
摘要： KrbException: Cannot locate default realm 解决办法 1）拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop，目录/etc/hadoop/conf/ 2）代码中写入如下代码 System.setProperty("java.secur 阅读全文
posted @ 2018-09-23 17:46 阿東哥© 阅读(7531) 评论(0) 推荐(1)
下一页