摘要：
2019-11-22 17:15:27,705 FATAL [IPC Server handler 13 on 44844] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1574410493054_0011_m_00 阅读全文
摘要：
Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 字符函数 <!- 阅读全文
摘要：
正则表达式基本语法 用圆括号将所有选择项括起来，相邻的选择项之间用|分隔。但用圆括号会有一个副作用，使相关的匹配会被缓存，此时可用?:放在第一个选项前来消除这种副作用。 其中 ?: 是非捕获元之一，还有两个非捕获元是 ?= 和 ?!，这两个还有更多的含义，前者为正向预查，在任何开始匹配圆括号内的正则 阅读全文
摘要：
原因分析 CDH 集群环境没有对 Container分配足够的运行环境（内存） 解决办法 需要修改的配置文件，将具体的配置项修改匹配集群环境资源。如下： 配置文件 配置设置 解释 计算值（参考） yarn-site.xml yarn.nodemanager.resource.memory-mb 分配 阅读全文
摘要：
step1:add jar /home/chenweidong/lib/hive-contrib-2.1.1-cdh6.0.0.jar;add jar /home/chenweidong/lib/mysql-connector-java.jar; step2:CREATE TEMPORARY FUN 阅读全文
摘要：
非分区表复制 复制一张非分区表，使用CREATE TABLE IF NOT EXISTS AS SELECT * FROM tb_name;只复制表结构，CREATE TABLE IF NOT EXISTS AS SELECT *** FROM tb_name WHERE 1=2; PS：分区表如果 阅读全文
摘要：
Cannot run program "order_log.sh" (in directory "/data/yarn/nm/usercache/chenweidong/appcache/application_1536202736675_0048/container_1536202736675_0 阅读全文
摘要：
Halting due to Out Of Memory Error...18/09/13 21:42:17 INFO mapreduce.Job: Task Id : attempt_1536756558194_0031_m_000001_0, Status : FAILEDError: Java 阅读全文
摘要：
原因分析 -m 4 \ 导数命令中map task number=4，当-m 设置的值大于1时，split-by必须设置字段（需要是 int 类型的字段），如果不是 int类型的字段，则需要加上参数-Dorg.apache.sqoop.splitter.allow_text_splitter=tru 阅读全文
摘要：
KrbException: Cannot locate default realm 解决办法 1）拷贝需要组件的配置文件到项目中的 /resources/目录。如hadoop，目录/etc/hadoop/conf/ 2）代码中写入如下代码 System.setProperty("java.secur 阅读全文