摘要:hivesql 一些默认类型转换。但spark需要手动强转 比如以下部分: SELECT 1 as id, avid as avid, mid as mid, TRIM(LOWER(tag)) as tag, ctime as ctime FROM archive.dws_archive_daily 阅读全文
posted @ 2019-12-31 14:32 宋朝林 阅读 (34) 评论 (0) 编辑
摘要:hivesql可运行的sql 在spark上运行报错如下 Error in query: cannot resolve 'coalesce(d.`subarea_duration_l30`, map(NULL, NULL))' due to data type mismatch: input to 阅读全文
posted @ 2019-12-26 17:30 宋朝林 阅读 (20) 评论 (0) 编辑
摘要:一 问题 hivesql可以正常运行,spark3.0运行报错如图 spark3.0配置 查看源码新增一个 val STORE_ASSIGNMENT_POLICY = buildConf("spark.sql.storeAssignmentPolicy") .doc("When inserting 阅读全文
posted @ 2019-12-25 19:58 宋朝林 阅读 (37) 评论 (0) 编辑
摘要:对此 提高了对外内存 spark.executor.memoryOverhead = 4096m 重新执行sql 改报下面的错误 19/12/25 15:49:02 ERROR ShuffleBlockFetcherIterator: Failed to get block(s) from bigd 阅读全文
posted @ 2019-12-25 18:55 宋朝林 阅读 (62) 评论 (0) 编辑
摘要:hivesql对语法检查较弱 像下面的语法 hive是可以通过的 partition by 后没有跟order by row_number() over(partition by buvid,version_code,app_id) as rn 原因看下hive 源码(hive 已经做了补充) sp 阅读全文
posted @ 2019-12-25 16:08 宋朝林 阅读 (33) 评论 (0) 编辑
摘要:使用spark2.4跟spark2.3 做替代公司现有的hive选项。 跑个别任务spark有以下错误 java.io.EOFException: Premature EOF from inputStream at com.hadoop.compression.lzo.LzopInputStream 阅读全文
posted @ 2019-12-23 19:42 宋朝林 阅读 (15) 评论 (0) 编辑
摘要:周末一大早被报警惊醒,rm频繁切换 急急忙忙排查 看到两处错误日志 错误信息1 ervation <memory:0, vCores:0> 2019-12-21 11:51:57,781 FATAL org.apache.hadoop.yarn.server.resourcemanager.Reso 阅读全文
posted @ 2019-12-21 15:13 宋朝林 阅读 (57) 评论 (0) 编辑
摘要:一 编译 以spark2.4 hadoop2.8.4为例 1,spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties 阅读全文
posted @ 2019-12-12 11:54 宋朝林 阅读 (20) 评论 (0) 编辑
摘要:某日 收到告警 线上集群rm切换 观察resourcemanager 日志报错如下 这行不明显 再看看其他日志报错 在 app attempt_removed 时候发生了空指针错误 break; case APP_ATTEMPT_REMOVED: if (!(event instanceof App 阅读全文
posted @ 2019-11-29 10:30 宋朝林 阅读 (52) 评论 (0) 编辑
摘要:对一般小公司来说 可能yarn调度能力足够了 但是对于大规模集群1000 or 2000+的话 yarn的调度性能捉襟见肘 恰好网上看到一篇很好的文章https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-opti 阅读全文
posted @ 2019-11-12 18:23 宋朝林 阅读 (160) 评论 (0) 编辑