我爱豆腐脑 - 博客园

2018年7月27日

解决Spark On Yarn yarn-cluster模式下的No Suitable Driver问题

摘要： Spark版本：2.2.0_2.11 我们在项目中通过Spark SQL JDBC连接MySQL，在启动Driver/Executor执行的时候都碰到了这个问题。网上解决方案我们全部都试过了，奉上我们自己验证通过的方案： 1、在spark2-submit中指定好如下配置(我们使用的是mysql-co 阅读全文

posted @ 2018-07-27 17:29 我爱豆腐脑阅读(1404) 评论(4) 推荐(0)

2018年7月4日

及时行孝

摘要：上周末回老家，堂哥又和我们聊起婶婶意外去世的事情。虽然婶婶去世已快半年，但当时的场景，点点滴滴，刻骨铭心，犹如发生在昨天。堂哥反复给我们讲述婶婶在世时对婶婶言语上的冲撞，深深懊恼于自己没有尽过多少为子之道...此情此景，一句话深深撞击了我：“子欲养，而亲不在”。要避免这样的遗憾出现，唯有一招：及时阅读全文

posted @ 2018-07-04 13:50 我爱豆腐脑阅读(440) 评论(1) 推荐(1)

2018年6月20日

解决Kettle与Kerberos集成问题

摘要：本文目的：记录Kerberos环境下，通过Kettle将MySQL数据清洗到HDFS过程解决的2个问题，希望对大家有所帮助。 Kettle版本：pdi-ce-7.1.0.0-12 1、在Kerberos与Kettle集成过程中，我们有如下场景：将数据从MySQL定时抽出，然后写到HDFS。在从My 阅读全文

posted @ 2018-06-20 13:42 我爱豆腐脑阅读(2868) 评论(0) 推荐(0)