01 2019 档案

Spark 写 Hive table 非常慢【解决】
摘要：代码如下： dataFrame.createOrReplaceTempView("view_page_utm")val sql = s""" |insert overwrite table data_lake_v1.urchin_tracking_module PARTITION(cd='$date 阅读全文
posted @ 2019-01-26 21:08 徐软件 阅读(5837) 评论(0) 推荐(0)
Spark 读 Hive（不在一个 yarn 集群）
摘要：方法一 1. 找到目标 Hive 的 hive-site.xml 文件，拷贝到 spark 的 conf 下面。 在我的情况下 /etc/hive/conf/hive-site.xml -> /usr/lib/spark/conf/hive-site.xml 2. 运行期间，遇到一个问题： 相关解答 阅读全文
posted @ 2019-01-25 11:16 徐软件 阅读(1216) 评论(0) 推荐(0)
yarn container 的日志路径
摘要：/etc/hadoop/conf/yarn-site.xml 配置文件中 - yarn.nodemanager.log-dirs 指定本机的日志路径 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/containe 阅读全文
posted @ 2019-01-14 10:40 徐软件 阅读(6435) 评论(0) 推荐(0)