spark-sql做ETL时遇到的两个问题
摘要：
项目中使用spark-sql来作ETL，遇到两个问题，记录一下。 问题1： spark-sql –master yarn –hiveconf load_date=`date –d ..` -e ‘insert overwrite table tbl(.) select distinct * from tbl” 在hdfs上这个表所在的目录下面会产生很多的类似.hive-s... 阅读全文
posted @ 2017-08-10 13:41 tneduts 阅读(1280) 评论(0) 推荐(0) 编辑
