摘要:
前面介绍了Spark开发环境的搭建,下面将在实际开发过程中遇到的一些问题汇总一下:1、Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for ... 阅读全文
摘要:
由于我Spark采用的是Cloudera公司的CDH,并且安装的时候是在线自动安装和部署的集群。最近在学习SparkSQL,看到SparkSQL on HIVE。下面主要是介绍一下如何通过SparkSQL在读取HIVE的数据。(说明:如果不是采用CDH在线自动安装和部署的话,可能需要对源码进行编译,... 阅读全文
摘要:
1、通用参数说明2、export的控制参数说明3、export的Inserts vs. Updates说明:在通过sqoop导出数据到关系型的数据库时,存在两种情况:insert&update,通过指定--update-key来匹配的字段,而它仅仅是匹配数据库中的记录,更新匹配成功的记录,对于不存在... 阅读全文