摘要： T:ClassTag的例子（根据输入动态定义） 命令行代码： 阅读全文

摘要： 1.构造器 在Scala中，每个类都有一个主构造器。主构造器与类的定义交织在一起，如下： 主构造器会执行类定义中的所有语句。如下，println语句是主构造器的一部分，当类被实例化时，println语句会立即执行。 通过把private修饰符添加在类参数列表的前边把主构造器隐藏起来。如： 这样客户代 阅读全文

摘要： Spark版本为2.1.0，Hadoop版本为2.7.1，元数据存储在mysql中，异常信息如下： 报错提示，hive metastore出现了多个版本，去hive的元数据库查看表VERSION，发现多了一条记录 解决过程 查资料 google了一些资料，网上也有人提过，如HIVE-9543，网上大 阅读全文

摘要： 测试数据： 打印结果： 阅读全文

摘要： 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Applica 阅读全文

摘要： 使用Spring boot整合Hive，在启动Spring boot项目时，报出异常： 经过排查，是maven的包冲突引起的，具体做法，排除：jetty-all、hive-shims依赖包。对应的pom配置如下： 阅读全文

摘要： 问题背景：通过Spark SQL的jdbc去读取Oracle数据做测试，在本地的idea中没有报任务错误。但是打包到集群的时候报： 测试代码： 在本地测试通过，服务器会报如上截图的错误。最后通过排查发现是少了一句要制定driver的类型 阅读全文

摘要： Hive 前言 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。 数据组织格式 下面是直接存储在HDFS上的数据组织方式 Table：每个表存储在HDFS上的一个目录 阅读全文

摘要： 以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置 环境变量：可以通过每个节点的conf/spark-env.sh脚本设置 阅读全文

摘要： 1.为什么要让运行时Jar可以从yarn端访问spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在 每一次我们运行的时候，如果没有指定 spark.yarn.archive or spark.yarn.jars Spark将在 阅读全文