摘要：JDBC的API SparkSQL提供联系数据库的APi有以下三个： //构建一个DataFrame，通过JDBC的连接属性和URL访问数据库的表table. Dataset<Row> jdbc(String url, String table, java.util.Properties prope 阅读全文

摘要：java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the s 阅读全文

摘要：资源影响因素 Spark和Yarn管理的资源限制因素： CPU 内存 磁盘 网络I/O Spark和Yarn管理的两个主要资源为CPU和内存，剩下不会主动管理，所以设置资源也是主要通过这两方面进行设置。 资源优化配置 在资源配置中，可以用过代码的设置sparkconf进行设置，或者在脚本里通过参数进 阅读全文

摘要：简述 Spark应用程序在集群上会以独立的进程集运行，由SparkContext 主程序中的对象（驱动程序）协调。 程序要在集群上运行时，SparkContext可以连接到几种类型的集群管理器 （Spark自己的独立集群管理器Mesos或YARN），它们可以在应用程序之间分配资源。一旦连接上之后，S 阅读全文