摘要：
用maven打成jar包后，Main.class.getClassLoader().getResource("")为null。 示例： public static void main(String[] args) { ... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(1031)
评论(0)
推荐(0)
摘要：
//创建spark数据库 create database spark; //创建userinfor表 create table userinfor( id INT NOT NULL AUTO_INCR... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(139)
评论(0)
推荐(0)
摘要：
在建立maven项目时，遇到问题，只能对java代码的打包。 此问题出现的原因时，在建立项目的时候，建立的时java的项目，后期进行scala的添加，但是在pom.xml中并没有出现scala代码的打包配置，导致只能进行java代码的打包。 解决方法：... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(163)
评论(0)
推荐(0)
摘要：
api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appNa... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(34)
评论(0)
推荐(0)
摘要：
DataFrame与RDD互操作之一： 反射方式 使用反射来推断包含了特定数据类型的RDD的元数据信息 使用DataFrame API或者sql方式编程 代码如下 import org.apache.spark.sql.SparkSe... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(50)
评论(0)
推荐(0)
摘要：
不过有时候我们在创建SQLContext实例的时候遇到类似下面的 java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.ha... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(282)
评论(0)
推荐(0)
摘要：
提交命令 --class 任务的包名全路径 spark-submit --name sparksql --class com.binzaijun.SQLContextApp --master local[2] sql-1.0-SNAPSHOT.jar ... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(15)
评论(0)
推荐(0)
摘要：
一、环境准备 1.1硬件：centos7.6 2.1软件： jdk1.8 mysql5.7 MySQL JDBC jar cm6.3.1 连接：https://archive.cloudera.com/cm6/6.3.1/repo-as... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(261)
评论(0)
推荐(0)
摘要：
Linux 正常安装 rpm 的命令是： rpm -ivh xxx.rpm 重复安装时需加属性： 软件包重复安装将会失败，若仍需要安装必须加--replacepkgs 属性 软件包的某个文件已在安装其他软件包时... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(207)
评论(0)
推荐(0)
摘要：
在官方的maven仓库中找不到cdh版本的hadoop依赖jar包 需要在spark根目录下的pom.xml文件中添加源 在 cloudera https://repository.cloudera.com/artifacto... 阅读全文
posted @ 2022-11-10 19:27
彬在俊
阅读(14)
评论(0)
推荐(0)
浙公网安备 33010602011771号