摘要：一、启动thrift服务 启动thriftServer，默认端口为10000,。 --jars 添加worker类库 --driver-class-path 驱动类库 --master spark集群地址 --total-executor-cores 启动的核数，默认是所有核数 --executor 阅读全文

摘要：一、hive配置文件 在spak/conf目录添加hive-site.xml配置，设置mysql作为元数据存储的数据库 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" hr 阅读全文

摘要：一、spark-sql shell介绍 Spark sql是以hive SQL提交spark任务到spark集群执行。 由于spark是计算框架没有存储功能，所有spark sql数据表映射关系存储在运行shell的当前目录下metastore_db目录里面（spark默认使用derby数据库创建的 阅读全文

摘要：一、依赖包配置 scala与spark的相关依赖包，spark包后尾下划线的版本数字要跟scala的版本第一二位要一致，即2.11 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.o 阅读全文

摘要：一、依赖包配置 scala与spark的相关依赖包，spark包后尾下划线的版本数字要跟scala的版本第一二位要一致，即2.11 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.o 阅读全文

摘要：一、集群安装条件前置 实验spark安装在【Hadoop生态Zookeeper安装】机器上， 已完成安装zookeeper、jdk、hadoop和ssh、网络等配置环境等。 spark所依赖的虚拟机和操作系统配置 环境：ubuntu14 + spark-2.4.4-bin-hadoop2.6 + a 阅读全文