随笔分类 -  spark

摘要：spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --depl 阅读全文

摘要：一、CPU配置： ApplicationMaster 虚拟 CPU内核 ApplicationMaster占用的cpu内核数（Gateway--资源管理 ） //一般设置1个核，如果想启动时候快一点可以多设置核数，但它不管资源分配，所以只要保证任务执行过程中不挂就可以了 容器虚拟 CPU内核 //单 阅读全文

摘要：一 环境： 二.数据情况： 三.Eclipse+Maven+Java 3.1 依赖： 3.2 代码： 工具类： 四 错误解决办法： 下载cdh集群Hive的hive-site.xml文件，在项目中新建resources文件夹，讲hive-site.xml配置文件放入其中： 五 执行情况： 耗时14m 阅读全文

摘要：1.编写目的：由于cdh-5.9.2自带spark版本是spark1.6，现需要测试spark2新特性，需要整合spark2， 且spark1.x和spark2.x可以同时存在于cdh中，无需先删除spark1.x； 2.安装包下载 2.1首先下载csd包，地址： http://archive.cl 阅读全文

摘要：一，开源软件版本： hadoop版本 ： hadoop-2.7.5 hive版本 ：apache-hive-2.1.1 spark版本： spark-2.3.0-bin-hadoop2.7 各个版本到官网下载就ok，注意的是版本之间的匹配 机器介绍，三台机器，第一台canal1为主节点+工作节点，另 阅读全文