摘要： 一.创建shell服务脚本 创建脚本nexus,并将脚本文件放在/etc/init.d 服务启动目录 二.配置权限 三. 让chkconfig 管理脚本 四.启动服务 阅读全文

摘要： 一.项目pom配置 上面有两个配置,一个是发布版的仓库,另一个是快照版的仓库 id 必须跟maven 的conf/setting.xml 里配的仓库id相应 二.maven conf/setting.xml 配置仓库认证信息 在conf/setting.xml 里面配置上述节点信息 上述server 阅读全文

摘要： Spark standalone HA 配置Spark standalone HA 主机：node1,node2,node3 master: node1,node2 slave:node2,node3 修改配置文件： node1,node3: spark-env.sh export SPARK_MA 阅读全文

摘要： Spark性能优化指南——高级篇 李雪蕤 ·2016-05-12 14:47 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的 阅读全文

摘要： 一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的总核数 spark.executor.cores 是指每个executor需要的核数 参 阅读全文

摘要： Spark运行模式：cluster与client 一. 部署模式原理 When run SparkSubmit --class [mainClass], SparkSubmit will call a childMainClass which is 1. client mode, childMain 阅读全文

摘要： 5.1.1. AOP concepts Let us begin by defining some central AOP concepts and terminology. These terms are not Spring-specific…​ unfortunately, AOP termi 阅读全文

摘要： 1.新建/etc/init.d/myService.sh shell文件 2.给sh文件和jar可执行权限 2. 添加chkconfig 添加权限 阅读全文

摘要： 2.新建service文件:/etc/systemd/system/myapp.service 3.启用systemctl enable myapp.service 4.systemctl start myapp.service 阅读全文

摘要： 第一步 你需要新建一个专用用来放置第三方构建的私服仓库。你可以参考附带的仓库maven-releases来创建 第二步 在你的配置文件settings.xml中加上用户信息，需要注意的是，这个配置文件是总的配置文件，也就是位于%安装目录%\conf\settings.xml的配置文件。我已经试过，在 阅读全文