skyer1992 - 博客园

linux平台使用spark-submit以cluster模式提交spark应用到standalone集群

摘要： shell脚本如下 --master参数要指定为REST URL，不然要报警告。 --supervise如果指定了这个参数那么应用就会故障重启，比如driver节点挂掉了就会在集群中重新选一个节点重启driver。最后的应用jar包参数我这里使用的是本地文件，由于cluster要求所有节点都能找到阅读全文

posted @ 2018-02-10 16:16 skyer1992 阅读(397) 评论(0) 推荐(0)

windows平台使用spark-submit以client方式提交spark应用到standalone集群

摘要： 1、spark应用打包，我喜欢打带依赖的，这样省事。 2、使用spark-submit.bat 提交应用,代码如下: 第一行是读取配置，里面定义了一些变量，之后启动spark-submit.bat 脚本，--class指定main函数的类，路径是以classes为根目录的;master指定了mast 阅读全文

posted @ 2018-02-10 16:10 skyer1992 阅读(815) 评论(0) 推荐(0)

spark使用idea以client模式提交应用到standalone集群

摘要：使用idea以client方式提交代码到standalone集群非常简单。 1、首先有一个部署好且已经启动的standalone集群 2、将应用打包（这里两种选择，一种是包里只含应用不含依赖，另一种是包里是有依赖的。）没图说个JB: 可以看到第一个是不带依赖的包，这个包就比较小，第二个就是带依赖阅读全文

posted @ 2018-02-10 15:53 skyer1992 阅读(398) 评论(0) 推荐(0)

spark standalone集群部署实践记录

摘要：本文记录了一次搭建spark-standalone模式集群的过程，我准备了3个虚拟机服务器，三个centos系统的虚拟机。环境准备: -每台上安装java1.8 -以及scala2.11.x （x代表后面的版本随意） -以及spark2.2.0 注意:scala和spark的版本要匹配，可以查看s 阅读全文

posted @ 2018-02-08 14:57 skyer1992 阅读(266) 评论(0) 推荐(0)

windows平台下spark-shell配置

摘要：一、下载安装spark,http://spark.apache.org/，选择合适版本后下载到本地，解压,bin目录下spark-shell文件就是spark命令行交互的入口。二、下载安装windows平台下的hadoop配置包,https://github.com/srccodes/hadoop 阅读全文

posted @ 2018-01-05 16:04 skyer1992 阅读(1469) 评论(0) 推荐(0)

gogland golang 颜色&字体 colors&font 配置文件

摘要： <scheme name="Ya" version="142" parent_scheme="Darcula"> <option name="FONT_SCALE" value="1.0" /> <metaInfo> <property name="created">2017-08-08T14:59 阅读全文

posted @ 2017-08-08 15:03 skyer1992 阅读(2583) 评论(0) 推荐(0)

什么是游戏中的帧同步

摘要：简述游戏中的帧同步是一种客户端与服务器的同步方式，是为了实现高实时性,高同步性的应用而产生的。例如大家喜欢玩的王者荣耀，如果玩家A对玩家B发出了攻击而玩家B过了很久才发现，那么玩家B很可能就来不及做出防御，那这个游戏就没法玩，所以所有玩家的指令一定是要及时地同步到所有玩家的终端上的，而且大家收到的阅读全文

posted @ 2017-05-16 20:47 skyer1992 阅读(5463) 评论(0) 推荐(1)

kcp协议详解

摘要： kcp协议是传输层的一个具有可靠性的传输层ARQ协议。它的设计是为了解决在网络拥堵情况下tcp协议的网络速度慢的问题。kcp力求在保证可靠性的情况下提高传输速度。kcp协议的关注点主要在控制数据的可靠性和提高传输速度上面，因此kcp没有规定下层传输协议，一般用udp作为下层传输协议，kcp层协议的数阅读全文

posted @ 2017-05-12 16:57 skyer1992 阅读(28916) 评论(3) 推荐(4)

kcp流模式与消息模式对比

摘要： kcp的流模式，和消息模式流模式: 更高的网络利用率更大的传输速度解析数据相对更复杂消息模式：更小的网络利用率更小的传输速度解析数据相对更简单消息模式的示意图 http://www.processon.com/view/link/59357025e4b015d6aa7c429f 流模阅读全文

posted @ 2017-05-11 12:24 skyer1992 阅读(2344) 评论(1) 推荐(0)

kcp源码走读

摘要： kcp协议与tcp协议类似，是一种ARQ协议。他的优点在于比tcp的延迟更小30%-40%，但相应的会牺牲一部分的带宽，大该比tcp多浪费10%~20%。tcp的设计目标是增大网络利用率，而kcp的设计目标是增大网络传输速率。因此kcp与tcp对比，kcp有如下机制可以提高传输速度： 1.kcp的R 阅读全文

posted @ 2017-05-10 18:21 skyer1992 阅读(6502) 评论(0) 推荐(2)

曙光

导航

公告