摘要：
1. 在Windows中安装sbt 下载 官网: http://www.scala-sbt.org/ github: https://github.com/sbt/sbt/releases/download/v0.13.15/sbt-0.13.15.msi (官网的地址好像下到一半就失败.) 安装 阅读全文
posted @ 2019-02-14 18:39
老董
阅读(5979)
评论(0)
推荐(0)
2019年2月14日 #
摘要：
withSpout在spark中是用来做DAG可视化的，它在代码里的用法如下（以map为例，spark 2.0.0版本） 因为对scala语法比较生疏，初次见面，一脸懵逼，这里的withScope是个什么用法？乍看一下有种java的implements Comparable的感觉。 其实，withS 阅读全文
posted @ 2019-02-14 16:04
老董
阅读(786)
评论(0)
推荐(0)
摘要：
1. local模式 2. Spark standalone模式 先上传文件到hdfs spark操作 最后保存的结果为: 3. yarn模式 还有一种mesos部署模式，因为环境没有做部署，没有做测试。 spark-shell参数列表: 阅读全文
posted @ 2019-02-14 15:39
老董
阅读(1248)
评论(0)
推荐(0)
摘要：
默认情况下，hadoop官方发布的二进制包是不包含native库的，native库是用C++实现的，用于进行一些CPU密集型计算，如压缩。比如apache kylin在进行预计算时为了减少预计算的数据占用的磁盘空间，可以配置使用压缩格式。 默认情况下，启动spark-shell,会有无法加载nati 阅读全文
posted @ 2019-02-14 11:47
老董
阅读(954)
评论(0)
推荐(0)
浙公网安备 33010602011771号