随笔分类 -  Linux

上一页 1 2
Flink 1.3.2 Standalone模式安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 flink-1.3.2-bin-hadoop27-scala_2.11.tgz 2.2 下载地址 http://flink.apache 阅读全文
posted @ 2017-08-28 23:36 静若清池 阅读(2429) 评论(0) 推荐(0)
Ignite Web 控制台（使用官方免费部署的控制台）
摘要：前提： 假设已安装ignite，并且安装路径为：/usr/apache-ignite-fabric-2.1.0-bin 1.下载Web Agent 打开链接：https://console.gridgain.com/configuration/advanced/clusters 2.部署Web Ag 阅读全文
posted @ 2017-08-24 23:21 静若清池 阅读(5342) 评论(0) 推荐(1)
Ignite与Spark集成时，ClassNotFoundException问题解决
摘要：参考文章：https://apacheignite-fs.readme.io/docs/installation-deployment Spark application deployment model allows dynamic jar distribution during applicat 阅读全文
posted @ 2017-08-24 14:08 静若清池 阅读(621) 评论(0) 推荐(0)
Spark2.2.0分布式集群安装（StandAlone模式）
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 二、文件准备 2.1 文件名称 spark-2.2 阅读全文
posted @ 2017-08-11 00:27 静若清池 阅读(787) 评论(0) 推荐(0)
Alluxio 1.5集群搭建
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 alluxio-1.5.0-hadoop-2.7-bin.tar.gz 2.2 下载地址 http://downloads.alluxi 阅读全文
posted @ 2017-08-08 23:30 静若清池 阅读(862) 评论(0) 推荐(0)
Spark配置参数优先级
摘要：1.Properties set directly on the SparkConf take highest precedence, 2.then flags passed to spark-submit or spark-shell, 3.then options in the spark-de 阅读全文
posted @ 2017-06-09 15:02 静若清池 阅读(3247) 评论(0) 推荐(0)
Spark术语
摘要：1.resilient distributed dataset (RDD) The core programming abstraction in Spark, consisting of a fault-tolerant collection of elements that can be ope 阅读全文
posted @ 2017-06-07 18:27 静若清池 阅读(388) 评论(0) 推荐(0)
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
摘要：参考文章：http://www.jianshu.com/p/791137760c14 运行SparkStreming程序一段时间后，发现产生了异常： 如果消息体太大了，超过 fetch.message.max.bytes=1m的默认配置，那么Spark Streaming会直接抛出OffsetOut 阅读全文
posted @ 2017-06-07 16:17 静若清池 阅读(4436) 评论(1) 推荐(0)
spark-submit参数说明--on YARN
摘要：参数名称 含义 --master MASTER_URL yarn --deploy-mode DEPLOY_MODE Driver程序运行的地方：client、cluster --class CLASS_NAME The FQCN of the class containing the main m 阅读全文
posted @ 2017-06-06 18:25 静若清池 阅读(9398) 评论(0) 推荐(0)
spark-submit参数说明--standalone
摘要：参数名称 含义 --master MASTER_URL spark://host:port --deploy-mode DEPLOY_MODE Driver程序运行的地方：client、cluster，默认是client --class CLASS_NAME 应用程序主类名称，含包名 --name 阅读全文
posted @ 2017-06-06 18:11 静若清池 阅读(1076) 评论(0) 推荐(0)
Windows下以Local模式调试SparkStreaming的WordCount例子
摘要：1.下载Windows版的NetCat https://eternallybored.org/misc/netcat/ 2.启动NetCat nc -l -p 9999 3.将SAPRK_HOME\conf\log4j.properties拷贝到项目根目录下，将“INFO”改为“ERROR”，保证只 阅读全文
posted @ 2017-05-28 22:50 静若清池 阅读(756) 评论(0) 推荐(0)
Local模式下Spark程序只输出关键信息
摘要：使用spark-submit提交local任务时，会输出很多Info信息： 可以修改log4j的日志级别，只输出关键信息： 1.修改$SPARK_HOME/conf/log4j.properties 如果有log4j.properties.template，则复制一份为log4j.propertie 阅读全文
posted @ 2017-05-26 17:13 静若清池 阅读(1475) 评论(0) 推荐(0)
Kafka0.10.2.0分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文：http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文：http:/ 阅读全文
posted @ 2017-04-10 23:52 静若清池 阅读(1195) 评论(0) 推荐(0)
Influxdb1.2.2安装
摘要：一、文件准备 1.1 文件名称 influxdb-1.2.2.x86_64.rpm 1.2 下载地址 https://portal.influxdata.com/downloads 【注意、注意、注意】下载时可能需要FanQiang 二、工具准备 2.1 Xshell 一个强大的安全终端模拟软件，它 阅读全文
posted @ 2017-04-08 07:21 静若清池 阅读(2495) 评论(0) 推荐(0)
Grafana4.2安装
摘要：一、文件准备 1.1 文件名称 grafana-4.2.0-1.x86_64.rpm 1.2 下载地址 https://grafana.com/grafana/download 二、工具准备 2.1 Xshell 一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Wi 阅读全文
posted @ 2017-04-06 14:10 静若清池 阅读(4470) 评论(0) 推荐(0)
Zookeeper3.4.9分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 zookeeper-3.4.9.tar.gz 2.2 下载地址 http://apache.fayea.com/zookeeper/ 三 阅读全文
posted @ 2017-04-06 12:20 静若清池 阅读(2175) 评论(1) 推荐(0)
Spark2.1.0分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文：http://ww 阅读全文
posted @ 2017-03-27 09:15 静若清池 阅读(6400) 评论(0) 推荐(0)
Hadoop2.7.3分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 hadoop-2.7.3.tar.gz 2.2 下载地址 http://hadoop.apache.org/releases.html 阅读全文
posted @ 2017-03-27 09:00 静若清池 阅读(6266) 评论(0) 推荐(0)
Linux下Scala（2.12.1）安装
摘要：一、文件准备 1.1 文件名称 scala-2.12.1.tgz 1.2 下载地址 http://www.scala-lang.org/download/2.12.1.html 二、工具准备 2.1 Xshell 一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Wi 阅读全文
posted @ 2017-03-26 22:42 静若清池 阅读(4590) 评论(0) 推荐(0)
Linux下安装Java（JDK8）
摘要：一、文件准备 1.1 文件名称 jdk-8u121-linux-x64.tar.gz 1.2 下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 二、工具准备 2.1 Xsh 阅读全文
posted @ 2017-03-26 18:12 静若清池 阅读(130772) 评论(1) 推荐(2)

上一页 1 2