我的随笔

Spark以yarn方式运行时抛出异常

技术研究与问题解决 2019-06-22 20:09 阅读:960 评论:0 推荐:0

hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, Hbase, Hive, ZooKeeper:

技术研究与问题解决 2019-06-22 16:45 阅读:192 评论:0 推荐:0

hadoop3.1.1高可用集群web端口9870

技术研究与问题解决 2019-06-22 16:41 阅读:1863 评论:0 推荐:0

ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

技术研究与问题解决 2019-06-22 16:29 阅读:2935 评论:0 推荐:0

spark 在启动的时候出现JAVA_HOME not set

技术研究与问题解决 2019-06-22 09:57 阅读:641 评论:0 推荐:0

Linux修改主机名称

技术研究与问题解决 2019-06-22 09:06 阅读:236 评论:0 推荐:0

Tachyon---基于内存的分布式存储系统

技术研究与问题解决 2019-06-21 14:32 阅读:596 评论:0 推荐:0

机器学习中的基本数学知识

技术研究与问题解决 2019-06-19 18:06 阅读:573 评论:0 推荐:0

Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用

技术研究与问题解决 2019-06-19 17:43 阅读:352 评论:0 推荐:0

Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用

技术研究与问题解决 2019-06-19 17:42 阅读:426 评论:0 推荐:0