技术研究与问题解决

2019年6月22日

hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, Hbase, Hive, ZooKeeper:

摘要：所有端口协议均基于TCP。阅读全文

posted @ 2019-06-22 16:45 技术研究与问题解决阅读(192) 评论(0) 推荐(0)

hadoop3.1.1高可用集群web端口9870

摘要：阅读全文

posted @ 2019-06-22 16:41 技术研究与问题解决阅读(1863) 评论(0) 推荐(0)

ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

摘要：将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数 HDFS_NAMENODE_USER=root HDFS_DATANODE_USER=root HDFS_SECONDARYNAMENODE_USER=root YARN_RESOURCEMANAGER_USER=root 阅读全文

posted @ 2019-06-22 16:29 技术研究与问题解决阅读(2934) 评论(0) 推荐(0)

spark 在启动的时候出现JAVA_HOME not set

摘要：解决方法：在sbin目录下的spark-config.sh 中添加对应的jdk 路径，然后使用scp -r 命令复制到各个worker节点阅读全文

posted @ 2019-06-22 09:57 技术研究与问题解决阅读(641) 评论(0) 推荐(0)

Linux修改主机名称

摘要：碰到这个问题的时候，是在安装Zookeeper集群的时候，碰到如下问题这里猜想到是主机的地址没有配对，网上给了方案是重新设置linux的主机名。 Step1：查看当前的主机名这里的主机名是sxl133，如果没有设置，则是localhost.localdomain，这是linux默认的主机名。 S 阅读全文

posted @ 2019-06-22 09:06 技术研究与问题解决阅读(236) 评论(0) 推荐(0)

2019年6月21日

Tachyon---基于内存的分布式存储系统

摘要： Tachyon是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架（如Apache Spark，Hadoop MapReduce, Apache Flink等）提供可靠的内存级的数据共享服务。此外，Tachyon还能够整合众多现有的存储阅读全文

posted @ 2019-06-21 14:32 技术研究与问题解决阅读(591) 评论(0) 推荐(0)

2019年6月19日

机器学习中的基本数学知识

摘要：机器学习中的基本数学知识注：本文的代码是使用Python 3写的。机器学习中的基本数学知识线性代数（linear algebra）第一公式矩阵的操作换位(transpose) 矩阵乘法矩阵的各种乘积内积外积元素积(element-wise product/point-wise p 阅读全文

posted @ 2019-06-19 18:06 技术研究与问题解决阅读(570) 评论(0) 推荐(0)

Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用

摘要：前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。本文的目标阅读全文

posted @ 2019-06-19 17:43 技术研究与问题解决阅读(351) 评论(0) 推荐(0)

Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用

摘要：前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。本文的目标阅读全文

posted @ 2019-06-19 17:42 技术研究与问题解决阅读(426) 评论(0) 推荐(0)

Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用

摘要： Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用阅读全文

posted @ 2019-06-19 17:41 技术研究与问题解决阅读(104) 评论(0) 推荐(0)

公告