技术研究与问题解决

2020年3月1日

摘要： 1.k-means: https://www.naftaliharris.com/blog/visualizing-k-means-clustering/ 2.dbscan: https://www.naftaliharris.com/blog/visualizing-dbscan-clusteri 阅读全文

posted @ 2020-03-01 09:01 技术研究与问题解决阅读(185) 评论(0) 推荐(0)

2020年2月29日

向hdfs上传文件，运行程序，查看结果

摘要： 1.建立目录 hdfs dfs -mkdir -p /data/wc/input 2.上传文件 hdfs dfs -D dfs.blocksize=1048576 -put /setup/data.txt /data/wc/input 3.进入运行程序所在目录 cd /software/hadoop 阅读全文

posted @ 2020-02-29 19:44 技术研究与问题解决阅读(570) 评论(0) 推荐(0)

启动yarn集群

摘要： 1.在管理节点使用：start-yarn.sh 2.在两个resourmanager节点分别使用：yarn-daemon.sh start resourcemanager 阅读全文

posted @ 2020-02-29 19:18 技术研究与问题解决阅读(431) 评论(0) 推荐(1)

hadoop ha模式下，kill active的namenode节点后，standby的namenode节点没能自动启动

摘要：一、背景在Hadoop HA模式下，如果直接kill掉active namenode，standby namenode没有自动切换到active状态。二、问题解决步骤 1. 查看hadoop安装目录下 etc/hadoop/hadoop-root-zkfc-fang16.hadoop.com.l 阅读全文

posted @ 2020-02-29 16:25 技术研究与问题解决阅读(908) 评论(0) 推荐(0)

Hadoop2.6.5单机安装

摘要： Hadoop2.6.5单机安装阅读全文

posted @ 2020-02-29 14:09 技术研究与问题解决阅读(97) 评论(0) 推荐(0)

2020年2月28日

hadoop HA集群搭建

摘要：一、安装hadoop、HA及配置journalnode 实现namenode HA 实现resourcemanager HA namenode节点之间通过journalnode同步元数据首先下载需要版本的hadoop，我用的版本是hadoop-2.9.1 安装到5台机器上 master1 mast 阅读全文

posted @ 2020-02-28 21:21 技术研究与问题解决阅读(232) 评论(0) 推荐(0)

hadoop搭建HA集群之后不能自动切换namenode

摘要：在搭好HA集群之后，想测试一下集群的高可用性，于是先把active的namenode给停掉： hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。但是通过hdfs haadmin -getServiceState master1 查阅读全文

posted @ 2020-02-28 18:20 技术研究与问题解决阅读(967) 评论(0) 推荐(1)

hadoop集群之HDFS和YARN启动和停止命令

摘要：假如我们只有3台linux虚拟机，主机名分别为hadoop01、hadoop02和hadoop03，在这3台机器上，hadoop集群的部署情况如下： hadoop01：1个namenode，1个datanode，1个journalnode，1个zkfc，1个resourcemanager，1个nod 阅读全文

posted @ 2020-02-28 16:45 技术研究与问题解决阅读(341) 评论(0) 推荐(0)

查看CentOS7 监听端口命令

摘要：查看CentOS7 监听端口命令：ss -nal 阅读全文

posted @ 2020-02-28 16:37 技术研究与问题解决阅读(2237) 评论(0) 推荐(0)

JournalNode的作用

摘要： NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。stan 阅读全文

posted @ 2020-02-28 13:33 技术研究与问题解决阅读(651) 评论(0) 推荐(0)

公告