摘要：
将所学知识整理一下，备忘。 1. Hdfs (v 2.7.3) 1.1.启动集群 注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。 1.2.启动NameNode 1.3.启动DataNode 1.4. 启动 MR的Hi 阅读全文
posted @ 2017-09-17 10:20
cauwt
阅读(980)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2017-09-13 17:36
cauwt
阅读(118)
评论(0)
推荐(0)
摘要：
一、任务描述：将本地目录~/testdata/logs.件夹下的所有.本.件通过Kafka Sink写入Kafka中的flume topic（topic名称为：flume-topic） 数据流 ~/testdata/logs -> flume -> kafka 二、版本信息： flume:1.7.0 阅读全文
posted @ 2017-09-13 16:46
cauwt
阅读(1139)
评论(0)
推荐(0)
摘要：
收集了一些关于编程语言分类的文章： 一、 作者：rainoftime链接：https://www.zhihu.com/question/19918532/answer/21647195来源：知乎 类型系统的一些概念，众说纷纭，使用上也比较乱。有些东西，甚至不好严格定义。以下算学术界的一种相对“严格” 阅读全文
posted @ 2017-09-07 07:24
cauwt
阅读(204)
评论(0)
推荐(0)
摘要：
一、安装所需要的工具 a) 下载hadoop源码 (当前最新的稳定版是2.7.4)地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.4-src.tar.gz b) 下载并解压apache-ant (centos自 阅读全文
posted @ 2017-09-05 15:15
cauwt
阅读(324)
评论(0)
推荐(0)
摘要：
在hdfs结点格式化后，集群的ID分发生变化。 此时有两个解决方案： 一、彻底重启集群 1. 停止整个集群 2. 删除出现问题的datanode上的dfs.namenode.data.dir, 此变量是在$HADOOP_CONF_DIR/下的hdfs-site.xml里定义的。 3. 重新格式化na 阅读全文
posted @ 2017-09-02 16:59
cauwt
阅读(257)
评论(0)
推荐(0)
摘要：
在配置结点地址时，不要使用服务器名称，否则会出现连不上结点的错误。 举例如下： server.1=192.168.171.78:2888:3888server.2=192.168.171.79:2888:3888server.3=192.168.171.80:2888:3888 阅读全文
posted @ 2017-09-02 16:48
cauwt
阅读(180)
评论(0)
推荐(0)
摘要：
Hadoop启动过程中，如果遇到手工ssh登录的问题，是因为之前没有配置0.0.0.0的免密登录。 解决方法： ssh-copy-id 0.0.0.0 #解决0.0.0.0的免密登录问题 ssh-copy-id master# 解决本身的免密登录问题（假设本机名为master） 阅读全文
posted @ 2017-09-02 09:34
cauwt
阅读(780)
评论(0)
推荐(0)
摘要：
1. 启动hadoop 时发现namenode 没有启动起来 出现以下错误： Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not co 阅读全文
posted @ 2017-09-02 09:28
cauwt
阅读(357)
评论(0)
推荐(0)
摘要：
在name node 上运行如下命令 hadoop dfsadmin -safemode leave 阅读全文
posted @ 2017-08-31 08:15
cauwt
阅读(753)
评论(0)
推荐(0)
浙公网安备 33010602011771号