随笔分类 -  大数据

[异常笔记] zookeeper集群启动异常： Cannot open channel to 2 at election address ……
摘要：解决方法：本机用节点 用 0.0.0.0 IP代替主机名 阅读全文
posted @ 2019-04-12 02:14 萧哥 阅读(18688) 评论(3) 推荐(0)
[异常笔记]启动DFS报错：Cannot find configuration directory: /etc/hadoop
摘要：export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop 阅读全文
posted @ 2019-04-11 19:45 萧哥 阅读(2161) 评论(0) 推荐(0)
异常笔记：运行hdfs copyFromLocal 上传文件报错
摘要：把本地文件系统，复制到dfs文件系统时报错的错 这边出现上述问题格式化多次hadoop，导致datanode不正确，决解的办法是： 1、在hadoop数据目录下（安装目录或者自己配置的目录，根据实际情况而定）……/data/dfs/data，把里面的current文件夹删除 2、然后从新执行一下 h 阅读全文
posted @ 2019-03-23 17:58 萧哥 阅读(2199) 评论(0) 推荐(0)
异常笔记：Hadoop异常 namenode.NameNode: Encountered exception during format
摘要：因为当前用户不是root，没有设置相关目录的权限 ： chown -R hadoop:hadoop /home/hadoop sudo chmod -R a+w /usr/local/hadoop3.1.0 阅读全文
posted @ 2019-03-23 15:45 萧哥 阅读(1453) 评论(0) 推荐(0)
大数据开发入门笔记（一）- 初识大数据
摘要：HDFS概念 数据块：数据块是抽象块而非整个文件作为存储单元，一般设置为128M,备份*3 NameNode：主。管理文件系统的命名空间，存放文件元数据 维护着文件系统的所有文件和目录，文件与数据块的映射，记录每个文件中各个块所在数据节点的信息 DataNode：工作节点。存储并检索数据块，向Nam 阅读全文
posted @ 2019-03-21 23:29 萧哥 阅读(796) 评论(0) 推荐(0)
大数据开发从入门小白到删库跑路（一）- 获取Hadoop
摘要：Hadoop是一个可以通过相对简单编程模型实现跨多台计算机集群分布式处理大型数据集的框架。它不是依赖于高额成本的硬件可靠性来提供高可用性，Hadoop的设计能从单个服务器扩展到数千台机器，每个机器提供本地计算和存储。即使每个计算机都可能发生故障，但是hadoop本身具备检测和处理应用层的故障，因此在 阅读全文
posted @ 2018-05-10 23:56 萧哥 阅读(640) 评论(0) 推荐(0)