随笔分类 - 大数据开发之路
摘要：2019-11-27 主节点：NameNode NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，
阅读全文
posted @ 2019-11-27 23:23
JasonPeng1
摘要：2019-11-26 17:30:00 一、HDFS的体系结构和运行原理 1、主节点：NameNode --管理维护HDFS2、从节点：DataNode --保存数据块3、第二名称节点：SecondaryNameNode --定期日志合并 二、Yarn的体系结构和运行原理：运行MapReduce的容
阅读全文
posted @ 2019-11-26 17:30
JasonPeng1
摘要：2019-11-25 23:31:59 5.1. MapReduce or Hadoop? MapReduce是一个编程框架。其描述由Google于2004年发布[http：// research.google.com/archive/mapreduce.html]。与其他框架（例如Spring，S
阅读全文
posted @ 2019-11-25 23:52
JasonPeng1
摘要：2019-11-25 22:44:42 BigData 4.1.What is Big Data? 大数据非常庞大，结构松散，无法应对传统存储 4.2. Human Generated Data and Machine Generated Data 人工生成的数据是电子邮件，文档，照片和推文。我们生
阅读全文
posted @ 2019-11-25 23:30
JasonPeng1
摘要：2019-11-25 22:13:53 GitHub:https://github.com/elephantscale/HI-labs/tree/master/hadoop-admin 作者Github:https://github.com/markkerzner 作者Github:https://
阅读全文
posted @ 2019-11-25 22:44
JasonPeng1
摘要：2019-11-25 21:18:20 转载自：https://www.zhihu.com/tardis/sogou/art/61929523 一 MySQL 基础架构分析 1.1 MySQL 基本架构概览 下图是 MySQL 的一个简要架构图，从下图你可以很清晰的看到用户的 SQL 语句在 MyS
阅读全文
posted @ 2019-11-25 21:20
JasonPeng1
摘要：2019-11-24 23:11:50 课程资料： 全分布模式 特点：真正的分布式环境，用于生产 1、三台机器：bigdata12 bigdata13 bigdata14 2、每台机器准备工作：安装JDK、关闭防火墙、设置主机名 systemctl stop firewalld.service sy
阅读全文
posted @ 2019-11-24 23:19
JasonPeng1
摘要：2019-11-24 20:24:56 1.产生密钥对： 可以看到.ssh目录下多了两个文件 2.将每台机器的公钥复制给其他机器。 3.此时再次开启Hadoop就不需要输入4次密码了 将文件放到HDFS分布式文件系统中
阅读全文
posted @ 2019-11-24 23:11
JasonPeng1
摘要：2019-11-24 11:26:52 dfs.replication 代表数据节点冗余度。 默认是3，如果只有1个数据节点则配置为1 代表默认目录 格式化后显示： 伪分布模式 特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能。配置： 需要配置的信息： hdfs-site.xml <
阅读全文
posted @ 2019-11-24 11:48
JasonPeng1
摘要：2019-11-24 11:23:48 本地模式 特点：没有HDFS，只能测试MapReduce程序（本地数据：Linux的文件）配置：hadoop-env.sh 26行 export JAVA_HOME=/root/training/jdk1.8.0_144 配置 1.在Hadoop目录下找到配置
阅读全文
posted @ 2019-11-24 11:25
JasonPeng1
摘要：2019-11-22 23:26:26 tar命令 tar [-cxtzjvfpPN] 文件与目录参数说明：-c ：建立一个打包文件；-x ：解开一个打包文件；-t ：查看 tar包里面的文件；-z ：打包后用gzip压缩，生成.tar.gz文件；-j ：打包后用zip2压缩，生成.tar.bz2文
阅读全文
posted @ 2019-11-23 00:04
JasonPeng1
浙公网安备 33010602011771号