学习的CYT - 博客园

2022年11月29日

摘要：新建 hadoop 用户新建用户，名为 hadoop： adduser hadoop 安装一个小工具用于修改用户密码和权限管理： yum install -y passwd sudo 设置 hadoop 用户密码： passwd hadoop 接下来两次输入密码，一定要记住！修改 hadoop 阅读全文

posted @ 2022-11-29 11:20 学习的CYT 阅读(27) 评论(0) 推荐(0)

hadoop12

摘要： HDFS 配置和启动 HDFS 和数据库相似，是以守护进程的方式启动的。使用 HDFS 需要用 HDFS 客户端通过网络 (套接字) 连接到 HDFS 服务器实现文件系统的使用。在Hadoop 运行环境一章，我们已经配置好了 Hadoop 的基础环境，容器名为 hadoop_single。如果你阅读全文

posted @ 2022-11-29 11:18 学习的CYT 阅读(18) 评论(0) 推荐(0)

hadoop11

摘要：之前提到过的 Hadoop 三种模式：单机模式、伪集群模式和集群模式。单机模式：Hadoop 仅作为库存在，可以在单计算机上执行 MapReduce 任务，仅用于开发者搭建学习和试验环境。伪集群模式：此模式 Hadoop 将以守护进程的形式在单机运行，一般用于开发者搭建学习和试验环境。集群模式阅读全文

posted @ 2022-11-29 11:15 学习的CYT 阅读(16) 评论(0) 推荐(0)

hadoop10

摘要： MapReduce 概念我在 IBM 的网站上找到了一篇 MapReduce 文章，地址：https://www.ibm.com/analytics/hadoop/mapreduce 。现在我改编其中的一个 MapReduce 的处理案例来介绍 MapReduce 的原理细节以及相关概念。这是一阅读全文

posted @ 2022-11-29 11:14 学习的CYT 阅读(17) 评论(0) 推荐(0)

hadoop9

摘要： MapReduce MapReduce 的含义就像它的名字一样浅显：Map 和 Reduce (映射和规约) 。大数据处理大量数据的处理是一个典型的"道理简单，实施复杂"的事情。之所以"实施复杂"，主要是大量的数据使用传统方法处理时会导致硬件资源 (主要是内存) 不足。现在有一段文字 (真实环阅读全文

posted @ 2022-11-29 11:14 学习的CYT 阅读(16) 评论(0) 推荐(0)

hadoop8

摘要： HDFS 的节点 HDFS 运行在许多不同的计算机上，有的计算机专门用于存储数据，有的计算机专门用于指挥其它计算机储存数据。这里所提到的"计算机"我们可以称之为集群中的节点。命名节点 (NameNode) 命名节点 (NameNode) 是用于指挥其它节点存储的节点。任何一个"文件系统"(File 阅读全文

posted @ 2022-11-29 11:13 学习的CYT 阅读(43) 评论(0) 推荐(0)

hadoop7

摘要： HDFS Hadoop Distributed File System，Hadoop 分布式文件系统，简称 HDFS。 HDFS 用于在集群中储存文件，它所使用的核心思想是 Google 的 GFS 思想，可以存储很大的文件。在服务器集群中，文件存储往往被要求高效而稳定，HDFS同时实现了这两个优阅读全文

posted @ 2022-11-29 11:13 学习的CYT 阅读(21) 评论(0) 推荐(0)

hadoop6

摘要： Hadoop 整体设计 Hadoop 框架是用于计算机集群大数据处理的框架，所以它必须是一个可以部署在多台计算机上的软件。部署了 Hadoop 软件的主机之间通过套接字 (网络) 进行通讯。 Hadoop 主要包含 HDFS 和 MapReduce 两大组件，HDFS 负责分布储存数据，MapRed 阅读全文

posted @ 2022-11-29 11:12 学习的CYT 阅读(18) 评论(0) 推荐(0)

Hadoop5

摘要： Hadoop 安装下载 Hadoop Hadoop 官网地址：http://hadoop.apache.org/ Hadoop 发行版本下载：https://hadoop.apache.org/releases.html 在目前的测试中，3.1.x 与 3.2.x 版本的兼容性较佳，本教程使用 3 阅读全文

posted @ 2022-11-29 11:11 学习的CYT 阅读(28) 评论(0) 推荐(0)

Hadoop4

摘要：配置 Java 与 SSH 环境现在创建一个容器，名为 java_ssh_proto，用于配置一个包含 Java 和 SSH 的环境： docker run -d --name=java_ssh_proto --privileged centos:8 /usr/sbin/init 然后进入容器: 阅读全文

posted @ 2022-11-29 11:10 学习的CYT 阅读(28) 评论(0) 推荐(0)