摘要: 没钱买各种昂贵的云服务器, 也不想花钱租用各种网络穿透的服务, 但是又希望可以随时从外网访问自己部署的一些集群/服务/游戏环境? 阅读全文
posted @ 2022-01-11 12:35 坐井 阅读(2668) 评论(0) 推荐(0) 编辑
摘要: hadoop在启动namenode和datanode之后,两者之间是如何联动了?datanode如何向namenode注册?如何汇报数据?namenode又如何向datanode发送命令? 心跳机制基础概念 ​ 心跳就是HDFS中从节点DataNode周期性的向名字节点DataNode做汇报,汇报自 阅读全文
posted @ 2021-07-21 13:59 坐井 阅读(358) 评论(0) 推荐(0) 编辑
摘要: 执行start-dfs.sh脚本后,集群是如何启动的? 本文阅读并注释了start-dfs脚本,以及datanode的启动主要流程流程源码。 DataNode 启动流程 脚本代码分析 start-dfs.sh中启动datanode的代码: # # datanodes (using default w 阅读全文
posted @ 2021-07-15 17:37 坐井 阅读(528) 评论(0) 推荐(1) 编辑
摘要: 执行start-dfs.sh脚本后,集群是如何启动的? 本文阅读并注释了start-dfs脚本,以及namenode和datanode的启动主要流程流程源码。 阅读源码前准备 源码获取 拉取Apache Hadoop官方源码 https://github.com/apache/hadoop 用ide 阅读全文
posted @ 2021-07-09 14:49 坐井 阅读(751) 评论(0) 推荐(1) 编辑
摘要: 第一部分 大数据简介 第一节 大数据的定义 ​ 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 第二节 大数据的特点 大数据的特点可以用IBM曾经提出的“5V”来描述,如下 阅读全文
posted @ 2021-06-18 00:20 坐井 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 第一节 安装CentOS 7 安装环境: VMware虚拟机中( 建议入手正版软件哦 ) 软件安装版本以及下载地址: CentOS-7-x86_64-DVD-2009.iso 安装步骤 1.1 创建一台虚拟机 1.2 给虚拟机挂载操作系统 1.3 开启虚拟机并安装操作系统 install cento 阅读全文
posted @ 2021-06-09 00:51 坐井 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 简介 docker是什么: Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目, 它是基于 dotCloud 公司多年云服务技术的一次革新, 并于 2013 年 3 月以 Apache 2.0 授权协议开源, 主要项目代码在 GitHub 阅读全文
posted @ 2020-10-01 10:05 坐井 阅读(395) 评论(0) 推荐(1) 编辑
摘要: Map 接口大致说明(jdk11): 整体介绍: 一个将键映射到值的(key-value)对象, 键值(key)不能重复, 每个键值只能影射一个对象(一一对应). 这个接口取代了Dictionary类,后者是一个完全抽象的类,而不是一个接口。 Map接口提供了三个集合视图(Set<K> keySet 阅读全文
posted @ 2020-06-27 18:42 坐井 阅读(347) 评论(0) 推荐(0) 编辑
摘要: collection大致介绍 Collection是集合层次结构中的根接口。 集合表示一组对象。有些集合允许重复元素,有些则不允许。有些是有序的,有些是无序的。 JDK没有提供此接口的任何直接实现:它提供了更具体的子接口(如Set和List)的实现。 这个接口通常用于在需要最大通用性的地方传递和操作 阅读全文
posted @ 2020-05-28 09:31 坐井 阅读(217) 评论(0) 推荐(0) 编辑