摘要: hdfs原理 namenode datanode secondnamenode 日志与元数据整合,故障恢复。 Fe 联邦, namenode 并发提供服务。 fsimageedits Checkpoint HDFS工作原理,Hub-Link,2021-10-29 | 2022-09-22 ,比较详细 阅读全文
posted @ 2022-09-12 14:44 sunzebo 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 说明 AutoIt 目前最新是v3版本,这是一个使用类似BASIC脚本语言的免费软件,它设计用于Windows GUI(图形用户界面)中进行自动化操作。它利用模拟键盘按键,鼠标移动和窗口/控件的组合来实现自动化任务。而这是其它语言不可能做到或无可靠方法实现的(例如VBScript和SendKeys) 阅读全文
posted @ 2022-07-24 16:41 sunzebo 阅读(573) 评论(0) 推荐(0) 编辑
摘要: 说明 使用chrome浏览器。 环境 windows 参考 selenium+python爬虫全流程教程 前面 的安装过程 思路 查看浏览器chrome 版本,这里是 98.0.4758.102, 去官网下载 驱动程序 安装python 依赖包 selenium,这里装完后是 4.3.0 linux 阅读全文
posted @ 2022-07-23 00:28 sunzebo 阅读(47) 评论(0) 推荐(0) 编辑
摘要: 说明 不用安装 linux 基本自带, 执行sqlite3 python3 自带安装包 import sqlite3 使用 数据库概述 单机单文件,无服务器进程,只能本地读写。无法远程。 磁盘上文件名 对应数据库,文件里的内容 包含各种表、数据等 主要用于 手机、嵌入式 关系型数据库的大多功能支持 阅读全文
posted @ 2022-07-18 23:10 sunzebo 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 说明 版本 hbase 2.3.6 安装在hadoop 上 安装 单机版 b0104 大数据集群-2021伪分布式-环境搭建 分布式 b0105 大数据集群-2021分布式A(手动3节点)-环境搭建 b0106 大数据集群-2021分布式B(服务器)-环境搭建 使用 命令行 参考 HBase She 阅读全文
posted @ 2022-07-17 14:12 sunzebo 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 说明 版本 kafka_2.133-2.80 安装 单机 b0104 大数据集群-2021伪分布式-环境搭建 分布式 b0105 大数据集群-2021分布式A(手动3节点)-环境搭建 使用 ### 启动 zkServer.sh start cd /opt/kafka_2.13-2.8.0/bin n 阅读全文
posted @ 2022-07-16 15:38 sunzebo 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 说明 环境 linux centos 7.9 当前最新 redis-7.0.2 安装 下载 从官网 https://redis.io/download/#redis-downloads 找到最新的稳定版 下载 上传到 linux环境 安装 关键过程参考 安装redis 最新版 redis-6.2.6 阅读全文
posted @ 2022-07-10 12:30 sunzebo 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 安装 说明 hc2108 centos 7.9 ,下载 linux x86_64 elasticsearch-8.3.0 jdk1.8已经装好 es 比较耗费内存,准备4G以上内存机器 过程 参考下文 Elasticsearch详细安装教程(Linux) 不一样的地方 没有创建es 用户, 用had 阅读全文
posted @ 2022-06-30 23:09 sunzebo 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 说明 mongodb 5.0.9 linux centos 7.9, hc2108, 192.168.1.10, 安装路径 /opt 安装 参考 https://www.runoob.com/mongodb/mongodb-linux-install.html 1 从 https://www.mon 阅读全文
posted @ 2022-06-27 22:40 sunzebo 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 环境 flink 1.13.2 scala 2.12 jdk8 python 3.8 hadoop 3.3.1 linux centos 7 win7 linux hc2108 ,flink 单机 , hc2107客户端 linux hc2151-hc2156 flink集群 , hc2150客户端 阅读全文
posted @ 2022-05-14 11:30 sunzebo 阅读(386) 评论(0) 推荐(0) 编辑