会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
天天天蓝蓝调调
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
4
5
6
···
8
下一页
2020年1月30日
【基础组件11】hdfs与hbase
摘要: 参考课程地址:https://www.bilibili.com/video/av65548392?p=24(哔哩哔哩视频教程) 一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改(需要把文件下载下来,改完,再上传上去)、查 hbase 是支持海量数据存储的NoSql数
阅读全文
posted @ 2020-01-30 18:06 天天天蓝蓝调调
阅读(1761)
评论(0)
推荐(0)
2020年1月22日
【基础组件10】hadoop拓展(三)NameNode工作机制
摘要: 一、Hadoop NameNode详解 参考: https://blog.csdn.net/lb812913059/article/details/78713634 (主要看这篇即可) https://blog.csdn.net/u010846741/article/details/52369527
阅读全文
posted @ 2020-01-22 09:23 天天天蓝蓝调调
阅读(326)
评论(0)
推荐(0)
2020年1月21日
【基础组件9】hadoop入门(二)启动节点、集群、hdfs查看文件系统、清数据
摘要: 1、初始化集群 要启动Hadoop集群,需要启动HDFS和YARN两个集群 注意:首次启动HDFS时,必须对其进行格式化操作。本质上是一些清理和准备工作, 因为此时的HDFS在物理上还是不存在的 命令:hdfs namenode -format或hadoop namenode -format (拓展
阅读全文
posted @ 2020-01-21 16:32 天天天蓝蓝调调
阅读(441)
评论(0)
推荐(0)
【基础组件8】hadoop入门(一)集群搭建/ HDFS-HA高可用搭建
摘要: 集群搭建,参考: https://blog.csdn.net/qq_38617531/article/details/82892609 (只看这个即可) 高可用搭建,参考: https://blog.csdn.net/tyhawk/article/details/88887463 https://b
阅读全文
posted @ 2020-01-21 16:02 天天天蓝蓝调调
阅读(257)
评论(0)
推荐(0)
【基础组件7】flink入门(一)集群搭建、实时数据处理
摘要: 部署参考: https://www.cnblogs.com/frankdeng/p/9400627.html 原理、简介参考: https://www.cnblogs.com/frankdeng/p/9400622.html https://www.bilibili.com/video/av5452
阅读全文
posted @ 2020-01-21 14:48 天天天蓝蓝调调
阅读(494)
评论(0)
推荐(0)
【基础组件6】kafkamanager安装部署+详细参数讲解+使用教程
摘要: 参考以下两篇博客: 安装: https://www.cnblogs.com/dadonggg/p/8205302.html 详细参数讲解: https://www.jianshu.com/p/6a592d558812 1. 下载安装 kafka-manager 1.1 .下载kafka-manage
阅读全文
posted @ 2020-01-21 14:14 天天天蓝蓝调调
阅读(481)
评论(0)
推荐(0)
2020年1月20日
【基础组件5】kafka入门(一)集群搭建+常用命令+基本原理+存储分析
摘要: 一、集群搭建 集群搭建参考以下四篇: 主要是第1篇即可 https://blog.csdn.net/qq_34258346/article/details/80436599 https://blog.csdn.net/u012943767/article/details/80899202 https
阅读全文
posted @ 2020-01-20 16:49 天天天蓝蓝调调
阅读(209)
评论(0)
推荐(0)
【基础组件4】zookeeper 入门(二)管理集群信息、元数据、节点信息
摘要: 二、 ZooKeeper 的作用 1.1 配置管理 在我们的应用中除了代码外,还有一些就是各种配置。比如数据库连接等。一般我们都 是使用配置文件的方式,在代码中引入这些配置文件。当我们只有一种配置,只有一台服务 器,并且不经常修改的时候,使用配置文件是一个很好的做法,但是如果我们配置非常多, 有很多
阅读全文
posted @ 2020-01-20 14:44 天天天蓝蓝调调
阅读(522)
评论(0)
推荐(0)
【基础组件3】zookeeper入门(一)centos6.8环境下部署zookeeper集群
摘要: linux centos6.8环境下部署zookeeper集群 转自:https://blog.51cto.com/13604100/2134669?source=dra 安装3台机器来作为zookeeper集群,3台机器的ip分别是192.168.174.7,192.168.174.8,192.1
阅读全文
posted @ 2020-01-20 14:01 天天天蓝蓝调调
阅读(189)
评论(0)
推荐(0)
【基础组件2】Flume入门(二)Agent
摘要: 工作方式 Flume-og采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据,ZooKeeper本身可保证配置数据的一致性和高可用,另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master间使
阅读全文
posted @ 2020-01-20 13:28 天天天蓝蓝调调
阅读(410)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
···
8
下一页
公告