随笔分类 - 基础组件
摘要：哨兵模式，集群搭建参考： https://blog.csdn.net/yangshangwei/article/details/82899159 （主要看这个） https://blog.csdn.net/q649381130/article/details/79931791 https://blo
阅读全文
摘要：参考链接： https://www.cnblogs.com/momoyan/p/9614635.html https://blog.csdn.net/weixin_38441544/article/details/82853651 http://www.zhyea.com/2018/07/12/dr
阅读全文
摘要：参考：https://www.bilibili.com/video/av35882450?p=11 1.在ES中新建一个文档时， 会自动创建索引库，并根据值自动识别字段的数据类型，及dynamic mapping 2.什么是mapping 3.ES核心数据类型 ES自动识别mapping类型 区别：
阅读全文
摘要：一、概览 1.集群 2.分片 3.副本 4.数据恢复（了解即可） 5.gateway 持久化存储方式（默认存在本地） 6.discovery.zen (自动发现节点机制) （了解即可） 7.transport 传输协议（了解即可） 8.创建索引时的 settings 示例 分片数，不可修改， 副本数
阅读全文
摘要：参考教程：https://www.bilibili.com/video/av35882450?p=18 https://www.bilibili.com/video/av35882450?p=23 补充：json格式说明 1）对象模式用大括号{} { "key1":"value1", "key2":
阅读全文
摘要：参考教程：https://www.bilibili.com/video/av54043744?p=44 一、ELK 概述 E ：存储、查询 L：日志采集 K: 可视化 二、ES应用场景 1.海量数据组合条件查询 2.毫秒级或者秒级返回数据 3.搜索引擎，实时索引，实时搜索 示例：爱奇艺、京东 注意：
阅读全文
摘要：1.总结遇到的elasticsearch启动失败的几种情况及解决参考： http://www.mamicode.com/info-detail-2322576.html 2.Elasticsearch 6.8集群搭建参考： https://blog.csdn.net/guohan_solft/art
阅读全文
摘要：参考课程地址：https://www.bilibili.com/video/av65548392?p=24（哔哩哔哩视频教程） 一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数
阅读全文
摘要：一、Hadoop NameNode详解 参考： https://blog.csdn.net/lb812913059/article/details/78713634 （主要看这篇即可） https://blog.csdn.net/u010846741/article/details/52369527
阅读全文
摘要：1、初始化集群 要启动Hadoop集群，需要启动HDFS和YARN两个集群 注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作， 因为此时的HDFS在物理上还是不存在的 命令：hdfs namenode -format或hadoop namenode -format (拓展
阅读全文
摘要：集群搭建，参考： https://blog.csdn.net/qq_38617531/article/details/82892609 （只看这个即可） 高可用搭建，参考： https://blog.csdn.net/tyhawk/article/details/88887463 https://b
阅读全文
摘要：部署参考： https://www.cnblogs.com/frankdeng/p/9400627.html 原理、简介参考： https://www.cnblogs.com/frankdeng/p/9400622.html https://www.bilibili.com/video/av5452
阅读全文
摘要：参考以下两篇博客： 安装： https://www.cnblogs.com/dadonggg/p/8205302.html 详细参数讲解： https://www.jianshu.com/p/6a592d558812 1. 下载安装 kafka-manager 1.1 .下载kafka-manage
阅读全文
摘要：一、集群搭建 集群搭建参考以下四篇： 主要是第1篇即可 https://blog.csdn.net/qq_34258346/article/details/80436599 https://blog.csdn.net/u012943767/article/details/80899202 https
阅读全文
摘要：二、 ZooKeeper 的作用 1.1 配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都 是使用配置文件的方式，在代码中引入这些配置文件。当我们只有一种配置，只有一台服务 器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多， 有很多
阅读全文
摘要：linux centos6.8环境下部署zookeeper集群 转自：https://blog.51cto.com/13604100/2134669?source=dra 安装3台机器来作为zookeeper集群，3台机器的ip分别是192.168.174.7，192.168.174.8，192.1
阅读全文
摘要：工作方式 Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使
阅读全文
摘要：一、超简单。windows下，安装步骤如下： 1.官网下载node.js windows版，点击“下一步下一步”安装，安装成功后node -v 即可查看到其版本号；设置NODE_HOME的环境变量 https://www.cnblogs.com/sbj-dawn/p/8711847.html 2.下
阅读全文
摘要：2018-12-31 15:29:44 Flume 百度百科： flume（日志收集系统） Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种
阅读全文
浙公网安备 33010602011771号