摘要：
大数据环境统一与zookeeper 一、集群环境准备 1. 三台虚拟机创建 第一种方式：通过iso镜像文件来进行安装(不推荐) 第二种方式：直接复制安装好的虚拟机文件（强烈推荐） 在课程资料里边已经提供了一个安装好的虚拟机node1（注意，为了大家以后环境的统一，尽量使用课程资料中提供的已经安装好的 阅读全文
posted @ 2020-11-06 22:55
十一vs十一
阅读(185)
评论(0)
推荐(0)
摘要：
第一章 Linux高级命令和Shell编程 1. Linux高级命令 该章节的所有操作都在/export/data/shell目录进行，请提前创建该目录. mkdir -p /export/data/shell/ 1.1. 重定向命令 1、重定向> Linux 允许将命令执行结果重定向到一个文件，本 阅读全文
posted @ 2020-11-06 22:54
十一vs十一
阅读(319)
评论(0)
推荐(0)
摘要：
一、移动光标 h,j,k,l 上，下，左，右ctrl-e 移动页面ctrl-f 上翻一页ctrl-b 下翻一页ctrl-u 上翻半页ctrl-d 下翻半页w 跳到下一个字首，按标点或单词分割W 跳到下一个字首，长跳，如end-of-line被认为是一个字e 跳到下一个字尾E 跳到下一个字尾，长跳b 阅读全文
posted @ 2020-11-06 22:50
十一vs十一
阅读(103)
评论(0)
推荐(0)
摘要：
第1章 Zabbix入门 1.1 Zabbix概述 Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。 1.2 阅读全文
posted @ 2020-11-06 16:37
十一vs十一
阅读(213)
评论(0)
推荐(0)
摘要：
第1章 电商业务简介 1.1 电商业务流程 1.2 电商常识（SKU、SPU） SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。 SPU（Standard Product Unit）：是商品信息聚合的最小单位，是一组 阅读全文
posted @ 2020-11-06 15:33
十一vs十一
阅读(486)
评论(1)
推荐(1)
摘要：
#agent1(hadoop102) netcatsource --> memorychannel --> arvosinka1.sources = r1a1.channels = c1a1.sinks = k1 a1.sources.r1.type = netcata1.sources.r1.bi 阅读全文
posted @ 2020-11-06 10:14
十一vs十一
阅读(63)
评论(0)
推荐(0)
摘要：
第1章 数仓分层1.1 为什么要分层 1.2 数据集市与数据仓库概念 1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名 DWT层命名为dwt_购物车ADS层命名为ads_表名临时表命名为xxx_tmp 阅读全文
posted @ 2020-11-06 10:13
十一vs十一
阅读(1199)
评论(0)
推荐(0)
摘要：
第1章 Presto 1.1 Presto简介 1.1.1 Presto概念 1.1.2 Presto架构 1.1.3 Presto优缺点 1.1.4 Presto、Impala性能比较 https://blog.csdn.net/u012551524/article/details/7912453 阅读全文
posted @ 2020-11-06 10:09
十一vs十一
阅读(671)
评论(0)
推荐(0)
摘要：
#agent1(hadoop102)a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 a1.sources.r1.type = execa1.sources.r1.command = tail -F /opt/module/flume/demo/1 阅读全文
posted @ 2020-11-06 09:44
十一vs十一
阅读(112)
评论(0)
推荐(0)
摘要：
查看所有topic: kafka-topics.sh --zookeeper hadoop102:2181 --list 查看具体的topic : kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first 创建topic 阅读全文
posted @ 2020-11-06 09:39
十一vs十一
阅读(105)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2020-11-06 09:38
十一vs十一
阅读(62)
评论(0)
推荐(0)
摘要：
a1.sources=r1a1.channels=c1a1.sinks=k1 a1.sources.r1.type=TAILDIR#该文件中记录了source读取到的内容的位置#注意：一旦该文件丢失那么source后从该文件的开始位置重新读a1.sources.r1.positionFile = / 阅读全文
posted @ 2020-11-06 09:35
十一vs十一
阅读(184)
评论(0)
推荐(0)
摘要：
#a1是agent的名字#定义的source,channel,sink的个数可以是多个，中间用空格隔开#定义的名字可以随便起建议大家和官网的案例一致，方便后续查阅#定义sourcea1.sources = r1#定义channela1.channels = c1#定义sinka1.sinks = k 阅读全文
posted @ 2020-11-06 09:34
十一vs十一
阅读(98)
评论(0)
推荐(0)
摘要：
一 Flume版本 Flume大的版本分为0.9之前和0.9之后 0.9之前 ： flume og 0.9之后 ： flume ng 二 flume运行agent的命令 flume-ng --name agent的名字 --conf 配置文件的目录 --conf-file agent的配置文件（自己 阅读全文
posted @ 2020-11-06 09:33
十一vs十一
阅读(86)
评论(0)
推荐(0)
摘要：
a1.sources = r1a1.channels = c1a1.sinks = k1 a1.sources.r1.type = netcata1.sources.r1.bind = hadoop102a1.sources.r1.port = 44444#设置一个拦截器（用来向headers中添加 阅读全文
posted @ 2020-11-06 09:32
十一vs十一
阅读(51)
评论(0)
推荐(0)
摘要：
一 Flume版本 Flume大的版本分为0.9之前和0.9之后 0.9之前 ： flume og 0.9之后 ： flume ng 二 flume运行agent的命令 1.第一种方式 flume-ng agent --name agent的名字 --conf 配置文件的目录 --conf-file 阅读全文
posted @ 2020-11-06 09:30
十一vs十一
阅读(62)
评论(0)
推荐(0)
摘要：
#1.自定义agent的名字source,channel,sink组件a2.sources = r2a2.channels = c2a2.sinks = k2 #2.设置source的类型和配置a2.sources.r2.type = execa2.sources.r2.command = tail 阅读全文
posted @ 2020-11-06 09:29
十一vs十一
阅读(104)
评论(0)
推荐(0)
摘要：
#1.自定义agent的名字source,channel,sink组件a2.sources = r2a2.channels = c2a2.sinks = k2 #2.设置source的类型和配置a2.sources.r2.type = execa2.sources.r2.command = tail 阅读全文
posted @ 2020-11-06 09:28
十一vs十一
阅读(104)
评论(0)
推荐(0)
摘要：
#a1是agent的名字#定义的source,channel,sink的个数可以是多个，中间用空格隔开#定义的名字可以随便起建议大家和官网的案例一致，方便后续查阅#定义sourcea1.sources = r1#定义channela1.channels = c1#定义sinka1.sinks = k 阅读全文
posted @ 2020-11-06 09:26
十一vs十一
阅读(91)
评论(0)
推荐(0)
摘要：
第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1.3 数据结构 1.4 应用场景 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 1.5 下载地址 1） 阅读全文
posted @ 2020-11-06 09:24
十一vs十一
阅读(151)
评论(0)
推荐(0)
浙公网安备 33010602011771号