随笔分类 -  上上大数据课件

上一页 1 2 3 下一页
大数据技术之Scala
摘要：第1章 Scala入门 1.1 概述 1.1.1 为什么学习Scala 1.1.2 Scala发展历史 1.1.3 Scala和Java关系 一般来说，学Scala的人，都会Java，而Scala是基于Java的，因此我们需要将Scala和Java以及JVM之间的关系搞清楚，否则学习Scala你会蒙 阅读全文
posted @ 2020-11-07 11:10 十一vs十一 阅读(728) 评论(0) 推荐(0)
200105框架总结复习
摘要：一、Linux 1、写出常用的5个高级命令 top/ps iotop tail tar df -h find netstat crontab 2、查看端口号、查看进程、查看磁盘使用情况 、配置定时器 netstat ps -aux df -h crontab 二、Shell 1、shell的工具（知 阅读全文
posted @ 2020-11-07 10:42 十一vs十一 阅读(158) 评论(0) 推荐(0)
大数据技术之Zabbix
摘要：第1章 Zabbix入门 1.1 Zabbix概述 Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。 1.2 阅读全文
posted @ 2020-11-07 10:41 十一vs十一 阅读(350) 评论(0) 推荐(0)
大数据技术之电商数仓（6集群监控）
摘要：第1章 Zabbix入门 1.1 Zabbix概述 Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，Zabbix提供了出色的报告和数据可视化功能。 1.2 阅读全文
posted @ 2020-11-06 16:37 十一vs十一 阅读(212) 评论(0) 推荐(0)
大数据项目之电商数仓（2业务数据采集平台）V6.1.2
摘要：第1章 电商业务简介 1.1 电商业务流程 1.2 电商常识（SKU、SPU） SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。 SPU（Standard Product Unit）：是商品信息聚合的最小单位，是一组 阅读全文
posted @ 2020-11-06 15:33 十一vs十一 阅读(486) 评论(1) 推荐(1)
03-串联
摘要：#agent1(hadoop102) netcatsource --> memorychannel --> arvosinka1.sources = r1a1.channels = c1a1.sinks = k1 a1.sources.r1.type = netcata1.sources.r1.bi 阅读全文
posted @ 2020-11-06 10:14 十一vs十一 阅读(63) 评论(0) 推荐(0)
大数据项目之电商数仓（3电商数据仓库系统）V6.1.3
摘要：第1章 数仓分层1.1 为什么要分层 1.2 数据集市与数据仓库概念 1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名 DWT层命名为dwt_购物车ADS层命名为ads_表名临时表命名为xxx_tmp 阅读全文
posted @ 2020-11-06 10:13 十一vs十一 阅读(1196) 评论(0) 推荐(0)
大数据项目之电商数仓（5即席查询）
摘要：第1章 Presto 1.1 Presto简介 1.1.1 Presto概念 1.1.2 Presto架构 1.1.3 Presto优缺点 1.1.4 Presto、Impala性能比较 https://blog.csdn.net/u012551524/article/details/7912453 阅读全文
posted @ 2020-11-06 10:09 十一vs十一 阅读(669) 评论(0) 推荐(0)
04-复制和复用
摘要：#agent1(hadoop102)a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 a1.sources.r1.type = execa1.sources.r1.command = tail -F /opt/module/flume/demo/1 阅读全文
posted @ 2020-11-06 09:44 十一vs十一 阅读(112) 评论(0) 推荐(0)
kafka命令
摘要：查看所有topic: kafka-topics.sh --zookeeper hadoop102:2181 --list 查看具体的topic : kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first 创建topic 阅读全文
posted @ 2020-11-06 09:39 十一vs十一 阅读(105) 评论(0) 推荐(0)
自定义拦截器
摘要： 阅读全文
posted @ 2020-11-06 09:38 十一vs十一 阅读(62) 评论(0) 推荐(0)
01-案例4（taildirsource）
摘要：a1.sources=r1a1.channels=c1a1.sinks=k1 a1.sources.r1.type=TAILDIR#该文件中记录了source读取到的内容的位置#注意：一旦该文件丢失那么source后从该文件的开始位置重新读a1.sources.r1.positionFile = / 阅读全文
posted @ 2020-11-06 09:35 十一vs十一 阅读(184) 评论(0) 推荐(0)
02-案例一(1)
摘要：#a1是agent的名字#定义的source,channel,sink的个数可以是多个，中间用空格隔开#定义的名字可以随便起建议大家和官网的案例一致，方便后续查阅#定义sourcea1.sources = r1#定义channela1.channels = c1#定义sinka1.sinks = k 阅读全文
posted @ 2020-11-06 09:34 十一vs十一 阅读(97) 评论(0) 推荐(0)
01-文档(1)
摘要：一 Flume版本 Flume大的版本分为0.9之前和0.9之后 0.9之前 ： flume og 0.9之后 ： flume ng 二 flume运行agent的命令 flume-ng --name agent的名字 --conf 配置文件的目录 --conf-file agent的配置文件（自己 阅读全文
posted @ 2020-11-06 09:33 十一vs十一 阅读(86) 评论(0) 推荐(0)
02-拦截器 阿善没用
摘要：a1.sources = r1a1.channels = c1a1.sinks = k1 a1.sources.r1.type = netcata1.sources.r1.bind = hadoop102a1.sources.r1.port = 44444#设置一个拦截器（用来向headers中添加 阅读全文
posted @ 2020-11-06 09:32 十一vs十一 阅读(51) 评论(0) 推荐(0)
01-文档 阿善没用
摘要：一 Flume版本 Flume大的版本分为0.9之前和0.9之后 0.9之前 ： flume og 0.9之后 ： flume ng 二 flume运行agent的命令 1.第一种方式 flume-ng agent --name agent的名字 --conf 配置文件的目录 --conf-file 阅读全文
posted @ 2020-11-06 09:30 十一vs十一 阅读(62) 评论(0) 推荐(0)
03-案例二（execsource_loggersink）
摘要：#1.自定义agent的名字source,channel,sink组件a2.sources = r2a2.channels = c2a2.sinks = k2 #2.设置source的类型和配置a2.sources.r2.type = execa2.sources.r2.command = tail 阅读全文
posted @ 2020-11-06 09:29 十一vs十一 阅读(104) 评论(0) 推荐(0)
03-案例二（execsource_hdfssink） 阿善没用
摘要：#1.自定义agent的名字source,channel,sink组件a2.sources = r2a2.channels = c2a2.sinks = k2 #2.设置source的类型和配置a2.sources.r2.type = execa2.sources.r2.command = tail 阅读全文
posted @ 2020-11-06 09:28 十一vs十一 阅读(103) 评论(0) 推荐(0)
02-案例一 阿善没用
摘要：#a1是agent的名字#定义的source,channel,sink的个数可以是多个，中间用空格隔开#定义的名字可以随便起建议大家和官网的案例一致，方便后续查阅#定义sourcea1.sources = r1#定义channela1.channels = c1#定义sinka1.sinks = k 阅读全文
posted @ 2020-11-06 09:26 十一vs十一 阅读(91) 评论(0) 推荐(0)
大数据技术之Zookeeper 阿善重要 有用的在最后
摘要：第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1.3 数据结构 1.4 应用场景 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 1.5 下载地址 1） 阅读全文
posted @ 2020-11-06 09:24 十一vs十一 阅读(151) 评论(0) 推荐(0)

上一页 1 2 3 下一页