摘要：Spark测试代码求PI的原理 原理图 代码实现 package com.core.day2 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import scala.util.Ran 阅读全文

摘要：案例六、多路复制 1、将flume复制到node1,node2 [root@master soft]# scp -r flume-1.9.0 node1:`pwd` [root@master soft]# scp -r flume-1.9.0 node2:`pwd` 2、在node1节点的/usr/ 阅读全文

摘要：1 、基础案例 案例一： 在使用之前，提供一个大致思想，使用Flume的过程是确定scource类型，channel类型和sink类型，编写conf文件并开启服务，在数据捕获端进行传入数据流入到目的地。 案例一、从控制台打入数据，在控制台显示 1、确定scource类型，channel类型和sink 阅读全文

摘要：一、Flume架构及安装 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbas 阅读全文