BoomOoO

摘要： 1. SparkSession sparkSession可以视为sqlContext和hiveContext以及StreamingContext的结合体，这些Context的API都可以通过sparkSession使用。 创建SparkSession val spark = SparkSession 阅读全文

摘要： Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器： Timestam 阅读全文

摘要： 名词解释： 1、netcat：通过网络端口获取数据，source的实现类 2、logger：将数据显示到控制台，sink的实现类 3、memory： ，channel的实现类 4、capacity：是指channel的最大容量 5、spooldir：本地文件目录（文件夹）用来读取数据（文件） 6、f 阅读全文

摘要： 如果实例化了子类的对象，但是将其赋予了父类类型的变量， 在后续的过程中，又需要将父类类型的变量转换为子类类型的变量，应该如何做？ Ø 首先，需要使用isInstanceOf 判断对象是否为指定类的对象，如果是的话，则可以使用 asInstanceOf 将对象转换为指定类型； Ø 注意：p.isIns 阅读全文

摘要： Kafka direct 跟receiver 方式接收数据的区别? Receiver是使用Kafka的高层次Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。然而 阅读全文

摘要： AnyRef 是所有引用类型的基类。除了值类型，所有类型都继承自AnyRef 。 AnyVal AnyVal 所有值类型的基类， 它描述的是值，而不是代表一个对象。 它包括 9 个 AnyVal 子类型： scala.Double scala.Float scala.Long scala.Int s 阅读全文

摘要： 1、https://archive.apache.org/dist/zookeeper/2、上传压缩文件到集群 拖之3、解压 tar -zxvf xxx.tar.gz -C /path4、修改配置文件 进入conf目录：cd ZKHOME/conf > mv zoo_sample.cfg zoo.c 阅读全文

摘要： kafka术语 Kafka Cluster : Kafka集群 Broker: kafka集群中的所有节点（安装了kafka软件的这台节点），我们称之为broker每台broker有唯一的标识； Producer: 往kafka里面生产数据的一端，叫做produce; Consumer: 从kafk 阅读全文

摘要： Znode 节点类型： 阅读全文

摘要： project的java level 已经核实确实为8，但是IDEA里面仍然会有如下图的提示: 通过查看项目设置，发现project的java level 也是8。 然后继续检查其他模块 如modules ，发现了问题所在。 改为8就好了。 project的java level 已经核实确实为8，但 阅读全文