似水流年

摘要： 日志=>flume=>kafka=>spark streaming=>hbase 日志部分 flume对接日志部分 flume-ng agent \--name exec-memory-kafka \--conf $FLUME_HOME/conf \--conf-file /home/hadoop/ 阅读全文

摘要： vim /etc/sysconfig/network 阅读全文

摘要： > nc -lk 9999 阅读全文

摘要： package com.lin.spark import org.apache.spark.sql.SparkSession object StructuredStreaming { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("S... 阅读全文

摘要： 1. 方法转化为函数 2. 集合中的每一个元素 3. 获取元组Tuple中的元素 4. 模式匹配 5. 队列 6. 导包引入的时候 7. 初始化变量 引用自：https://blog.csdn.net/qq_41455420/article/details/79440164 阅读全文

摘要： spark streaming项目 学习笔记 为什么要flume+kafka? 生成数据有高峰与低峰，如果直接高峰数据过来flume+spark/storm，实时处理容易处理不过来，扛不住压力。而选用flume+kafka添加了消息缓冲队列，spark可以去kafka里面取得数据，那么就可以起到缓冲 阅读全文

摘要： 添加log4j的jar包：可以从maven处下载：https://mvnrepository.com/artifact/log4j/log4j/1.2.17 在src目录下创建：log4j.properties: 创建测试类： 阅读全文

摘要： package com.lin.flink.stream.customPartition; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastrea... 阅读全文

摘要： #include "stdafx.h" #include using namespace std; #define MAXQSIZE 100 typedef int QElemType; typedef enum Status { success, fail, fatal, rangeerror, overflow }Status; typedef struct { QEl... 阅读全文

摘要： #include "stdafx.h" #include using namespace std; typedef int QElenType; typedef struct QNode { QElenType data; struct QNode * next; }QNode,*QNodePtr; typedef struct { QNodePtr front; ... 阅读全文