IT备忘录

摘要： 一、流 动态产生无穷多的数据，末尾元素遵循lazy规则 object StreamDemo { //生成流的方法 def numStream(n: BigInt): Stream[BigInt] = n #:: numStream(n + 1) def main(args: Array[String 阅读全文

摘要： JDK 的元 Annotation 用于修饰其他 Annotation 定义 JDK5.0提供了4个标准的meta-annotation类型，分别是： @Retention @Target @Documented @Inherited @Retention: 只能用于修饰一个 Annotation 阅读全文

摘要： 准备工作，创建工程，添加jar <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1</version> </dependency> 一、udf函数 1.编写 阅读全文

摘要： 一、redis sink 对应jar包 <dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version> </depe 阅读全文

摘要： 作用：从文件中cut出需要的文本内容 参数： 选项参数 g功能 -f fields，列号，提取第几列 -d delimiter，分割符，按照指定分割符分割列 文件内容： [root@VM_0_8_centos data]# cat cut.txt shen guang zhen zhou wo wo 阅读全文

摘要： 1.map映射 // 映射 val data1 = List[String]("abc", "ade", "xyz") //map 映射 val list1 = data1.map(data => data.toUpperCase) println(list1) //List(ABC, ADE, X 阅读全文

摘要： 实现kafka进，kafka出的流程。 代码： object KafkaTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.se 阅读全文

摘要： 1.拆分流 代码片段： val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val streamFromFile = env.readTextFile("C:\\Users\\Mi\\D 阅读全文

摘要： 核心代码： object TransformTest { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1 阅读全文

摘要： 1.无参方法，加不加都可以执行。因为都可以执行，所以遇到不想它执行时，比如函数作为参数传递时，可以加上下划线 _ object FuncProgrammingDemo { def main(args: Array[String]): Unit = { myPrint //hello myPrint( 阅读全文