摘要：
多线程导入excel 1、pojo 类 package com.yushuang.seckill.entity; public class People { public String name; public String sex; public String phone; public Stri 阅读全文
posted @ 2022-07-07 09:18
xingmeng1
阅读(569)
评论(1)
推荐(0)
摘要：
TimeCharacteristic env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 此处可以取以下三类值： Event Time 事件时间，事件(Event)本身的时间，即数据流中事件实际发生的时间，通常使用事件发生时的时 阅读全文
posted @ 2022-04-01 09:15
xingmeng1
阅读(2154)
评论(0)
推荐(0)
摘要：
基础概念 数组：采用一段连续的存储单元来存储数据。对于指定下标的查找，时间复杂度O(1)，通过给定值进行查找，需要遍历数组，逐一比对给定关键字和数组元素，时间复杂度O(n)。 线性链表：对于链表的新增，删除等操作（在找到指定操作位置后），仅需处理节点间的引用即可，时间复杂度为O(1)，而查找操作需要 阅读全文
posted @ 2022-02-04 15:53
xingmeng1
阅读(128)
评论(0)
推荐(0)
摘要：
su - root //登入账号su - mk //切换到普通用户exit //退出q+!=不保存退出；wq=保存退出 init 0关机临时修改网卡的ip地址，重启失效ens33 overruns#ifconfig ens33+网卡名。 重启服务 #systemctl restart network 阅读全文
posted @ 2022-02-02 20:50
xingmeng1
阅读(65)
评论(0)
推荐(0)
摘要：
ssh免密登入 切换root用户 su root ① vim /etc/sudoers ②三台ip地址 ③ssh-keygen -t rsa 一直回车 ④ssh-copy-id hadoop103 从102 copy 到 103上面 阅读全文
posted @ 2022-02-02 20:44
xingmeng1
阅读(33)
评论(0)
推荐(0)
摘要：
1.1 Spark Streaming是什么 Spark Streaming 是 Spark 核心 API 的扩展, 用于构建弹性, 高吞吐量, 容错的在线数据流的流式处理程序. 总之一句话: Spark Streaming 用于流式数据的处理 数据可以来源于多种数据源: Kafka, Flume, 阅读全文
posted @ 2022-02-02 17:31
xingmeng1
阅读(195)
评论(0)
推荐(0)
摘要：
1.1 从 hive读数据 object HiveRead { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .master("local[*]") .appName("HiveRead") .e 阅读全文
posted @ 2022-02-02 17:27
xingmeng1
阅读(176)
评论(0)
推荐(0)
摘要：
1.1 从 jdbc 读数据 object JDBCRead { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .master("local[*]") .appName("JDBCRead") . 阅读全文
posted @ 2022-02-02 17:22
xingmeng1
阅读(126)
评论(0)
推荐(0)
摘要：
1.1 创建 DataFrame With a SparkSession, applications can create DataFrames from an existing RDD, from a Hive table, or from Spark data sources. 有了 Spark 阅读全文
posted @ 2022-02-02 11:41
xingmeng1
阅读(109)
评论(0)
推荐(0)
摘要：
正常情况下, 传递给 Spark 算子(比如: map, reduce 等)的函数都是在远程的集群节点上执行, 函数中用到的所有变量都是独立的拷贝. 这些变量被拷贝到集群上的每个节点上, 都这些变量的更改不会传递回驱动程序. 支持跨 task 之间共享变量通常是低效的, 但是 Spark 对共享变量 阅读全文
posted @ 2022-02-02 10:59
xingmeng1
阅读(48)
评论(0)
推荐(0)
浙公网安备 33010602011771号