2020年6月9日
大数据之sparkStreaming流式处理，接受socket数据，实现单词统计并且每个批次数据结果累加
摘要： import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}import org.apach 阅读全文
posted @ 2020-06-09 20:45 潇洒哥浩浩 阅读(446) 评论(0) 推荐(0)
大数据之sparkStreming流式处理接受socket数据，实现单词统计
摘要： import org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext} /** * sparkStreming流式处理接受socket数据，实现单词统 阅读全文
posted @ 2020-06-09 20:44 潇洒哥浩浩 阅读(233) 评论(0) 推荐(0)
大数据之Spark Sql的业务实现与应用
摘要： import org.apache.spark.sql.SparkSessionobject Test1 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().master("local").appN 阅读全文
posted @ 2020-06-09 20:19 潇洒哥浩浩 阅读(261) 评论(0) 推荐(0)
linux虚拟机中zookeeper和kafka启动(创建主题,启动生产者消费者)
摘要： 在此目录下运行命令/opt/kafka_2.12-2.2.0/ 启动内置的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka服务bin/kafka-server-start.sh config/serv 阅读全文
posted @ 2020-06-09 20:06 潇洒哥浩浩 阅读(1491) 评论(0) 推荐(1)
linux虚拟机中启动服务命令大全以及常见问题解决
摘要： redis-cliredis-cli -h IP地址 -p端口号6379 解决Linux 连接mysql问题https://blog.csdn.net/ruziwang/article/details/80361700解决Linux 登录mysql密码问题https://blog.csdn.net/ 阅读全文
posted @ 2020-06-09 20:01 潇洒哥浩浩 阅读(1154) 评论(0) 推荐(0)
大数据之Spark 模拟数据(本地和kafka方式运行)
摘要： /** * 模拟数据 数据格式如下： * * 日期 卡口ID 摄像头编号 车牌号 拍摄时间 车速 道路ID 区域ID * date monitor_id camera_id car action_time speed road_id area_id * * monitor_flow_action * 阅读全文
posted @ 2020-06-09 19:49 潇洒哥浩浩 阅读(418) 评论(0) 推荐(0)
2020年6月2日
大数据之Spark Sql
摘要： 有文件如下：请使用Spark sql完成以下功能： 校区 班级 成才率 出勤率 平均分 上地 1704K 91 99 93 上海 1704G 89 99 94 上地 1601A 79 99 88 上地 1602A 69 98 78 上地 1603A 59 98 68 上地 1604A 89 98 9 阅读全文
posted @ 2020-06-02 22:26 潇洒哥浩浩 阅读(178) 评论(0) 推荐(0)
大数据之Spark RDD
摘要： 要求和代码如下开发需求：使用Spark RDD完成以下功能 案例题目描述： 给定数据字段如下： 班号 姓名 年龄 性别 科目 成绩 12 张三 25 男 chinese 50 （说明：数据在data.txt文件内。） 一共有多少个小于20岁的人参加考试？（4分） 一共有多个男生参加考试？（4分） 1 阅读全文
posted @ 2020-06-02 22:25 潇洒哥浩浩 阅读(403) 评论(0) 推荐(0)
2020年5月26日
大数据之Spark单词统计
摘要： 题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv 阅读全文
posted @ 2020-05-26 21:39 潇洒哥浩浩 阅读(712) 评论(0) 推荐(0)
大数据之自定义高阶函数并调用
摘要： 题目二：自定义高阶函数并调用（共计35分） 1）定义普通函数subFun，包含一个形参，形参是String类型，返回值是String类型（5分） 2）sunFun的功能是使用“hello”与传入的参数拼接构成新的字符串返回（5分） 3）定义高阶函数superFun，包含两个形参，第一个形参是函数类型 阅读全文
posted @ 2020-05-26 21:38 潇洒哥浩浩 阅读(375) 评论(0) 推荐(0)