摘要： 1 package com.bawei.foryk 2 3 import com.bawei.util.DateTools 4 5 6 object TrafficUtil { 7 8 //根据拍照的经纬度与天安门的经纬度计算距离判断位于几环 9 def circle(x:Int,y:Int): I 阅读全文

摘要： 1 项目部署到yarn （spark on yarn）sparkstreaming打包之前检查 2 1、checkpointval checkpointPath = args(0) 3 2、3、package 4 4、上传jar包到linux 5 5、spark on yarn : hadoop f 阅读全文

摘要： 1 package com.bawei.foryk 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 7 object SparkCoreReview02 { 8 9 阅读全文

摘要： 1 package com.bawei.foryk 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serialization.StringDeserialize 阅读全文

摘要： 1 package com.bawei.foryk 2 3 import java.util.Properties 4 5 import org.apache.spark.rdd.RDD 6 import org.apache.spark.sql.{DataFrame, SparkSession} 阅读全文

摘要： 1 （二）题目描述： 2 题目一：Linux中运行一个object 打印 hello world 运行，展示效果。（5分） 3 题目二：题目一：以下是车辆监控系统出现的日志，其中格式如下 4 其中数据以此为日期,卡扣号,摄像头号 车牌号 拍照时间,车速,道路,区. 5 2019-11-19 0001 阅读全文

摘要： 1 ##### 二、启动服务 2 3 各节点执行： 4 ./kafka-server-start.sh -daemon ../config/server.properties 5 6 创建topic: 7 [root@node1 bin]# ./kafka-topics.sh --create -- 阅读全文

摘要： 1 打包运行 项目部署 startalone模式 和 yarn模式 2 1：把local 本地运行删掉 输入输出路径改为args(0) args(1) 删除左边target文件 3 顶部 bulid->bulid project 然后右侧打包package 在target下拷贝jar包到桌面上 4 阅读全文

摘要： 1 package com.xiangmu_bushu 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 object Stream_WordCount { 7 de 阅读全文

摘要： 1 package com.bawei.stream 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serialization.StringDeserializ 阅读全文