| | | |

2020年5月2日

spark_sql_DataFromMysql_InferringSchema_SparkSqlSchema_SparkSqlToMysql_SparkStreaming_Flume_Poll

摘要： 1 package com.spark_sql 2 3 import java.util.Properties 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 object DataFromMysql { 7 def main( 阅读全文

posted @ 2020-05-02 10:13 八旗格格的家阅读(150) 评论(0) 推荐(0)

StreamFromKafka

摘要： 1 package com.demo.SparkStreamingKafka_Receiver_checkpoint 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.commo 阅读全文

posted @ 2020-05-02 10:08 八旗格格的家阅读(178) 评论(0) 推荐(0)

SparkStreaming_Flume_Poll

摘要： 1 package com.SparkStreaming_Flume_Poll 2 3 import java.net.InetSocketAddress 4 import org.apache.spark.storage.StorageLevel 5 import org.apache.spark 阅读全文

posted @ 2020-05-02 10:06 八旗格格的家阅读(152) 评论(0) 推荐(0)

北京市 country

摘要： 1 package com.demo 2 3 import org.apache.spark.sql.SQLContext 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 object Country { 7 def main(args 阅读全文

posted @ 2020-05-02 10:05 八旗格格的家阅读(173) 评论(0) 推荐(0)

2020年4月30日

SparkStreaming_Flume_Poll 流处理

摘要： 1 package com.SparkStreaming_Flume_Poll 2 3 import java.net.InetSocketAddress 4 import org.apache.spark.storage.StorageLevel 5 import org.apache.spark 阅读全文

posted @ 2020-04-30 09:35 八旗格格的家阅读(171) 评论(0) 推荐(0)

2020年4月29日

文章切分累加单词出现次数

摘要： 1 package com.zhoukao2 2 3 import org.apache.spark.{SparkConf, SparkContext} 4 5 6 object Demo3 { 7 def main(args: Array[String]): Unit = { 8 //创建spar 阅读全文

posted @ 2020-04-29 08:56 八旗格格的家阅读(179) 评论(0) 推荐(0)

2020年4月26日

考察学生学生对scala语言入门知识的理解。现在有学生若干，属性包含：姓名、性别、年龄。需要根据不同的条件对学生进行分组。

摘要： 1 package com.zk02 2 /*使用eclipse（或其他开发工具也可）创建工程(5分) 3 2）遍历studentsList，输出上述内容（5分） 4 3）创建girlList,boyList，lt18List,gt18List（5分） 5 4）遍历studentsList，把所有男阅读全文

posted @ 2020-04-26 18:38 八旗格格的家阅读(193) 评论(0) 推荐(0)

spark_sql

摘要： 1 package com.spark_sql 2 3 import java.util.Properties 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 object DataFromMysql { 7 def main( 阅读全文

posted @ 2020-04-26 18:17 八旗格格的家阅读(143) 评论(0) 推荐(0)

SparkRDD函数详解

摘要： 1 1、RDD操作详解 2 启动spark-shell 3 spark-shell --master spark://hdp-node-01:7077 4 Spark core 核心数据抽象是RDD 5 6 1.1 基本转换 7 1) map 8 map是对RDD中的每个元素都执行一个指定的函数来产阅读全文

posted @ 2020-04-26 09:03 八旗格格的家阅读(660) 评论(0) 推荐(0)

累加广播 IPLocaltion_Test保存数据库

摘要： 1 package com.day07 2 3 import org.apache.spark.{SparkConf, SparkContext} 4 5 object Leijia { 6 def main(args: Array[String]): Unit = { 7 //配置spark 8 阅读全文

posted @ 2020-04-26 09:00 八旗格格的家阅读(125) 评论(0) 推荐(0)