2019年2月25日
JAVA反射创建DataFrame（方式一，已知数据类型）
摘要： package sparkSql.方法1创建DataFrame;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkC 阅读全文
posted @ 2019-02-25 22:04 VIP8cnbl 阅读(1333) 评论(0) 推荐(0)
2019年2月21日
需求：在一定时间方位内，求出用户在所有基站停留的时长
摘要： package com.day09import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * 需求：在一定时间方位内，求出用户在所有基站停留的时长 */object JzDemo { de 阅读全文
posted @ 2019-02-21 21:34 VIP8cnbl 阅读(312) 评论(0) 推荐(0)
统计所有用户对每个学科的各个模块的访问量，取 Top2
摘要： package studentimport java.net.URLimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object StuObject { def main(args: Ar 阅读全文
posted @ 2019-02-21 21:05 VIP8cnbl 阅读(249) 评论(0) 推荐(0)
ip解析存放MySQL
摘要： package ipAndAccressimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.io.Sourcecase object EtlIp { def main 阅读全文
posted @ 2019-02-21 20:47 VIP8cnbl 阅读(501) 评论(0) 推荐(0)
2019年2月19日
spark 跑内部π值
摘要： /usr/local/spark-1.6.3/bin/spark-submit \> --class org.apache.spark.examples.SparkPi \> --master spark://node1:7077 \> --executor-memory 521m \> --tot 阅读全文
posted @ 2019-02-19 21:08 VIP8cnbl 阅读(276) 评论(0) 推荐(0)