soft.push("zzq")

SparkConf sparkConf = new SparkConf() // .setMaster("local") .setAppName("DataFrameTest1"); JavaSparkContext javaSparkContext = new JavaSparkContext(sparkC... Read More

文本文件的内容： 由上述代码可以看出，KK是一个实体类型并且可序列化（Serializable）！ Read More

-》》》配置参数优化 SparkConf sc = new SparkConf().setAppName("com.sp.test.GroupTop3").setMaster("local") .set("spark.shuffle.consolidateFiles", "true")//优化1：开启shuffleGroup，避免shuffleMapTask创... Read More

直接上Master类的代码： 代码很直白-》 1：如果是（standby）备用master节点的话那么SparkDeploySchedulerBakend注册过来后什么都不做！ 2：如果是active master的话就会根据standalone启动jar包时配置的参数（传递过来后被封装成Appli Read More

Read More

SparkContext 中最重要的3个组建： 1 TaskScheduler （包含两个内容，TaskSchedulerImpl和SparkDeploySchedulerBackend）-用于向Master发起请求，master通过worker节点向excuter注册，并且excuter会向Spa Read More

import scala.actors.Actor case class Msg(val info: String, act1: MyActor1) class MyActor extends Actor { def act() { loop { receive { case Msg(info, act1) => println("... Read More

class GaoJi class ZhongJi extends GaoJi //协变=========================== class Card[+T] val cgaoji = new Card[GaoJi] val czhongji = new Card[ZhongJi] //协变之后Card[ZhongJi]犹如继承了Card[GaoJi] def test(c... Read More

def arrayT[T: Manifest](ary: T*): Array[T] = {//接受多个参数 val arys = new Array[T](ary.length) //初始化一个数组 for (item <- 0 until ary.length) arys(item) = ary(item) arys } arrayT(1, 2, 3) Read More

隐式转换发生的3种情况： 1：在调用函数时参数类型不匹配； 2：在对象调用不存在方法的时候； 3：在调用类型对象的方法但参数不匹配的时候； 隐式转换的搜索范围： 1：在当前的scala上下文范围内搜索； 2：在目标类或者原类的伴生对象中搜索； Read More