03 2018 档案

Spark application注册master机制
摘要：直接上Master类的代码： 代码很直白-》 1：如果是（standby）备用master节点的话那么SparkDeploySchedulerBakend注册过来后什么都不做！ 2：如果是active master的话就会根据standalone启动jar包时配置的参数（传递过来后被封装成Appli 阅读全文
posted @ 2018-03-31 13:40 soft.push("zzq") 阅读(415) 评论(0) 推荐(0)
SparkContext初始化之SparkScheduler初始化
摘要： 阅读全文
posted @ 2018-03-31 13:34 soft.push("zzq") 阅读(136) 评论(0) 推荐(0)
spark组件笔记
摘要：SparkContext 中最重要的3个组建： 1 TaskScheduler （包含两个内容，TaskSchedulerImpl和SparkDeploySchedulerBackend）-用于向Master发起请求，master通过worker节点向excuter注册，并且excuter会向Spa 阅读全文
posted @ 2018-03-30 15:00 soft.push("zzq") 阅读(199) 评论(0) 推荐(0)
scala-actor线程间通信
摘要：import scala.actors.Actor case class Msg(val info: String, act1: MyActor1) class MyActor extends Actor { def act() { loop { receive { case Msg(info, act1) => println("... 阅读全文
posted @ 2018-03-23 11:52 soft.push("zzq") 阅读(314) 评论(0) 推荐(0)
scala-协变和逆变
摘要：class GaoJi class ZhongJi extends GaoJi //协变=========================== class Card[+T] val cgaoji = new Card[GaoJi] val czhongji = new Card[ZhongJi] //协变之后Card[ZhongJi]犹如继承了Card[GaoJi] def test(c... 阅读全文
posted @ 2018-03-22 21:31 soft.push("zzq") 阅读(142) 评论(0) 推荐(0)
scala-创建泛型数组（T: Manifest）
摘要：def arrayT[T: Manifest](ary: T*): Array[T] = {//接受多个参数 val arys = new Array[T](ary.length) //初始化一个数组 for (item <- 0 until ary.length) arys(item) = ary(item) arys } arrayT(1, 2, 3) 阅读全文
posted @ 2018-03-22 21:12 soft.push("zzq") 阅读(799) 评论(0) 推荐(0)
scala-隐式转换
摘要：隐式转换发生的3种情况： 1：在调用函数时参数类型不匹配； 2：在对象调用不存在方法的时候； 3：在调用类型对象的方法但参数不匹配的时候； 隐式转换的搜索范围： 1：在当前的scala上下文范围内搜索； 2：在目标类或者原类的伴生对象中搜索； 阅读全文
posted @ 2018-03-22 20:52 soft.push("zzq") 阅读(131) 评论(0) 推荐(0)
scala-泛型
摘要：//实例化之后使用get方法必须传入相同类型的参数 class A[T](x: T) { def get(x: T) { print(x) } } var a1 = new A(1) a1.get(1) //上边界泛型实现 class Persion(name: String) { def prn = println("name:" + name) def get... 阅读全文
posted @ 2018-03-22 17:19 soft.push("zzq") 阅读(109) 评论(0) 推荐(0)
scala-模式匹配
摘要：option模式匹配： case class 模式匹配 ： list列表匹配（Nil代表结束，tail代表未知的后续元素）： 数组模式匹配： 类型模式匹配： 值匹配： 阅读全文
posted @ 2018-03-22 12:39 soft.push("zzq") 阅读(154) 评论(0) 推荐(0)
scala-LinkedList
摘要：LinkedList每隔元素乘以3： 阅读全文
posted @ 2018-03-22 10:39 soft.push("zzq") 阅读(451) 评论(0) 推荐(0)
scala-数组/列表
摘要：import scala.collection.mutable.ArrayBuffer var ary=Array(1,2,3) println(ary.mkString) println(ary(1))//取出第一个元素 println(ary.toBuffer)//转化成ArrayBuffer var aryb=ArrayBuffer(1,2,3) println(aryb.toS... 阅读全文
posted @ 2018-03-21 20:57 soft.push("zzq") 阅读(163) 评论(0) 推荐(0)
scala-高阶函数
摘要：//1类似于lambda表达式的函数直接量====================== var get = (name: String) => { println(123 + name) } get("456") //2高阶函数：func为传入的参数（String为func的参数类型，Unit为func的返回类型）====================== def get1(func:... 阅读全文
posted @ 2018-03-21 20:57 soft.push("zzq") 阅读(145) 评论(0) 推荐(0)
scala-map
摘要：import scala.collection.immutable.HashMap //immutable不可变map import scala.collection.mutable.Map //immutable可变map //1 var m1 = Map("a" -> 1, "b" -> 2) m1 += ("c" -> 3, "d" -> 4) println(m1.get("d"))... 阅读全文
posted @ 2018-03-21 20:55 soft.push("zzq") 阅读(158) 评论(0) 推荐(0)
scala语法
摘要：1:双重for循环（相当于j是i的内存循环）：for (i <-0 to n; j <-10 to 20){ println(i);println(j)} 2:单层for循环：for (i <-0 to n) print(i) 3:单层for循环（不包含上限）：for (i <-0 until n) 阅读全文
posted @ 2018-03-20 13:34 soft.push("zzq") 阅读(322) 评论(0) 推荐(0)
机器学习笔记
摘要：机器学习中分类和预测算法的评估： 1 准确性 2 速度 3健壮性 4可规模性 5可解释性 阅读全文
posted @ 2018-03-18 19:53 soft.push("zzq") 阅读(132) 评论(0) 推荐(0)
安装graphlab伤透了心，终于搞定了
摘要：为了方便研究各种机器学习算法，我想用graphlab来辅助我对后续算法的研究。所以我的目标就是安装graphlab到我的windows笔记本中。而基于python的graphlab的安装最好是采用如下步骤： 1 安装Anaconda2-4.0.0-Windows-x86_64.exe文件（需要手动下 阅读全文
posted @ 2018-03-14 21:23 soft.push("zzq") 阅读(2563) 评论(0) 推荐(0)