随笔分类 - scala-spark
摘要：#1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/ rm -rf hdp* rm -rf HDP* #rm -rf ambari* #2.删除安装包 #用yum list installed | grep HDP来检查安装的ambari的包 yum remove -y sqoop.noarch yum remove -y lzo-devel....
阅读全文
摘要：大家好！转眼又到了经验分享的时间了。吼吼，我这里没有摘要也没有引言，只有单纯的经验分享，请见谅哦！ 言归正传，目前在大数据领域能够提供的核心计算的工具，如离线计算hadoop生态圈的mr计算模型，以及依赖mr的hive；在spark生态圈中包含spark core和spark sql。实时计算领域中
阅读全文
摘要：***这里的executor在worker上分配策略以spreadOut 为例*** 1.3版本关键点： 以上红色代码清晰的展示了在平均分配的场景下，每次会给worker分配1个core，所以说在spark-submit中如果设置了 --executor-cores属性未必起作用； 但在2.x版本的
阅读全文
摘要：SparkConf conf = new SparkConf() conf.set("spark.default.parallelism", "500")
阅读全文
摘要：//获取出每天前3的搜索词 ArrayList log = new ArrayList(); log.add("2015-10-01,leo,a1,beijing,android"); log.add("2015-10-01,leo,a1,beijing,android"); log.add("2015-10-01,tom,a1,b...
阅读全文
摘要：1 UDF对每个值进行处理； 2 UDAF对分组后的每个值处理（必须分组） UDAF实体：
阅读全文
摘要：SparkConf sparkConf = new SparkConf(); sparkConf .setAppName("Internal_Func") .setMaster("local"); JavaSparkContext javaSparkContext = new JavaSparkCo...
阅读全文
摘要：SparkConf sparkConf = new SparkConf() .setMaster("local") .setAppName("MySqlTest"); JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); ...
阅读全文
摘要：List basicList = new ArrayList(); basicList.add("{\"name\": \"zzq\",\"age\": 15}"); basicList.add("{\"name\": \"zzq1\",\"age\": 25}"); basicList.add("{\"name\": \"zzq2\",\"a...
阅读全文
摘要：SparkConf sparkConf = new SparkConf() // .setMaster("local") .setAppName("DataFrameTest1"); JavaSparkContext javaSparkContext = new JavaSparkContext(sparkC...
阅读全文
摘要：文本文件的内容： 由上述代码可以看出，KK是一个实体类型并且可序列化（Serializable）！
阅读全文
摘要：-》》》配置参数优化 SparkConf sc = new SparkConf().setAppName("com.sp.test.GroupTop3").setMaster("local") .set("spark.shuffle.consolidateFiles", "true")//优化1：开启shuffleGroup，避免shuffleMapTask创...
阅读全文
摘要：直接上Master类的代码： 代码很直白-》 1：如果是（standby）备用master节点的话那么SparkDeploySchedulerBakend注册过来后什么都不做！ 2：如果是active master的话就会根据standalone启动jar包时配置的参数（传递过来后被封装成Appli
阅读全文
摘要：
阅读全文
摘要：SparkContext 中最重要的3个组建： 1 TaskScheduler （包含两个内容，TaskSchedulerImpl和SparkDeploySchedulerBackend）-用于向Master发起请求，master通过worker节点向excuter注册，并且excuter会向Spa
阅读全文
摘要：import scala.actors.Actor case class Msg(val info: String, act1: MyActor1) class MyActor extends Actor { def act() { loop { receive { case Msg(info, act1) => println("...
阅读全文
摘要：class GaoJi class ZhongJi extends GaoJi //协变=========================== class Card[+T] val cgaoji = new Card[GaoJi] val czhongji = new Card[ZhongJi] //协变之后Card[ZhongJi]犹如继承了Card[GaoJi] def test(c...
阅读全文
摘要：def arrayT[T: Manifest](ary: T*): Array[T] = {//接受多个参数 val arys = new Array[T](ary.length) //初始化一个数组 for (item <- 0 until ary.length) arys(item) = ary(item) arys } arrayT(1, 2, 3)
阅读全文
摘要：隐式转换发生的3种情况： 1：在调用函数时参数类型不匹配； 2：在对象调用不存在方法的时候； 3：在调用类型对象的方法但参数不匹配的时候； 隐式转换的搜索范围： 1：在当前的scala上下文范围内搜索； 2：在目标类或者原类的伴生对象中搜索；
阅读全文
摘要：//实例化之后使用get方法必须传入相同类型的参数 class A[T](x: T) { def get(x: T) { print(x) } } var a1 = new A(1) a1.get(1) //上边界泛型实现 class Persion(name: String) { def prn = println("name:" + name) def get...
阅读全文
浙公网安备 33010602011771号