2016年1月6日

摘要: 搭建集成hadoop spark 集群环境,并开发第一个hadoop spark程序Spark+Tachyon+HDFSTachyon是基于内存的分布式文件系统,可以屏蔽下层的不同的数据源Spark和Tachyon都是伯克利大学开发Tachyon 是JAVA写的1.关于虚拟机与Linux笔记本加2条... 阅读全文
posted @ 2016-01-06 23:32 阿文的大数据之路 阅读(125) 评论(0) 推荐(0)
摘要: 内容:函数式编程函数可以作为函数的返回值和参数集合的函数式编程特别重要1.函数可以复值给变量,函数名称+空格+下划线def fun1(name:String){println(name)val fun1_v=fun1 _fun1_v("Spark") ,输出Spark2.匿名函数val fun2=... 阅读全文
posted @ 2016-01-06 23:32 阿文的大数据之路 阅读(141) 评论(0) 推荐(0)
摘要: class HiScala{private var name="Spark"def sayName(){println(name)}def getName=name}val scal=new HiScala 还有其他形式scal.sayName 同 scal.sayName()class HiSca... 阅读全文
posted @ 2016-01-06 23:31 阿文的大数据之路 阅读(165) 评论(0) 推荐(0)
摘要: 授课总结阶段划分:第一阶段,所有讲解知识点都是集合具体实战第二阶段,千万实例项目讲解,价值百万,掌握相关技术后就能精通偶年薪百万精度Spark各种环境,内核原理,运行机制非常熟悉,碰上故障知道原因、解决,擅长性能优化策底掌握一个大型大数据项目,涉及课程后每次都完成作业,才能得到这个项目的全部源码。第... 阅读全文
posted @ 2016-01-06 23:31 阿文的大数据之路 阅读(178) 评论(0) 推荐(0)

导航