阿文的大数据之路

摘要： 彻底实战IntelliJ IDEA 下的Spark程序开发下载IntelliJ IDEA 下载gitSpark源码下载:git clone git://github.com/apache/spark.git导入maven 工程IntelliJ IDEA 启动的向导中Sacal下载需要下载，这是IDE... 阅读全文

摘要： 搭建集成hadoop spark 集群环境，并开发第一个hadoop spark程序Spark+Tachyon+HDFSTachyon是基于内存的分布式文件系统，可以屏蔽下层的不同的数据源Spark和Tachyon都是伯克利大学开发Tachyon 是JAVA写的1.关于虚拟机与Linux笔记本加2条... 阅读全文

摘要： 内容：函数式编程函数可以作为函数的返回值和参数集合的函数式编程特别重要1.函数可以复值给变量，函数名称+空格+下划线def fun1(name:String){println(name)val fun1_v=fun1 _fun1_v("Spark") ，输出Spark2.匿名函数val fun2=... 阅读全文

摘要： class HiScala{private var name="Spark"def sayName(){println(name)}def getName=name}val scal=new HiScala 还有其他形式scal.sayName 同 scal.sayName()class HiSca... 阅读全文

摘要： 授课总结阶段划分：第一阶段，所有讲解知识点都是集合具体实战第二阶段，千万实例项目讲解，价值百万，掌握相关技术后就能精通偶年薪百万精度Spark各种环境，内核原理，运行机制非常熟悉，碰上故障知道原因、解决，擅长性能优化策底掌握一个大型大数据项目，涉及课程后每次都完成作业，才能得到这个项目的全部源码。第... 阅读全文

摘要： 之前未习惯发布学习心德博文，后续会采用这种方式发布学习心得，希望能够很好的督促自己。计划会按scala,Hadoop,Spark的顺序去学习。刚学scala的时候，眼前一亮，这语法跟python,java很像啊，刚好两者很熟悉，偷笑，后面果然学的得心应手。今天就不发表具体的技术内容。反正王学林老师的... 阅读全文

摘要： 有人平平淡淡一生，有人每日充满激情，无关好坏，只是一种选择。有人企图拿着一根杠子，找到一个支点来撬动地球，大部分人听到后会哼之以鼻，但如果做成了呢，想想，那是多么让人热血沸腾啊，总会有让人惊讶的一天，不是吗，我想这就是梦想吧。实现梦想最重要的是什么呢，我认为是起步，是方向。我开始接触大数据的时候，是... 阅读全文