摘要： 0.绪论之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的：当我搭建的过程中，发现这些东西是这样的：对于初学者来说，我认为缺点如下：1.需要控制，配置的东西太多，并且配置对应并不... 阅读全文

摘要： 本章主要从整体层面了解Scala中的类层级关系。一、Scala的类层级 在Java中Object类是所有类的最终父类，其他所有类都直接或间接的继承了Object类。在Scala中所有类的最终父类为Any类，所以Any类中的所有方法都可以在Scala中任意类中使用。但是这并不是... 阅读全文

摘要： 本章主要讲解在Scala中如何使用函数值来自定义新的控制结构，并且介绍Curring和By-name参数的概念。一、减少重复代码1、重复代码的场景描述 前面定义的函数，将实现某功能的代码封装到一起形成一个特定功能的代码块。那么，正常情况下，各函数之间有可能会有部分逻辑是相同的... 阅读全文

摘要： 之前也试过vitamio这个库，后来不知道被什么事情给耽搁了，就没继续下去。近来觉得视频还是需要学习一下的，谁让直播那么火呢，就想着写一个简单的视频播放的app先吧。好了那就开始吧，暂时取名为JPlayer，后续慢慢改进，源码也在github上（https://github.c... 阅读全文

摘要： 突然看到去年找的关于《理想工作环境》的相关资料，现在贴出来分享给大家。这个源于一个面试题， 忘了是哪家公司问我，你心中理想的工作环境是怎样的，我一时语塞，甚至从来没有考虑过这样的问题。理想的工作环境？！能有人要我就非常不错了，后来还是找了非常多的资料总结了总结。因为准备面试所以也找... 阅读全文

摘要： 当程序的代码量增大时，就需要对各功能模块进行分割，这些分割的小模块就是本文中接下来会进行分析的函数。接下来的部分会讲解包括函数嵌套，函数字面量，以及函数值等概念。一、方法 一会函数一会方法的，是不是有点晕？严格来说，任何方法都是一个函数，只不过我们称呼那些写在类定义中的某个对... 阅读全文

摘要： 所谓的内建控制结构是指编程语言中可以使用的一些代码控制语法，如Scala中的if, while, for, try, match, 以及函数调用等。需要注意的是，Scala几乎所有的内建控制结构都会返回一个值，这是由于函数式编程语言被认为是计算值的过程，所以作为函数式编程语言的... 阅读全文

摘要： 最近做一些集群的测试的工作，做服务器测试最根本就是要安装系统，曾经我们用十几个光驱并行安装光驱的日子过去了，自从有了pxe一两天搭建好一个集群不是梦！当然做多了集群的搭建工作最多的感受就是，其实运维工作谁都能做，关键是效率高不高的问题，pxe装机这个东西就是能极高提升我们效率的工具... 阅读全文

摘要： 根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transform... 阅读全文

摘要： 在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示 要解决这个问题，主要是要正确设置好log4j文件，本文主要分析如何在local模式下，将Spark的INFO信息... 阅读全文