spark streaming 实战
摘要:最近在学习spark的相关知识, 重点在看spark streaming 和spark mllib相关的内容。 关于spark的配置: http://www.powerxing.com/spark-quick-start-guide/ 这篇博客写的很全面:http://www.liuhaihua.c
阅读全文
ssh 互通脚本
摘要:实现了 主机到指定机器的ssh免密码登录。 若要实现互通, 则在机器列表的每台机器上执行该脚本。 info.list 如上结构。 脚本使用expect命令,需要安装expect包,centos下使用 yum instal expect
阅读全文
scala 闭包的概念
摘要:闭包本质上是一个函数和其引用的变量的统一定义,它的返回值依赖于这个函数外部的一个或者多个变量。 这里 i是一个形参, 随着函数的调用传入不同的值 。而more是一个自由变量。 依照函数的字面量(个人理解为函数名)在运行时创建函数对象被称作闭包,通过捕获自由变量的绑定,从而对函数字面量执行的关闭动作。
阅读全文
函数式编程的两种指导理念
摘要:1. 函数是头等值。 在函数编程中,函数也是值,与整数和字符串处于同一地位。 函数可以当做参数传递给其他函数。 函数可以当作结果从函数中返回 函数可以保存在变量中 函数中可以定义其他函数, 并且可以定义匿名函数,随意插入到代码的任何位置 2. 程序的操作应该把输入值映射为输出值, 而不是就地的修改数
阅读全文