山上有风景

摘要： 前提： 在spark环境下，当我们传递一个操作（例如：map,reduce）的函数到远程多个节点上进行运行时，各个节点都需要使用到该函数中的变量。如果变量比较大，如何下发这些变量呢？如果我们使用下面的方式，进行数据下发： 即将变量从Driver下发到每一个执行的task中。 例如：50个execut 阅读全文

摘要： 流规则组成：每条流规则由一系列字段组成，分为基本字段、条件字段和动作字段三部分 一：基本字段 基本字段包括生效时间duration_sec、所属表项table_id、优先级priority、处理的数据包数n_packets，空闲超时时间idle_timeout等，空闲超时时间idle_timeout 阅读全文

摘要： http://www.openvswitch.org/support/dist-docs/ovs-vsctl.8.txt 转载自：https://blog.csdn.net/rocson001/article/details/73163041 推荐使用mininet模拟环境进行命令操作，例如：不同于 阅读全文

摘要： 参考：https://www.cnblogs.com/qingyunzong/p/8945933.html 一：Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与Cluste 阅读全文

摘要： 一：RDD简介 （一）RDD概念 RDD（Resilient Distributed DataSet），弹性分布式数据集，是Spark中最基本，也是最重要的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知度调度和可伸缩性。RDD允许用户在 阅读全文

摘要： 转载自：https://www.cnblogs.com/qingyunzong/p/8886338.html 一：Spark简介 （一）Spark介绍 spark是用于大规模数据处理的统一分析引擎。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计 阅读全文

摘要： 一：Scala函数式编程 （一）匿名函数 object ClassTest{ def main(args:Array[String]):Unit={ var func = (x:Int)=> { //或者直接(x:Int)=>x+3 x+3 } println(func(3)) } } 匿名函数返回 阅读全文

摘要： 补充：Scala中class和object区别 （一）class calss scala编译器会字段帮我们生产一个私有字段和2个公有方法get和set scala 中没有 static 关键字，所以 对于一个class来说，所有的方法和成员变量在实例被 new 出来之前都是无法访问的 因此在clas 阅读全文

摘要： 一：Scala安装 （一）Scala学习之路 （一）Scala的安装 补充：下载速度慢，可以使用百度云等软件进行下载（将https改为http即可下载） （二）命令行测试使用 （三）eclipse安装scala创建 https://baijiahao.baidu.com/s?id=165923977 阅读全文

摘要： 一：flume简介及安装 Flume学习笔记：Flume的安装与基础应用 Flume学习之路 （一）Flume的基础介绍 Flume学习笔记：Flume集群的Avro RPC实现 Flume学习之路 （二）Flume的Source类型 Flume学习之路 （三）Flume的配置方式 flume拦截器 阅读全文