会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
山上有风景
周围的人都比你厉害,你才会慢慢变强
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
14
15
16
17
18
19
20
21
22
···
71
下一页
2020年3月29日
Spark共享变量---广播变量
摘要: 前提: 在spark环境下,当我们传递一个操作(例如:map,reduce)的函数到远程多个节点上进行运行时,各个节点都需要使用到该函数中的变量。如果变量比较大,如何下发这些变量呢?如果我们使用下面的方式,进行数据下发: 即将变量从Driver下发到每一个执行的task中。 例如:50个execut
阅读全文
posted @ 2020-03-29 19:55 山上有风景
阅读(899)
评论(0)
推荐(0)
2020年3月26日
OpenFlow 流表组成
摘要: 流规则组成:每条流规则由一系列字段组成,分为基本字段、条件字段和动作字段三部分 一:基本字段 基本字段包括生效时间duration_sec、所属表项table_id、优先级priority、处理的数据包数n_packets,空闲超时时间idle_timeout等,空闲超时时间idle_timeout
阅读全文
posted @ 2020-03-26 13:46 山上有风景
阅读(4717)
评论(8)
推荐(0)
OVS常用命令
摘要: http://www.openvswitch.org/support/dist-docs/ovs-vsctl.8.txt 转载自:https://blog.csdn.net/rocson001/article/details/73163041 推荐使用mininet模拟环境进行命令操作,例如:不同于
阅读全文
posted @ 2020-03-26 10:49 山上有风景
阅读(3640)
评论(0)
推荐(1)
2020年3月17日
Spark基本概念
摘要: 参考:https://www.cnblogs.com/qingyunzong/p/8945933.html 一:Spark中的基本概念 (1)Application:表示你的应用程序 (2)Driver:表示main()函数,创建SparkContext。由SparkContext负责与Cluste
阅读全文
posted @ 2020-03-17 22:30 山上有风景
阅读(786)
评论(0)
推荐(0)
2020年3月15日
Spark之RDD(含Java运行环境配置)
摘要: 一:RDD简介 (一)RDD概念 RDD(Resilient Distributed DataSet),弹性分布式数据集,是Spark中最基本,也是最重要的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知度调度和可伸缩性。RDD允许用户在
阅读全文
posted @ 2020-03-15 21:08 山上有风景
阅读(1309)
评论(0)
推荐(1)
2020年3月14日
Spark简介及安装
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8886338.html 一:Spark简介 (一)Spark介绍 spark是用于大规模数据处理的统一分析引擎。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计
阅读全文
posted @ 2020-03-14 21:54 山上有风景
阅读(965)
评论(0)
推荐(0)
2020年3月11日
Scala编程进阶
摘要: 一:Scala函数式编程 (一)匿名函数 object ClassTest{ def main(args:Array[String]):Unit={ var func = (x:Int)=> { //或者直接(x:Int)=>x+3 x+3 } println(func(3)) } } 匿名函数返回
阅读全文
posted @ 2020-03-11 14:14 山上有风景
阅读(422)
评论(0)
推荐(0)
2020年3月10日
Scala面向对象
摘要: 补充:Scala中class和object区别 (一)class calss scala编译器会字段帮我们生产一个私有字段和2个公有方法get和set scala 中没有 static 关键字,所以 对于一个class来说,所有的方法和成员变量在实例被 new 出来之前都是无法访问的 因此在clas
阅读全文
posted @ 2020-03-10 10:01 山上有风景
阅读(310)
评论(0)
推荐(0)
2020年3月9日
Scala基础
摘要: 一:Scala安装 (一)Scala学习之路 (一)Scala的安装 补充:下载速度慢,可以使用百度云等软件进行下载(将https改为http即可下载) (二)命令行测试使用 (三)eclipse安装scala创建 https://baijiahao.baidu.com/s?id=165923977
阅读全文
posted @ 2020-03-09 21:54 山上有风景
阅读(249)
评论(0)
推荐(0)
flume简介安装及高可用集群部署
摘要: 一:flume简介及安装 Flume学习笔记:Flume的安装与基础应用 Flume学习之路 (一)Flume的基础介绍 Flume学习笔记:Flume集群的Avro RPC实现 Flume学习之路 (二)Flume的Source类型 Flume学习之路 (三)Flume的配置方式 flume拦截器
阅读全文
posted @ 2020-03-09 15:20 山上有风景
阅读(3390)
评论(1)
推荐(2)
上一页
1
···
14
15
16
17
18
19
20
21
22
···
71
下一页
公告