01 2018 档案
摘要:本文概要 1. 什么是函数式接口? 2. 如何定义函数式接口? 3. 常用的函数式接口 4. 函数式接口语法注意事项 5. 总结 1. 什么是函数式接口? 函数式接口其实本质上还是一个接口,但是它是一种特殊的接口:SAM类型的接口(Single Abstract Method),在这个接口里面只能有
阅读全文
摘要:本文概要 本文主要从以下几点阐述RDD,了解RDD 1. 什么是RDD? 2. 两种RDD创建方式 3. 向给spark传递函数Passing Functions to Spark 4. 两种操作之转换Transformations 5. 两种操作之行动Actions 6. 惰性求值 7. RDD持
阅读全文
摘要:Streams api 对 Stream 的使用就是实现一个 filter map reduce 过程,产生一个最终结果,或者导致一个副作用(side effect)。 流的操作类型分为两种: Intermediate:一个流可以后面跟随零个或多个 intermediate 操作。其目的主要是打开流
阅读全文
摘要:storm简介 Storm是一个分布式实时流式计算平台,支持水平扩展,通过追加机器就能提供并发数进而提高处理能力;同时具备自动容错机制,能自动处理进程、机器、网络等异常。 它可以很方便地对流式数据进行实时处理和分析,能运用在实时分析、在线数据挖掘、持续计算以及分布式 RPC 等场景下。Storm 的
阅读全文
摘要:简介 Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。 Protocol Buffer
阅读全文
摘要:zeromq简介 zeroMQ不是TCP,不是socket,也不是消息队列,而是这些的综合体。 ZeroMQ以嵌入式网络编程库的形式实现了一个并行开发框架(concurrency framework), 能够提供进程内(inproc)、进程间(IPC)、网络(TCP)和广播方式的消息信道, 并支持扇
阅读全文
摘要:基本概念 是什么? Maven是一个强大的Java项目构建工具。 什么是构建工具? 构建工具是将软件项目构建相关的过程自动化的工具。构建一个软件项目通常包含以下一个或多个过程: 1. 生成源码(如果项目使用自动生成源码); 2. 从源码生成项目文档; 4. 编译源码; 4. 运行单元测试 5. 将编
阅读全文
浙公网安备 33010602011771号