摘要:一、隐式转换 1.1 使用隐式转换 隐式转换指的是以 关键字声明带有单个参数的转换函数,它将值从一种类型转换为另一种类型,以便使用之前类型所没有的功能。示例如下: 1.2 隐式转换规则 并不是你使用 转换后,隐式转换就一定会发生,比如上面如果不调用 方法的时候,普通人就还是普通人。通常程序会在以下情 阅读全文
posted @ 2019-09-22 08:33 黑白影 阅读 (78) 评论 (0) 编辑
摘要:一、集合简介 Scala中拥有多种集合类型,主要分为可变的和不可变的集合两大类: 可变集合 : 可以被修改。即可以更改,添加,删除集合中的元素; 不可变集合类 :不能被修改。对集合执行更改,添加或删除操作都会返回一个新的集合,而不是修改原来的集合。 二、集合结构 Scala中的大部分集合类都存在三类 阅读全文
posted @ 2019-09-22 08:32 黑白影 阅读 (37) 评论 (0) 编辑
摘要:一、基础软件安装 1. "Linux 环境下 JDK 安装" 2. "Linux 环境下 Python 安装" 3. "虚拟机静态 IP 及多 IP 配置" 二、Hadoop 1. "Hadoop 单机环境搭建" 2. "Hadoop 集群环境搭建" 3. "基于 Zookeeper 搭建 Hado 阅读全文
posted @ 2019-09-10 16:06 黑白影 阅读 (120) 评论 (0) 编辑
摘要:一、简介 在提交大数据作业到集群上运行时,通常需要先将项目打成 JAR 包。这里以 Maven 为例,常用打包方式如下: 不加任何插件,直接使用 mvn package 打包; 使用 maven assembly plugin 插件; 使用 maven shade plugin 插件; 使用 mav 阅读全文
posted @ 2019-09-05 15:53 黑白影 阅读 (269) 评论 (0) 编辑
摘要:一、整合说明 Storm 官方对 Kafka 的整合分为两个版本,官方说明文档分别如下: + "Storm Kafka Integration" : 主要是针对 0.8.x 版本的 Kafka 提供整合支持; + "Storm Kafka Integration (0.10.x+)" : 包含 Ka 阅读全文
posted @ 2019-09-05 09:03 黑白影 阅读 (198) 评论 (0) 编辑
摘要:一、Storm集成HDFS 1.1 项目结构 本用例源码下载地址: "storm hdfs integration" 1.2 项目主要依赖 项目主要依赖如下,有两个地方需要注意: + 这里由于我服务器上安装的是 CDH 版本的 Hadoop,在导入依赖时引入的也是 CDH 版本的依赖,需要使用 `` 阅读全文
posted @ 2019-09-04 16:40 黑白影 阅读 (148) 评论 (0) 编辑
摘要:一、简介 Storm Redis 提供了 Storm 与 Redis 的集成支持,你只需要引入对应的依赖即可使用: Storm Redis 使用 Jedis 为 Redis 客户端,并提供了如下三个基本的 Bolt 实现: + RedisLookupBolt :从 Redis 中查询数据; + Re 阅读全文
posted @ 2019-09-04 09:07 黑白影 阅读 (168) 评论 (0) 编辑
摘要:一、简介 在将 Storm Topology 提交到服务器集群运行时,需要先将项目进行打包。本文主要对比分析各种打包方式,并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种: + 第一种:不加任何插件,直接使用 mvn package 打包; + 第二种:使用 maven assembly 阅读全文
posted @ 2019-09-04 09:06 黑白影 阅读 (95) 评论 (0) 编辑
摘要:一、简介 下图为 Strom 的运行流程图,在开发 Storm 流处理程序时,我们需要采用内置或自定义实现 (数据源) 和 (处理单元),并通过 将它们之间进行关联,形成 。 二、IComponent接口 接口定义了 Topology 中所有组件 (spout/bolt) 的公共方法,自定义的 sp 阅读全文
posted @ 2019-09-03 15:41 黑白影 阅读 (153) 评论 (0) 编辑
摘要:一、集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 和 服务。同时为了保证高可用,除了在 hadoop001 上部署主 服务外,还在 hadoop002 上部署备用的 服务。 服务由 Zookeeper 集群进行协调管理,如果主 不可用,则备用 会成为新的主 。 二、前置条件 阅读全文
posted @ 2019-09-03 15:39 黑白影 阅读 (61) 评论 (0) 编辑