百里登风

导航

上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 36 下一页

2017年9月13日

深入学习Hbase架构原理

摘要: 概述 Hbase与HDFS对比 Hbase表的特点 行存储与列存储 Hbase 逻辑视图 Hbase数据模型 Hbase支持的操作 Hbase物理存储 Hbase基本架构 Hbase各个组件 Hbase中的zookeeper Hbase容错机制 Hbase 中的region定位 Hbase与关系型数 阅读全文

posted @ 2017-09-13 21:51 百里登峰 阅读(262) 评论(0) 推荐(0)

2017年9月12日

kafka的API操作

摘要: 在集群的接收端 启动producer 在consumer这边能接收到producer发来的数据 阅读全文

posted @ 2017-09-12 18:19 百里登峰 阅读(177) 评论(0) 推荐(0)

kafka的几个简单操作

摘要: 怎么安装解压kafka这里就不多说了,从配置文件说起 我这里搭建的是三节点集群 master slave1 slave2 修改server.properties 文件 把自己本地安装的zookeeper配置上 还有这个地方broker.id 我这里 master slave1 slave2 分别对于 阅读全文

posted @ 2017-09-12 17:37 百里登峰 阅读(515) 评论(0) 推荐(0)

2017年9月8日

SparkStreaming性能调优

摘要: 合理的并行度 减少任务启动开销 选择合适的batch Duration 内存调优 设置合理的cpu数 阅读全文

posted @ 2017-09-08 00:34 百里登峰 阅读(179) 评论(0) 推荐(0)

2017年9月7日

SparkStreaming 的编程模型

摘要: 依赖管理 基本套路 Dstream输入源 input DStream Dstream输入源 Receiver 内置的input Dstream : Basic Source 内置的input Dstream :Advanced Sources Dstream 输入源: multiple input 阅读全文

posted @ 2017-09-07 23:00 百里登峰 阅读(381) 评论(0) 推荐(0)

SparkStreaming 运行原理与核心概念

摘要: SparkStreaming 运行原理 sparkstreaming 的高层抽象DStream Dstream与RDD的关系 Batch duration 阅读全文

posted @ 2017-09-07 10:49 百里登峰 阅读(266) 评论(0) 推荐(0)

2017年9月5日

Spark Streaming 例子

摘要: 下在集群跑一下 监听1212端口(端口可以自己随便取) 可以看到反馈信息 阅读全文

posted @ 2017-09-05 23:41 百里登峰 阅读(401) 评论(0) 推荐(0)

spark streaming 概述

摘要: 批处理 & 流处理 像这个是批处理 像这样就是流处理 为什么需要流处理--更多场景需要 Spark Core & RDD 本质上是离线运算 Spark Streaming是什么(分布式的流处理系统) Spark Streaming是什么 Spark Streaming的竞争对手(两都是apache的 阅读全文

posted @ 2017-09-05 12:03 百里登峰 阅读(139) 评论(0) 推荐(0)

spark sql 的性能调优

摘要: Caching Data in Memory 其他调优参数 阅读全文

posted @ 2017-09-05 09:44 百里登峰 阅读(213) 评论(0) 推荐(0)

2017年9月2日

Spark 分布式SQL引擎

摘要: SparkSQL作为分布式查询引擎:两种方式 SparkSQL作为分布式查询引擎:Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎:Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎: beeline SparkSQL作为分布式查询引擎: Spark S 阅读全文

posted @ 2017-09-02 15:48 百里登峰 阅读(724) 评论(0) 推荐(0)

上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 36 下一页