百里登风

摘要： 概述 Hbase与HDFS对比 Hbase表的特点 行存储与列存储 Hbase 逻辑视图 Hbase数据模型 Hbase支持的操作 Hbase物理存储 Hbase基本架构 Hbase各个组件 Hbase中的zookeeper Hbase容错机制 Hbase 中的region定位 Hbase与关系型数 阅读全文

摘要： 在集群的接收端 启动producer 在consumer这边能接收到producer发来的数据 阅读全文

摘要： 怎么安装解压kafka这里就不多说了，从配置文件说起 我这里搭建的是三节点集群 master slave1 slave2 修改server.properties 文件 把自己本地安装的zookeeper配置上 还有这个地方broker.id 我这里 master slave1 slave2 分别对于 阅读全文

摘要： 合理的并行度 减少任务启动开销 选择合适的batch Duration 内存调优 设置合理的cpu数 阅读全文

摘要： 依赖管理 基本套路 Dstream输入源 input DStream Dstream输入源 Receiver 内置的input Dstream : Basic Source 内置的input Dstream :Advanced Sources Dstream 输入源: multiple input 阅读全文

摘要： SparkStreaming 运行原理 sparkstreaming 的高层抽象DStream Dstream与RDD的关系 Batch duration 阅读全文

摘要： 下在集群跑一下 监听1212端口(端口可以自己随便取) 可以看到反馈信息 阅读全文

摘要： 批处理 & 流处理 像这个是批处理 像这样就是流处理 为什么需要流处理--更多场景需要 Spark Core & RDD 本质上是离线运算 Spark Streaming是什么（分布式的流处理系统） Spark Streaming是什么 Spark Streaming的竞争对手（两都是apache的 阅读全文

摘要： Caching Data in Memory 其他调优参数 阅读全文

摘要： SparkSQL作为分布式查询引擎：两种方式 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎：Thrift JDBC/ODBC服务 SparkSQL作为分布式查询引擎： beeline SparkSQL作为分布式查询引擎： Spark S 阅读全文