公告

随笔分类 - 大数据

摘要：Table of contents · Overview · Introduction · Use cases · Manual Setup · Assumption · Configuration · Startup & test · Principle · Topic · Distributio 阅读全文

posted @ 2017-09-04 09:01 netoxi 阅读(904) 评论(0) 推荐(0)

Redis笔记——技术点汇总

摘要：目录 · 特点 · 安装 · 数据库 · 服务器命令 · 数据类型及其操作命令 · 数据结构 · string · list · set · hash · zset · 发布与订阅 · 排序 · 事务 · pipeline · 基准测试 · 键的过期阅读全文

posted @ 2017-08-28 09:03 netoxi 阅读(2605) 评论(5) 推荐(4)

ZooKeeper笔记——技术点汇总

摘要：目录 · ZooKeeper安装 · 分布式一致性理论 · 一致性级别 · 集中式系统 · 分布式系统 · ACID特性 · CAP理论 · BASE理论 · 一致性协议 · ZooKeeper概况 · ZooKeeper API · 命令 · Java API · Curator · ZooKee 阅读全文

posted @ 2017-08-10 09:02 netoxi 阅读(2274) 评论(1) 推荐(5)

Spark Streaming笔记——技术点汇总

摘要：目录 · 概况 · 原理 · API · DStream · WordCount示例 · Input DStream · Transformation Operation · Output Operation · 缓存与持久化 · Checkpoint · 性能调优 · 降低批次处理时间 · 设置合阅读全文

posted @ 2017-08-04 09:00 netoxi 阅读(11128) 评论(1) 推荐(1)

Storm笔记——技术点汇总

摘要：目录 · 概述 · 手工搭建集群 · 引言 · 安装Python · 配置文件 · 启动与测试 · 应用部署 · 参数配置 · Storm命令 · 原理 · Storm架构 · Storm组件 · Stream Grouping · 守护进程容错性（Daemon Fault Tolerance） · 阅读全文

posted @ 2017-08-03 09:02 netoxi 阅读(1378) 评论(1) 推荐(0)

Spark笔记——技术点汇总

摘要：目录 · 概况 · 手工搭建集群 · 引言 · 安装Scala · 配置文件 · 启动与测试 · 应用部署 · 部署架构 · 应用程序部署 · 核心原理 · RDD概念 · RDD核心组成 · RDD依赖关系 · DAG图 · RDD故障恢复机制 · Standalone模式的S 阅读全文

posted @ 2017-08-02 08:59 netoxi 阅读(1776) 评论(2) 推荐(2)

Hive笔记——技术点汇总

摘要：目录 · 概况 · 手工安装 · 引言 · 创建HDFS目录 · 创建元数据库 · 配置文件 · 测试 · 原理 · 架构 · 与关系型数据库对比 · API · WordCount · 命令 · 数据类型 · 文件存储格式 · 数据格式 · 数据库阅读全文

posted @ 2017-08-01 09:02 netoxi 阅读(4970) 评论(0) 推荐(0)

Spark SQL笔记——技术点汇总

摘要：目录 · 概述 · 原理 · 组成 · 执行流程 · 性能 · API · 应用程序模板 · 通用读写方法 · RDD转为DataFrame · Parquet文件数据源 · JSON文件数据源 · Hive数据源 · 数据库JDBC数据源 · DataFrame Operation · 性能调优阅读全文

posted @ 2017-07-31 09:02 netoxi 阅读(10057) 评论(0) 推荐(1)

MapReduce笔记——技术点汇总

摘要：目录 · 概况 · 原理 · MapReduce编程模型 · MapReduce过程 · 容错机制 · API · 概况 · WordCount示例 · Writable接口 · Mapper类 · Reducer类 · Partitioner抽象类 · WritableComparator接口 · 阅读全文

posted @ 2017-07-28 09:35 netoxi 阅读(607) 评论(0) 推荐(0)

YARN笔记——技术点汇总

摘要：目录 · 概况 · 原理 · 资源调度器分类 · YARN架构 · ResourceManager · NodeManager · ApplicationMaster · Container · YARN工作流程 · YARN资源调度 · 操作 · Overview · User Commands 阅读全文

posted @ 2017-07-28 09:31 netoxi 阅读(980) 评论(0) 推荐(1)

HDFS笔记——技术点汇总

摘要：目录 · 概况 · 原理 · HDFS 架构 · 块 · NameNode · SecondaryNameNode · fsimage与edits合并 · DataNode · 数据读写 · 容错机制 · 数据完整性 · NameNode HA · NameNode Federation · HDF 阅读全文

posted @ 2017-07-28 09:28 netoxi 阅读(791) 评论(0) 推荐(0)

Hadoop笔记——技术点汇总

摘要：目录 · 概况 · Hadoop · 云计算 · 大数据 · 数据挖掘 · 手工搭建集群 · 引言 · 配置机器名 · 调整时间 · 创建用户 · 安装JDK · 配置文件 · 启动与测试 · Cloudera Manager · 原理 · Hadoop架构 · 阅读全文

posted @ 2017-07-24 09:16 netoxi 阅读(746) 评论(0) 推荐(0)