20-Hadoop - 随笔分类(第3页) - 黑泽君

大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计

摘要：第8章 HDFS HA 高可用8.1 HA概述8.2 HDFS-HA工作机制8.2.1 HDFS-HA工作要点8.2.2 HDFS-HA手动故障转移工作机制8.2.3 HDFS-HA自动故障转移工作机制8.3 HDFS-HA集群配置8.3.1 环境准备8.3.2 规划集群8.3.3 配置Zookee 阅读全文

posted @ 2019-02-24 10:22 黑泽君

大数据技术之_06_Zookeeper学习_Zookeeper入门+Zookeeper安装+Zookeeper内部原理+Zookeeper实战（开发重点）+企业面试真题

摘要：第1章 Zookeeper入门1.1 概述1.2 特点1.3 数据结构1.4 应用场景1.5 下载地址第2章 Zookeeper安装2.1 本地模式安装部署2.2 配置参数解读第3章 Zookeeper内部原理3.1 选举机制（面试重点）3.2 节点类型3.3 stat结构体3.4 监听器原理（面试阅读全文

posted @ 2019-02-23 01:37 黑泽君

大数据技术之_05_Hadoop学习_04_MapReduce_Hadoop企业优化(重中之重)+HDFS小文件优化方法+MapReduce扩展案例+倒排索引案例(多job串联)+TopN案例+找博客共同粉丝案例+常见错误及解决方案

摘要：第6章 Hadoop企业优化（重中之重）6.1 MapReduce 跑的慢的原因6.2 MapReduce优化方法6.2.1 数据输入6.2.2 Map阶段6.2.3 Reduce阶段6.2.4 I/O传输6.2.5 数据倾斜问题6.2.6 常用的调优参数6.3 HDFS小文件优化方法6.3.1 H 阅读全文

posted @ 2019-02-20 23:02 黑泽君

大数据技术之_05_Hadoop学习_03_MapReduce_MapTask工作机制+ReduceTask工作机制+OutputFormat数据输出+Join多种应用+计数器应用+数据清洗(ETL)+Hadoop数据压缩+Yarn资源调度器

摘要：3.3.4 WritableComparable排序3.3.5 WritableComparable排序案例实操（全排序）3.3.6 WritableComparable排序案例实操（区内排序）3.3.7 Combiner合并3.3.8 Combiner合并案例实操3.3.9 GroupingCom 阅读全文

posted @ 2019-02-17 18:24 黑泽君

大数据技术之_05_Hadoop学习_02_MapReduce_MapReduce框架原理+InputFormat数据输入+MapReduce工作流程(面试重点)+Shuffle机制(面试重点)

摘要：第3章 MapReduce框架原理3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 CombineTextInputFormat切片机制3.1.5 Combin 阅读全文

posted @ 2019-02-15 23:29 黑泽君

大数据技术之_05_Hadoop学习_01_MapReduce_MapReduce概述+Hadoop序列化

摘要：第1章 MapReduce概述1.1 MapReduce定义1.2 MapReduce优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce核心思想1.4 MapReduce进程1.5 官方WordCount源码1.6 常用数据序列化类型1.7 MapReduce编程规范1.8 WordC 阅读全文

posted @ 2019-02-15 23:16 黑泽君

大数据技术之_04_Hadoop学习_02_HDFS_DataNode(面试开发重点)+HDFS 2.X新特性

摘要：第6章 DataNode（面试开发重点）6.1 DataNode工作机制6.2 数据完整性6.3 掉线时限参数设置6.4 服役新数据节点6.5 退役旧数据节点6.5.1 添加白名单6.5.2 黑名单退役6.6 Datanode多目录配置第7章 HDFS 2.X新特性7.1 集群间数据拷贝7.2 小文阅读全文

posted @ 2019-02-09 17:14 黑泽君

大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作(开发重点)+HDFS客户端操作(开发重点)+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode(面试开发重点)

摘要：第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）第2章 HDFS的Shell操作（开发重点）第3章 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上阅读全文

posted @ 2019-02-05 22:48 黑泽君

大数据技术之_03_Hadoop学习_02_入门_Hadoop运行模式+【本地运行模式+伪分布式运行模式+完全分布式运行模式(开发重点)】+Hadoop编译源码(面试重点)+常见错误及解决方案

摘要：第4章 Hadoop运行模式4.1 本地运行模式4.1.1 官方Grep案例4.1.2 官方WordCount案例4.2 伪分布式运行模式4.2.1 启动HDFS并运行MapReduce程序4.2.2 启动YARN并运行MapReduce程序4.2.3 配置历史服务器4.2.4 配置日志的聚集4.2 阅读全文

posted @ 2019-02-03 10:09 黑泽君

大数据技术之_03_Hadoop学习_01_入门_大数据概论+从Hadoop框架讨论大数据生态+Hadoop运行环境搭建（开发重点）

摘要：第1章大数据概论1.1 大数据概念1.2 大数据特点（4V）1.3 大数据应用场景1.4 大数据发展前景1.5 大数据部门业务流程分析1.6 大数据部门组织结构（重点）第2章从Hadoop框架讨论大数据生态2.1 Hadoop是什么2.2 Hadoop发展历史2.3 Hadoop三大发行版本2. 阅读全文

posted @ 2019-01-29 18:06 黑泽君

大数据技术之_02_Shell学习_Shell概述+Shell解析器+Shell脚本入门+运算符+条件判断+流程控制(重点)+read读取控制台输入+函数+Shell工具(重点)+企业真实面试题(重点)

摘要：1 Shell概述2 Shell解析器3 Shell脚本入门4 Shell中的变量4.1 系统变量4.2 自定义变量4.3 特殊变量：`$n`4.4 特殊变量：`$#`4.5 特殊变量：`$*、$@`4.6 特殊变量：`$?`5 运算符6 条件判断7 流程控制（重点）7.1 if 判断7.2 cas 阅读全文

posted @ 2019-01-28 00:54 黑泽君

Linux学习_003_虚拟机CentOS 7.5 如何固定IP地址

摘要：我们在使用虚拟机的时候，虚拟机的IP往往会变化，前期配置的SecureCRT连接、FTP连接需要重新修改，给我们的使用造成很大的不便。本文介绍了如何固定虚拟机CentOS 7.5的IP的方法。环境：本地主机：win10 虚拟机软件：Vmware 14 PRO 虚拟机：CentOS 7.5桌面版阅读全文

posted @ 2018-12-01 12:33 黑泽君

Linux学习_002_VMware12.0 Pro 中安装 CentOS-7.5(桌面版)

摘要：一、安装前准备最新版本的VMware：官网链接：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.htmlVMware10.0 && VMware12.0 Pro && VMware14.0 阅读全文

posted @ 2018-12-01 12:06 黑泽君

Linux学习_001_VMware10.0 && VMware12.0 Pro && VMware14.0 Pro && VMware 15.0 Pro 的安装与破解

摘要：一、VMware10.0 的安装与破解 VMware v11.x、12.x、14.x 系列版本仅支持64位系统，如果是32位系统请用VMware v10.x版本。本博主电脑是64位的，注意：64位的操作系统可以安装32的软件。 1、VMware Workstation 10 简介 vmware10全阅读全文

posted @ 2018-12-01 11:06 黑泽君

Bruce

随笔分类 - 20-Hadoop