2018年6月18日

Hadoop2.7.6_06_mapreduce参数优化

摘要： MapReduce重要配置参数 1. 资源相关参数 2. 容错相关参数 3. 本地运行mapreduce 作业 4. 效率和稳定性相关参数 阅读全文

posted @ 2018-06-18 20:56 踏歌行666 阅读(459) 评论(0) 推荐(0)

Hadoop2.7.6_05_mapreduce-Yarn

摘要： 1. MAPREDUCE原理 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1. 为什么要MAPRE 阅读全文

posted @ 2018-06-18 20:47 踏歌行666 阅读(301) 评论(0) 推荐(0)

Hadoop2.7.6_04_HDFS的Shell操作与常见问题

摘要： 1. HDFS的shell操作 1.1. 支持的命令及参数 1.2. 常用命令参数介绍 -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 - 阅读全文

posted @ 2018-06-18 16:26 踏歌行666 阅读(679) 评论(0) 推荐(0)

Hadoop2.7.6_03_HDFS原理

摘要： 1. HDFS前言 l 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据 2. H 阅读全文

posted @ 2018-06-18 15:07 踏歌行666 阅读(448) 评论(0) 推荐(0)

Hadoop2.7.6_02_HDFS常用操作

摘要： 1. HDFS常用操作 1.1. 查询 1.1.1. 浏览器查询 1.1.2. 命令行查询 1.2. 上传文件 1.2.1. 文件存放位置 1.2.2. 浏览器访问 1.3. 文件下载 2. 简单案例 2.1. 准备数据 2.1. 运行分析 3. 案例：开发shell采集脚本 3.1. 需求说明 点 阅读全文

posted @ 2018-06-18 09:53 踏歌行666 阅读(1006) 评论(0) 推荐(0)

导航