踏歌行666 - 博客园

Hadoop2.7.6_08_Federation联邦机制

摘要：前言：本文章是在 Hadoop2.7.6_07_HA高可用的基础上完成的，所以不清楚的可参见这篇文章。 1. Hadoop的federation机制文件的元数据是放在namenode上的，只有一个Namespace（命名空间）。随着HDFS的数据越来越多，单个namenode的资源使用必然会达阅读全文

posted @ 2018-07-02 16:12 踏歌行666 阅读(950) 评论(1) 推荐(0)

Hadoop2.7.6_07_HA高可用

摘要： 1. Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 1.1. HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的H 阅读全文

posted @ 2018-07-02 08:52 踏歌行666 阅读(2168) 评论(0) 推荐(0)

NFS服务搭建与配置

摘要：本文讲解在 CentOS 5.x、CentOS 6.x 和 CentOS 7.x 环境下，如何安装与部署 NFS 服务。注意：一台机器不要同时做 NFS 的服务端和 NFS 的客户端。如果同时作了 NFS 的服务端和客户端，那么在关机的时候，会一直夯住，可能十分钟之后甚至更久才能关闭成功。 NFS 阅读全文

posted @ 2018-06-26 17:03 踏歌行666 阅读(1367) 评论(0) 推荐(0)

Hadoop2.7.6_06_mapreduce参数优化

摘要： MapReduce重要配置参数 1. 资源相关参数 2. 容错相关参数 3. 本地运行mapreduce 作业 4. 效率和稳定性相关参数阅读全文

posted @ 2018-06-18 20:56 踏歌行666 阅读(459) 评论(0) 推荐(0)

Hadoop2.7.6_05_mapreduce-Yarn

摘要： 1. MAPREDUCE原理 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1. 为什么要MAPRE 阅读全文

posted @ 2018-06-18 20:47 踏歌行666 阅读(301) 评论(0) 推荐(0)

Hadoop2.7.6_04_HDFS的Shell操作与常见问题

摘要： 1. HDFS的shell操作 1.1. 支持的命令及参数 1.2. 常用命令参数介绍 -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 - 阅读全文

posted @ 2018-06-18 16:26 踏歌行666 阅读(679) 评论(0) 推荐(0)

Hadoop2.7.6_03_HDFS原理

摘要： 1. HDFS前言 l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据 2. H 阅读全文

posted @ 2018-06-18 15:07 踏歌行666 阅读(448) 评论(0) 推荐(0)

Hadoop2.7.6_02_HDFS常用操作

摘要： 1. HDFS常用操作 1.1. 查询 1.1.1. 浏览器查询 1.1.2. 命令行查询 1.2. 上传文件 1.2.1. 文件存放位置 1.2.2. 浏览器访问 1.3. 文件下载 2. 简单案例 2.1. 准备数据 2.1. 运行分析 3. 案例：开发shell采集脚本 3.1. 需求说明点阅读全文

posted @ 2018-06-18 09:53 踏歌行666 阅读(1006) 评论(0) 推荐(0)

Hadoop2.7.6_01_部署

摘要： 1. 主机规划主机名称外网IP 内网IP 操作系统备注安装软件 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 ssh port:22 Hadoop 【NameNode SecondaryNameNode】 mini02 10.0.0.12 172.16.1. 阅读全文

posted @ 2018-06-11 21:13 踏歌行666 阅读(1649) 评论(0) 推荐(0)

VMware网络设置

摘要： 1. 虚拟网络设置 1.1. 仅主机设置 1.2. NAT设置 2. 具体虚拟机网络设置虚拟机需要实现： 1、虚拟机内网网卡不能上网仅主机模式 2、虚拟机外网网卡可以上网 NAT模式 2.1. 内网设置 2.2. 外网设置 3. 具体虚拟机网卡设置为了避免后期克隆无法启动网卡，请清空或删除如下阅读全文

posted @ 2018-06-09 15:39 踏歌行666 阅读(553) 评论(0) 推荐(0)

VMware安装CentOS7

摘要： 1. 选择镜像 2. 安装CentOS7 3. 其他必要修改注意：安装好后，没有ifconfig命令 3.1 主机名修改 3.2 网卡名修改配置修改我们在命令行中键入#:vim /etc/default/grub命令来编辑环境变量值。并在变量GRUB_CMDLINE_LINU中加入:net. 阅读全文

posted @ 2018-06-09 11:07 踏歌行666 阅读(333) 评论(0) 推荐(0)

VMware安装CentOS6

摘要： 1. 搭建虚拟化环境常见故障讲解 2. 安装CentOS Linux系统 ……………… PS：运维老鸟教你安装centos6.5如何选择安装包 3. 远程连接LInux ip配置注意：不用做任何修改步骤：参数讲解： 4. 网卡最终设置 5. 安装完之后系统基础优化 6. 参考文章 1、运维老鸟阅读全文

posted @ 2018-06-09 10:26 踏歌行666 阅读(646) 评论(0) 推荐(0)

CentOS7.4下编译Hadoop-2.7.6

摘要： 1. 使用系统和软件 2. 必要的包安装 3. 安装Jdk【java8】 3.1. 软件安装 3.2. 环境变量 4. 安装maven 4.1. 软件安装 4.2. 环境变量 5. 安装ant 5.1. 软件安装 5.2. 环境变量 6. 安装findbugs 6.1. 软件安装 6.2. 环境变量阅读全文

posted @ 2018-06-08 23:03 踏歌行666 阅读(739) 评论(0) 推荐(0)

Linux 内存使用率

摘要：文章参考： 1、正确计算linux系统内存使用率 2、Linux系统内存消失与slab使用之谜例如当前主机内存信息如下：内存使用率计算公式： PS:什么是SReclaimable？在linux内核中会有许多小对象，这些对象构造销毁十分频繁，比如i-node，dentry。那么这些对象如果每次构建阅读全文

posted @ 2018-05-31 09:44 踏歌行666 阅读(592) 评论(0) 推荐(0)

java连接zookeeper服务器出现“KeeperErrorCode = ConnectionLoss for ...”

摘要：错误信息如下：网上也说了很多情况：但是可能对都会不管用那么请尝试如下方法：这样就可以了阅读全文

posted @ 2018-05-28 09:05 踏歌行666 阅读(2355) 评论(0) 推荐(0)

zookeeper-03 命令行操作

摘要： 1. 前言在3台机器分别部署了zookeeper-3.4.5，本文操作是在此基础上进行的。部署详情参见上一篇文章 2. 客户端登录与帮助查看 2.1. 数据的属性说明属性描述 czxid 节点被创建的Zxid值 mzxid 节点被修改的Zxid值 ctime 节点被创建的时间 mtime 节点阅读全文

posted @ 2018-05-26 21:21 踏歌行666 阅读(437) 评论(0) 推荐(0)

zookeeper-02 部署

摘要： 1. 主机规划主机名称外网IP【外部访问】内网IP 操作系统备注安装软件 docker01 10.0.0.11 172.16.1.11 CentOS 7.2 zookeeper-3.4.5【集群】 docker02 10.0.0.12 172.16.1.12 CentOS 7.2 zook 阅读全文

posted @ 2018-05-26 21:03 踏歌行666 阅读(724) 评论(0) 推荐(0)

zookeeper-01 概述

摘要： 1. Zookeeper概念简介和应用场景 1.1. 概念简介 Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） C、Zookeep 阅读全文

posted @ 2018-05-26 20:49 踏歌行666 阅读(217) 评论(0) 推荐(0)

linux 平均负载 load average 的含义【转】

摘要：文章来源： linux 平均负载 load average 的含义 load average 的含义平均负载(load average)是指系统的运行队列的平均利用率，也可以认为是可运行进程的平均数。以路况为例，单核CPU、单车道情况如下： 0.00-1.00 之间的数字表示此时路况非常良好阅读全文

posted @ 2018-05-25 16:19 踏歌行666 阅读(452) 评论(0) 推荐(0)

percona-toolkit大表操作DDL使用

摘要： 1. 系统与安装数据库 2. 数据库准备工作 2.1. 数据库字符集修改 2.1.1. 数据库版本信息 2.1.2. 支持哪些字符集 2.1.3. 当前数据库默认字符集 2.1.4. 修改字符集为utf8 2.2. 数据库建库、授权操作 2.2.1. 创建数据库 2.2.2. 授权 2.3. 数据库阅读全文

posted @ 2018-05-23 23:56 踏歌行666 阅读(724) 评论(0) 推荐(0)

踏歌行的专栏