McHades - 博客园

2018年5月23日

摘要： [toc] 前期准备启动zk 启动HDFS 启动HBase 在HBase shell中实现CRUD操作 "熟悉Hbase shell" 1. 启动命令行客户端 2. 创建表指定命名空间、表名以及列族、`additional essential name sex additional int 阅读全文

posted @ 2018-05-23 09:15 McHades 阅读(380) 评论(0) 推荐(0) 编辑

HBase安装和启动

摘要： [toc] 认识HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，该技术来源于Google论文“Bigtable:一个结构化数据的分布式存储系统”。利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。 HBase是Google Bigtable的开源实现阅读全文

posted @ 2018-05-23 09:12 McHades 阅读(387) 评论(0) 推荐(0) 编辑

MaperReduce实验

摘要： [toc] MaperReduce实现WordCount程序二次排序前期准备启动Zookeeper 启动HDFS 启动Yarn 将要处理的数据文件上传到HDFS 1. 工程结构导入核心包及其依赖包导入包及其依赖包导入包及其依赖 2. 编写自定义NewKey类 3. 编写WCMappe 阅读全文

posted @ 2018-05-23 09:05 McHades 阅读(210) 评论(0) 推荐(0) 编辑

2018年5月22日

4.Hadoop集群搭建之启动

摘要：配置好Hadoop、HDFS、YARN、Zookeeper集群后，需要按照顺序启动。前期准备配置好Hadoop、HDFS、YARN、Zookeeper集群先stop掉所有的hadoop服务使用命令查看进程，确保只有进程存在，没有其他的Hadoop服务进程。若存在Hadoop服务进程，使用阅读全文

posted @ 2018-05-22 22:06 McHades 阅读(361) 评论(0) 推荐(0) 编辑

3.Hadoop集群搭建之Zookeeper安装

摘要：前期准备下载Zookeeper 3.4.5 若无特殊说明，则以下操作均在master节点上进行 1. 解压Zookeeper 直接解压Zookeeper压缩包 tar zxvf zookeeper 3.4.5.tar.gz C /hadoop/app 2. 修改Zookeeper中conf下的配置阅读全文

posted @ 2018-05-22 21:56 McHades 阅读(337) 评论(0) 推荐(0) 编辑

2.Hadoop集群搭建之Hadoop（包含HDFS和Yarn）安装

摘要：前期准备下载JDK 6.0以上版本下载Hadoop 2.4.1 1. 安装JDK 因为Hadoop是Java开发的，所以需要安装JDK，建议JDK 6.0以上。解压JDK 配置环境变量 2. 安装Hadoop 解压Hadoop安装包同JDK解压方式修改六个配置文件注：hadoop2.x的阅读全文

posted @ 2018-05-22 21:48 McHades 阅读(295) 评论(0) 推荐(0) 编辑

1.Hadoop集群搭建之Linux主机环境准备

posted @ 2018-05-22 21:47 McHades 阅读(185) 评论(0) 推荐(0) 编辑

2018年5月14日

Python常见函数用法

摘要： 1. shape()函数在模块输入参数：类似数组（比如列表，元组）等，或是数组返回：一个整型数字的元组，元组中的每个元素表示相应的数组每一维的长度 2. tile()函数返回将`A reps`次用`x n`行列矩阵 3. sum()函数为普通的求和 a.sum(axis=1) 将矩阅读全文

posted @ 2018-05-14 15:55 McHades 阅读(1639) 评论(0) 推荐(0) 编辑

2018年5月2日

VMWare中三种网络连接模式的区别

摘要： VMWare中有桥接、NAT、host only三种网络连接模式，在搭建伪分布式集群时，需要对集群的网络连接进行配置，而这一操作的前提是理解这三种网络模式的区别。参考以下两篇文章可以更好的理解： "VMware中，该如何理解桥接网络与NAT 网络模式" "VMware中三种网络连接的区别" 阅读全文

posted @ 2018-05-02 20:09 McHades 阅读(282) 评论(0) 推荐(0) 编辑

2018年5月1日

解决SDK未授权问题

摘要：问题描述在启动项目的时候报错了，如下：解决方案网上的解决方案是运行对应目录下的授权脚本，之后会有license文件生成，可是我的授权文件本来就存在了。最后，在github上找到解决方案：需要在SDK Manager里多下载两个东西和`Android Support Repository`如阅读全文

posted @ 2018-05-01 17:03 McHades 阅读(1513) 评论(2) 推荐(0) 编辑

公告