xiaolaotou

2019年4月2日

该文被密码保护。阅读全文

posted @ 2019-04-02 17:29 xiaolaotou 阅读(1) 评论(0) 推荐(0)

摘要：一、软件下载 1、访问：http://phoenix.apache.org/ 2、点击： 3、进入以下内容：点击 4、跳转到 5、跳转到 6、点击安装包，进入点击进行下载：二、安装 phonenix主要是与hbase进行集成，也可以称之为hbase sql的框架。进入到phonenix的解压文阅读全文

posted @ 2019-04-02 16:04 xiaolaotou 阅读(1726) 评论(0) 推荐(0)

Hbase原理（转学习自用）

摘要：一、系统架构从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，接下来介绍他们的作用。 Client 1、Hbase有两张特殊表阅读全文

posted @ 2019-04-02 15:45 xiaolaotou 阅读(262) 评论(0) 推荐(0)

Hbase之过滤器的使用

摘要：一、过滤器概念基础API中的查询操作在面对大量数据的时候是非常物无力的，这里Hbase提供了高级的查询方法:Filter（过滤器）。过滤器可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。阅读全文

posted @ 2019-04-02 11:47 xiaolaotou 阅读(962) 评论(0) 推荐(0)

2019年4月1日

Hbase学习Hbase基础介绍

摘要：一、产生背景自1970年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像Hadoop的解决方案。Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式阅读全文

posted @ 2019-04-01 15:18 xiaolaotou 阅读(215) 评论(0) 推荐(0)

五、Zookeeper、Hbase集群搭建

摘要：一、前提 1、安装JDK 2、安装Hadoop 3、安装zoookeeper 二、安装Hbase 找到官网下载 hbase 安装包 hbase-1.2.5-bin.tar.gz，这里给大家提供一个下载地址： http://mirrors.hust.edu.cn/apache/hbase/stable 阅读全文

posted @ 2019-04-01 13:13 xiaolaotou 阅读(202) 评论(0) 推荐(0)

MySQL [ERROR] Table 'mysql.user' doesn't exist

摘要：问题描述：在安装MYsql时，/etc/init.d/mysqld start时报错：解决步骤： 1、检查安装MYSQL时的脚本，及指定的文件 2、查看mariadb.log发现相关错误： [root@master init.d]# cd /var/log/mariadb[root@master 阅读全文

posted @ 2019-04-01 11:45 xiaolaotou 阅读(15579) 评论(0) 推荐(0)

2019年3月29日

二、集群配置SSH免密登录

摘要：一、以3个几点为例，分别为master、slave01、slave02 1、分别生成自己节点密钥对 master: 2、分别将slave01、slave02上的公钥发送到master上 [root@slave01 .ssh]# scp -r /root/.ssh/id_dsa.pub master: 阅读全文

posted @ 2019-03-29 17:29 xiaolaotou 阅读(399) 评论(0) 推荐(0)

hive优化之小文件合并

摘要：文件数目过多，会给HDFS带来压力，并且会影响处理效率，可以通过合并Map和Reduce的结果文件来消除这样的影响： set hive.merge.mapfiles = true ##在 map only 的任务结束时合并小文件 set hive.merge.mapredfiles = false 阅读全文

posted @ 2019-03-29 15:26 xiaolaotou 阅读(7600) 评论(0) 推荐(0)

Hbase性能调优（一）

摘要：转自：https://blog.csdn.net/yueyedeai/article/details/14648111 1、修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024，如果不进行修改，并发量上来的时候会出现“Too Many Open Files”的错误，导致整个H 阅读全文

posted @ 2019-03-29 14:59 xiaolaotou 阅读(1628) 评论(0) 推荐(0)

公告