大数据 - 随笔分类(第2页) - 201812

Hbase中ResultScanner获取到查询到的对象Arrays.toString(CellUtil.cloneQualifier(cell))、new String(CellUtil.cloneQualifier(cell)) 、Bytes.toString(CellUtil.cloneQualifier(cell))

摘要：java编写扫描hbase表操作的时候返回的对象ResultScanner 可以理解为result记录一行数据，cell数据，Resultscanner记录多行数据，result数组我对这些还都不太理解，不知道是个什么样子的结构。 for (Result result : scanner) { C 阅读全文

posted @ 2023-09-20 22:30 201812 阅读(150) 评论(0) 推荐(0)

HBase_API_（HBaseDML，对数据的api）

摘要：对表中数据进行以下操作：静态属性 1.插入数据 2.读取数据 3.扫描数据 4.带有过滤器的扫描（1）结果保留列的过滤器（2）结果保留整行的过滤器注意：结果也会保留没有当前列的数据例如我的表中数据如下：符合要求的应该只有02，但是结果会把04的也给输出出来。 5.删除数据 HBaseCon 阅读全文

posted @ 2023-09-19 22:35 201812 阅读(52) 评论(0) 推荐(0)

9.19总结

摘要：1.上网找教程学习hbase的api操作，学习了通过idea对hbase表的增删改查询是否存在以及创建命名空间（admin）。 2.学习通过idea对hbase表中的数据进行增删改查（table）。遇到的问题：通过idea去实现前端+servlet+hbase+phoenix出现的报错依然还是没阅读全文

posted @ 2023-09-19 22:28 201812 阅读(11) 评论(0) 推荐(0)

HBase_API_（HBaseDDL，对表的api）

摘要：对hbase数据表进行以下操作： 1.创建命名空间 2.判断表是否存在 3.创建表格 4.修改表格 5.删除表格注意：对表格的操作要调用admin，对数据进行操作调用table（这篇博客没有涉及到） HBaseConnetion.java(提供connection连接) package com.a 阅读全文

posted @ 2023-09-19 22:25 201812 阅读(42) 评论(0) 推荐(0)

HBase学习9（phoenix两种方式预分区）

摘要：P35 1.phoenix预分区如要分4个分区建表命令如下： create table if not exists ORDER_DTL( "id" varchar primary key, C1."status" varchar, C1."money" float, C1."pay_way" in 阅读全文

posted @ 2023-09-18 14:19 201812 阅读(214) 评论(0) 推荐(0)

HBase学习10（hbase高可用）

摘要：17-18 1.搭建hbase高可用考虑关于HBase集群的一个问题，在当前的HBase集群中，只有一个Master，一旦Master出现故障，将会导致HBase不再可用。所以，在实际的生产环境中，是非常有必要搭建一个高可用的HBase集群的。 HBase的高可用配置其实就是HMaster的高可用阅读全文

posted @ 2023-09-16 18:41 201812 阅读(117) 评论(0) 推荐(0)

HBase学习6（大量数据的导入及操作java）

摘要：在HBase中，有一个Import的MapReduce作业，可以专门用来将数据文件导入到HBase中。 hbase org.apache.hadoop.hbase.mapreduce.Import 表名 HDFS数据文件路径 1. 导入数据 1.将资料中数据文件上传到Linux中 2.再将文件上传到阅读全文

posted @ 2023-09-16 18:16 201812 阅读(182) 评论(0) 推荐(0)

HBase学习8（phoenix创建删除表、数据增删改查、数据分页查询）

摘要：1.建表在Phoenix中，我们可以使用类似于MySQL DDL的方式快速创建表。例如： CREATE TABLE IF NOT EXISTS 表名 ( ROWKEY名称数据类型 PRIMARY KEY 列族名.列名1 数据类型 NOT NULL, 列族名.列名2 数据类型 NOT NULL, 阅读全文

posted @ 2023-09-15 17:04 201812 阅读(1035) 评论(0) 推荐(0)

HBase学习7（phoenix安装）

摘要：1.下载 Phoenix Downloads | Apache Phoenix 2.根据hbase的版本下载对应的phoenix 3.上传到linux虚拟机 /export/software/目录下建议把所有hbase、hadoop、zookeeper都关闭 4.解压到/export/server 阅读全文

posted @ 2023-09-15 16:01 201812 阅读(81) 评论(0) 推荐(0)

HBase学习5（HBase java编程:创建项目，创建删除表，数据增删改查）

摘要：1.准备工作 1.1 创建IDEA Maven项目其中名字为hbase_op，groupid为cn.itcast 然后导入pom依赖 <repositories> <repository> <id>aliyun</id> <url>http://maven.aliyun.c 阅读全文

posted @ 2023-09-14 20:38 201812 阅读(229) 评论(0) 推荐(0)

(Windows Hadoop环境配置)IDEA：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path

摘要：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path 出错原因：还没有在windows上配置hadoop环境变量。解决：在windows上配置hadoop环境变量参考：windows下缺少阅读全文

posted @ 2023-09-14 14:00 201812 阅读(382) 评论(0) 推荐(0)

HBase学习4（导入数据、计数器、scan扫描、过滤器）

摘要：1.导入数据集先上传文件到指定目录，后执行下面的语句 hbase shell /export/software/ORDER_INFO.txt 2.查看表中有多少条数据（计数器）语法：count ‘表名’ 缺点：比较慢，当数据量更大的时候可以使用HBase中提供的MapReduce程序来进行计数统阅读全文

posted @ 2023-09-13 16:45 201812 阅读(222) 评论(0) 推荐(0)

java.net.ConnectException: Connection timed out: connect

摘要：错误关闭虚拟机导致的：java.net.ConnectException: Connection timed out: connect finalshell连接不上虚拟机并且提示java.net.ConnectException: Connection timed out: connect 在虚拟机阅读全文

posted @ 2023-09-13 16:16 201812 阅读(8605) 评论(0) 推荐(0)

HBase学习3（增删改查）

摘要：1.启动hbase shell HBase的shell其实就是JRuby的IRB（交互式Ruby），但在其中添加了一些HBase的命令。输入： hbase shell 2.创建表语法：create '表名','列蔟名'... 例如：创建订单表，表名为ORDER_INFO，该表有一个列蔟为C1 c 阅读全文

posted @ 2023-09-12 14:49 201812 阅读(211) 评论(0) 推荐(0)

HBase学习2（简单概念）

摘要：1.Apache HBase 是以hdfs未数据存储的，一种分布式，可扩展的NoSQL数据库。 2.HBase数据模型 HBase设计理念依据Google 的BigTable论文，BigTable是一个稀疏的、分布式的、持久的多维排序map。映射由行键、列键和时间戳索引；映射中的每一个值都是一个未阅读全文

posted @ 2023-09-11 19:33 201812 阅读(31) 评论(0) 推荐(0)

为什么linux配置了环境变量，却找不到位置

摘要：为什么linux配置了环境变量，却找不到位置例如我刚在linux中配置环境变量HBASE_HOME，通过cd $HBASE_HOME去不到对应路径，我出现这个问题的原因很简单，就是忘记加载环境变量了通过 source /etc/profile 可以加载环境变量（这个路径对应编写环境变量的路径，比阅读全文

posted @ 2023-09-11 19:19 201812 阅读(469) 评论(0) 推荐(0)

HBase学习1（安装部署）

摘要：前提：zookeeper、Hadoop、jdk都已经安装部署好了。 1.Zookeeper、Hadoop正常部署教程： 04、ZooKeeper--集群搭建下--配置文件修改&启动_哔哩哔哩_bilibili 08-Centos操作系统的虚拟机导入_哔哩哔哩_bilibili Zookeeper搭阅读全文

posted @ 2023-09-10 23:54 201812 阅读(74) 评论(0) 推荐(0)

Hadoop基础学习1(SSHfinalshell、vim、别名、hadoop集群)

摘要：1.SSH协议 SSH协议为Secure Shell的缩写，是一种网络安全协议，转为远程的登录会话和其他网络服务提供安全性的协议。在Linux中，SSH的主要用途有：用户加密实现远程登录，服务器之间的免密登录。 SSH协议默认采用RSA算法实现非对称加密，需要两个密钥：公开密钥和私有密钥。公钥和阅读全文

posted @ 2023-09-09 21:11 201812 阅读(113) 评论(0) 推荐(0)

Zookeeper搭建

摘要：1.Zookeeper Zookeeper是Apache Hadoop项目下的一个子项目，是一个树形目录服务。 Zookeeper是一个分布式的、开源的分布式应用程序的协调服务。 2.zookeeper搭建学习教程：04、ZooKeeper--集群搭建下--配置文件修改&启动_哔哩哔哩_bilib 阅读全文

posted @ 2023-09-09 13:33 201812 阅读(51) 评论(0) 推荐(0)

Centos3个虚拟机的导入

摘要：教程：08-Centos操作系统的虚拟机导入_哔哩哔哩_bilibili 安装包在该视频底下有链接。 1.点击编辑-->管理员权限-->点击NAT模式这一行然后更改网关 2.点击NAT设置 3.配置Windows本地虚拟网卡 -->找到网络连接 -->找到VMnet8然后右键点击属性 -->双击I 阅读全文

posted @ 2023-09-08 20:47 201812 阅读(95) 评论(0) 推荐(0)

随笔分类 - 大数据