大数据 - 随笔分类 - 咔咔kk

hbase的api介绍

摘要：以下代码包含hbase的增删改查 public class hbaseDemo { Random r = new Random(); SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMddHHmmss"); HBaseAdmin admin; HT 阅读全文

posted @ 2020-10-24 20:02 咔咔kk 阅读(254) 评论(0) 推荐(0)

hbase rowkey设计,以三个事例讲解

摘要：提到hbase一般无法避开rowkey的设计。Rowkey设计的优劣直接影响读写性能。下面小咔以三个实例来讲解一。事例一权限控制人员角色表权限分配时，普遍关系型数据库，一般会设计三张表，一张用户表记录用户信息；一张角色表记录角色信息；还有张用户角色表，建立用户与角色的对应关系。那么hbas 阅读全文

posted @ 2020-10-24 13:02 咔咔kk 阅读(565) 评论(0) 推荐(0)

hbase完全分布式安装

摘要：完全分布式安装需要一个hadoop集群和hbase集群为防止服务器宕机导致数据丢失，公司一般采用此模式。如果是个人测试使用，建议安装伪分布式 https://www.cnblogs.com/hzcjd/p/13868391.html 1安装hadoop集群启动hbase前先得启动hadoop 阅读全文

posted @ 2020-10-24 12:43 咔咔kk 阅读(213) 评论(0) 推荐(0)

hbase伪分布式安装

摘要：伪分布式安装采用一台hadoop机器，一台hbase机器实现伪分布式 hbase版本为2.2.2 192.168.21.152 上安装hadoop 192.168.21.153 上安装hbase 1 hadoop伪分布式安装详见 https://www.cnblogs.com/hzcjd/p/1 阅读全文

posted @ 2020-10-24 12:24 咔咔kk 阅读(170) 评论(0) 推荐(0)

hbase本地化安装

摘要：最近再学hbase,学习第一步就是安装程序。下面楼主介绍安装hbase本地程序。本地程序不需要安装hadoop就可运行安装hbase是在linux环境下，命令是在liunx环境中执行 1解压安装包 cd /usr/local/software tar zxvf hbase-2.2.2-bin.t 阅读全文

posted @ 2020-10-24 12:07 咔咔kk 阅读(303) 评论(0) 推荐(0)

hive举例实现字数统计

摘要：Hive是数据仓库，主要用来对历史数据做分析 Hive 的产生是为了帮助非java程序员做MR分析 Hive是以hdfs为基础的，所有的数据存储在hdfs上，hive的所有操作都是hdfs和MR操作 Hive的搭建主要是mysql服务的配置信息，hdfs存储数据的路径 Hive分区是为了提高查询的效阅读全文

posted @ 2020-09-26 17:45 咔咔kk 阅读(631) 评论(0) 推荐(0)

hive单用户模式安装

摘要：这种存储方式需要在本地运行一个mysql服务器安装前，需先安装hadoop，jdk，和mysql。详见https://www.cnblogs.com/hzcjd/p/13669270.html 第一步：Liunx环境下安装mysql wget http://repo.mysql.com/mysql 阅读全文

posted @ 2020-09-26 17:20 咔咔kk 阅读(215) 评论(0) 推荐(0)

hadoop实例：电子商务网站商品推荐系统

摘要：荐系统无处不在比如：购买成功后：购买了该商品的其他用户购买了以下商品搜索成功后：您可能感兴趣的以下商品主页或广告：您可能感兴趣的以下商品如下图，用户A购买物品AC;用户B购买物品ABC;当用户C购买物品A后，根据数据分析发现，购买物品A的用户大多数购买了物品C,所以提醒用户C”购买了该商品阅读全文

posted @ 2020-09-16 20:08 咔咔kk 阅读(865) 评论(0) 推荐(0)

安装hadoop-eclipse-plugin 插件(win7)

摘要：Eclipse配置hadoop-eclipse-plugin 插件(win7) 简化操作，楼主准备了个带有hadoop插件的eclipse。见文章末尾 7.1环境变量新增打开我的电脑—右键属性—高级系统设置—高级—环境变量，添加如下属性 HADOOP_HOME G:\tool\prodesign\ 阅读全文

posted @ 2020-09-14 21:25 咔咔kk 阅读(301) 评论(0) 推荐(0)

hadoop高可用分布式集群安装HDFS +yarm

摘要：一. 环境准备4台linux虚拟机搭服务,1台pc机三. 高可用分布式集群安装HDFS 50070 3.0部署图 NN-1 NN-2 DN ZK ZKFC JNN IP地址 Node01 * * * 192.168.21.148 Node02 * * * * * 192.168.21.147 N 阅读全文

posted @ 2020-09-14 21:20 咔咔kk 阅读(262) 评论(0) 推荐(0)

hadoop伪分布式安装（单机版） HDFS +Yarn

摘要：一.安装环境与版本 Linux，虚拟机IP192.168.21.150: hadoop-3.2.0 jdk1.8 二. 伪分布式安装HDFS 2.1hosts与profile配置 cd /etc vim hosts 192.168.21.152 ha cd /etc vim profile expo 阅读全文

posted @ 2020-09-14 20:50 咔咔kk 阅读(442) 评论(0) 推荐(0)

Hadoop理论原理

摘要：Hadoop文件存储时将文件分为元数据，数据本身分别存储。元数据指的是文件的属性信息，如存放位置，大小，创建时间等，NameNode节点保存文件元数据数据本身指的是文件中的数据，数据分块Block存储可能是一块也可能是多块，这取决数据本身大小，DataNode节点保存文件Block数据下图是h 阅读全文

posted @ 2020-09-14 20:31 咔咔kk 阅读(202) 评论(0) 推荐(0)

Eclipse上传项目到GitHub（转载）

摘要：今天看了某位大神的文章，发现原来github是对用户代码管理来说是好用的工具 github 这个网站到底是干嘛用的? github是一个代码托管平台。它可以公开你的代码让所有人都参与，它很大，很多很厉害的项目托管在上面以及，git是一个很好用的版本管理工具简单来说就是开发者提交自己的代码，大家可以共阅读全文

posted @ 2020-09-13 23:05 咔咔kk 阅读(173) 评论(0) 推荐(0)

咔咔kk

随笔分类 - 大数据

公告