摘要：
Hbase学习（三）过滤器 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（ 阅读全文
posted @ 2022-06-23 15:57 liudehaos 阅读(224) 评论(0) 推荐(0)
摘要：
一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中，如何实现呢？ 使用这种格式即可：‘命名空间名称:表名’ 针对default这个命名空间，在使用的时候可以省略不写 create 'bigdata17:t1 阅读全文
posted @ 2022-06-23 15:55 liudehaos 阅读(230) 评论(0) 推荐(0)
摘要：
HBase学习（一） 一、了解HBase 官方文档：https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据 HBase是Hadoop的生态系统之 阅读全文
posted @ 2022-06-23 15:51 liudehaos 阅读(96) 评论(0) 推荐(0)
摘要：
Hive优化（面试宝典） 1.1 hive的随机抓取策略 理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们 省略掉了这个过程，把切片split的过程提前帮我们做了。 set hive.fetch.task.conversion=none; (一旦进行这么设 阅读全文
posted @ 2022-06-23 15:32 liudehaos 阅读(366) 评论(0) 推荐(0)
摘要：
第三天笔记 第三天笔记 SQL练习Hive 常用函数关系运算数值计算条件函数日期函数重点！！！字符串函数Hive 中的wordCount1.1 Hive窗口函数1.1.1 聚合开窗函数聚合开窗函数实战：实战1：Hive用户购买明细数据分析实战1需求：1.1.2 排序开窗函数实战2：Hive分析学生成 阅读全文
posted @ 2022-06-23 15:29 liudehaos 阅读(484) 评论(0) 推荐(0)
摘要：
案例一 练习：一：将下列数据加载hive表。 员工信息表emp：字段：员工id,员工名字,工作岗位,部门经理,受雇日期,薪水,奖金,部门编号英文名：EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,BONUS,DEPTNO create table emp( EMPNO int ,E 阅读全文
posted @ 2022-06-23 15:22 liudehaos 阅读(313) 评论(0) 推荐(0)
摘要：
sql:Hive实现按照指定格式输出每七天的消费平均数输出格式：2018-06-01~2018-06-07 12.29...2018-08-10~2018-08-16 80.67 答案：-- 1、先将日期进行切分得到年月日select split(date_time,'/'),cost from f 阅读全文
posted @ 2022-06-07 21:52 liudehaos 阅读(409) 评论(0) 推荐(0)
摘要：
1.3 Hive的安装(前提是：mysql和hadoop必须已经成功启动了) 在之前博客中我有记录安装JDK和Hadoop和Mysql的过程，如果还没有安装，请先进行安装配置好，对应的随笔我也提供了百度云下载连接。 安装JDK: https://www.cnblogs.com/wyh-study/p 阅读全文
posted @ 2022-06-06 10:49 liudehaos 阅读(257) 评论(0) 推荐(0)
摘要： 
Hadoop - MapReduce 一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有 阅读全文
Hadoop - MapReduce 一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有 阅读全文
posted @ 2022-05-26 22:39 liudehaos 阅读(122) 评论(0) 推荐(0)
摘要：
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启 动之前将不可用 c. 如果发生意外事件 阅读全文
posted @ 2022-05-25 21:47 liudehaos 阅读(220) 评论(0) 推荐(0)
浙公网安备 33010602011771号