摘要: SQOOP安装及使用 目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改配置文件3、修改环境变量4、添加MySQL连接驱动5、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数据的方式使用Navicat运行SQL文件导出MySQL数据库im 阅读全文
posted @ 2024-11-27 09:33 bjynjj 阅读(16) 评论(0) 推荐(0) 编辑
摘要: HBase进阶与API 一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中,如何实现呢? 使用这种格式即可:‘命名空间名称:表名’ 针对default这个命名空间,在使用的时候可以省略不写 create ' 阅读全文
posted @ 2024-11-27 09:25 bjynjj 阅读(3) 评论(0) 推荐(0) 编辑
摘要: Hbase之过滤器 HBase 的基本 API,包括增、删、改、查等。 增、删都是相对简单的操作,与传统的 RDBMS 相比,这里的查询操作略显苍白,只能根据特性的行键进行查询(Get)或者根据行键的范围来查询(Scan)。 HBase 不仅提供了这些简单的查询,而且提供了更加高级的过滤器(Filt 阅读全文
posted @ 2024-11-27 09:15 bjynjj 阅读(14) 评论(0) 推荐(0) 编辑
摘要: Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀,一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式,Apache Phoenix即是。 Pho 阅读全文
posted @ 2024-11-27 09:12 bjynjj 阅读(6) 评论(0) 推荐(0) 编辑
摘要: Hive集成Tez Tez介绍:https://www.infoq.cn/article/apache-tez-saha-murthy MR在hive2中已经被弃用了,推荐使用Tez或Spark作为执行引擎 1、编译 下载Tez源码并根据Hadoop版本进行 由于Tez官方所提供的安装包对某些Had 阅读全文
posted @ 2024-11-27 09:10 bjynjj 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Hive函数学习 SQL练习 1、count(*)、count(1) 、count('字段名') 区别 从执行结果来看 count(*)包括了所有的列,相当于行数,在统计结果的时候,不会忽略列值为NULL 最慢的 count(1)包括了忽略所有列,用1代表代码行,在统计结果的时候,不会忽略列值为NU 阅读全文
posted @ 2024-11-27 09:03 bjynjj 阅读(9) 评论(0) 推荐(0) 编辑
摘要: HBase架构与基础命令 一、了解HBase 官方文档:https://hbase.apache.org/ 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,用于存储海量的结构化或者半结构化,非结构化的数据(底层是字节数组做存储的) HBase是Hadoop 阅读全文
posted @ 2024-11-17 19:04 bjynjj 阅读(41) 评论(0) 推荐(0) 编辑
摘要: hbase-2.2.7分布式搭建文档 一,搭建前准备 1.检查是否已经安装JDK 2.搭建hbase前需要先搭建好hadoop 3.检查zookeeper是否正常启动 #启动zookeeper(三台都要启动) zkServer.sh start #查看zookeeper状态(一个leader两个fo 阅读全文
posted @ 2024-11-15 17:38 bjynjj 阅读(46) 评论(0) 推荐(0) 编辑
摘要: Hive优化 1.1 hive的随机抓取策略 理论上来说,Hive中的所有sql都需要进行mapreduce,但是hive的抓取策略帮我们 省略掉了这个过程,把切片split的过程提前帮我们做了。 set hive.fetch.task.conversion=none; (一旦进行这么设置,sele 阅读全文
posted @ 2024-11-14 20:06 bjynjj 阅读(15) 评论(0) 推荐(0) 编辑
摘要: Hive3.1.2概述与基本操作 1、Hive基本概念 1.1 Hive简介 Hive本质是将SQL转换为MapReduce的任务进行运算,底层由HDFS来提供数据存储,说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具,甚至更近一步说hive就是一个MapReduce客户端。 阅读全文
posted @ 2024-11-11 14:53 bjynjj 阅读(208) 评论(0) 推荐(0) 编辑