09 2021 档案

HIve(三)
摘要：Hive 常用函数 关系运算 等值比较 = == <=> 不等值比较 != <> 区间比较： select * from default.students where id between 1500100001 and 1500100010; 空值/非空值判断：is null、is not null 阅读全文
posted @ 2021-09-29 20:32 钟心意 阅读(62) 评论(0) 推荐(0)
Hive(二)
摘要：HQL执行优先级 from、where、group by、having、ordert by、join、select、limit where条件里不支持不等式子查询，实际上是支持in、exists、not exists 列出与“SCOTT”从事相同工作的所有员工。 select t1.EMPNO , 阅读全文
posted @ 2021-09-29 20:09 钟心意 阅读(125) 评论(0) 推荐(0)
HIve(一)
摘要：创建数据库 创建一个数据库，数据库在HDFS上的默认存储路径是/usr/hive/warehouse/*.db create database db_hive; 避免要创建的数据是已经存在错误，增加if not exists 判断。 create database db_hive if not ex 阅读全文
posted @ 2021-09-27 22:01 钟心意 阅读(80) 评论(0) 推荐(0)
Hive介绍
摘要：什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 Hive处理的数据存储在HDFS Hive分析数据底层的实现是 阅读全文
posted @ 2021-09-26 20:34 钟心意 阅读(171) 评论(0) 推荐(0)
hive的安装
摘要：前提hadoop启动了 使用的hive 版本为1.2.1 还需要一个连接工具 mysql-connector-java-5.1.49.jar 解压 tar -zxvf /usr/local/moudle/apache-hive-1.2.1-bin.tar.gz -C /usr/local/soft/ 阅读全文
posted @ 2021-09-26 19:46 钟心意 阅读(65) 评论(0) 推荐(0)
MapReduce优化
摘要：优化 Map阶段 增大环形缓冲区大小。由100m扩大到200m 增大环形缓冲区溢写的比例。由80%扩大到90% 减少对溢写文件的merge次数。（10个文件，一次20个merge） 不影响实际业务的前提下，采用Combiner提前合并，减少 I/O。 Reduce阶段 合理设置Map和Reduce数 阅读全文
posted @ 2021-09-24 20:05 钟心意 阅读(295) 评论(0) 推荐(0)
Hadoop之Mapreduce
摘要：MR执行过程-map阶段 map任务处理 框架使用InputFormat类的子类把输入文件(夹)划分为很多InputSplit，默认，每个HDFS的block对应一个InputSplit。通过RecordReader类，把每个InputSplit解析成一个个<k1,v1>。默认，框架对每个 Inpu 阅读全文
posted @ 2021-09-24 19:58 钟心意 阅读(188) 评论(0) 推荐(0)
Hadoop之2.x 搭建
摘要：上传hadoop安装包 上传到msater的/usr/local/soft/ hadoop-2.7.6.tar.gz 解压 tar -xvf hadoop-2.7.6.tar.gz 配置环境变量 vim /etc/profile 增加hadoop环境变量，将bin和sbin都配置到PATh中 exp 阅读全文
posted @ 2021-09-17 16:30 钟心意 阅读(95) 评论(0) 推荐(0)
Redis集群的安装
摘要：1、创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster 2、将redis 复制到redis-cluster 目录下修改名字为7000 cp -r /usr/local/soft/redis /usr/local/ 阅读全文
posted @ 2021-09-17 14:52 钟心意 阅读(223) 评论(0) 推荐(0)
Redis之列表
摘要：（1）.list列表 基于Linked List实现 元 素是字符串类型 列表头尾增删快，中间增删慢，增删元素是常态 元素可以重复出现 最多包含2^32-1元素 （2）.列表的索引 从左至右，从0开始 从右至左，从-1开始 （3）.命令说明 B block 块，阻塞 L left 左 R right 阅读全文
posted @ 2021-09-16 21:09 钟心意 阅读(73) 评论(0) 推荐(0)
Redis之Set集合
摘要：Set集合 无序的、去重的 元素是字符串类型 最多包含2^32-1元素 增加一个或多个元素 SADD key member [member...] 如果元素已经存在，则自动忽略 举例 SADD friends peter SADD friends jack tom john SADD friends 阅读全文
posted @ 2021-09-16 21:03 钟心意 阅读(203) 评论(0) 推荐(0)
Redis相关指令
摘要：Redis数据模型 键Key Redis key 值是二进制安全的，这意味着可以用任何二进制序列作为key值，从形如”foo”的简单字符串到一个JPEG文件的内容都可以。空字符串也是有效key值 Key取值原则 键值不需要太长，消耗内存，且在数据中查找这类键值的计算成本较高 键值不宜过短，可读性较差 阅读全文
posted @ 2021-09-14 19:58 钟心意 阅读(38) 评论(0) 推荐(0)
Hadoop 3.x.x的安装与
摘要：安装前提，需要三台虚拟机并关闭防火墙，配置静态IP，配置免密登陆，JDK的安装，这些操作可以看我Linux分类中的文章，不做过多说明。 我使用的hadoop 版本是hadoop 3.1.3 下面开始安装步骤 首先将安装包传输到目录下，并解压 tar -zxvf hadoop-3.1.3.tar.gz 阅读全文
posted @ 2021-09-13 23:29 钟心意 阅读(417) 评论(0) 推荐(0)
Redis的单机安装
摘要：Redis是什么？ 开源的（BSD协议），使用ANSI C 编写，基于内存的且支持持久化，高性能的Key-Value的NoSQL数据库 支持数据结构类型丰富，有如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围 阅读全文
posted @ 2021-09-13 19:57 钟心意 阅读(119) 评论(0) 推荐(0)
MAVEN的安装与应用
摘要：安装前提：我使用的是2018版本的IDEA,所以Maven的版本不能过高，这里我使用的maven版本是3.5.2 Maven下载地址：https://mvnrepository.com/ 搜索maven 选第一个然后寻找自己IDEA需要的版本即可。 下载完成之后，打开IDEA 按图点击 因为mave 阅读全文
posted @ 2021-09-08 16:13 钟心意 阅读(67) 评论(0) 推荐(0)
IDEA使用JDBC连接MYSQL库
摘要：在MYSQL学习过程中，我们可以使用IDEA来连接MSYQL库，对MSYQL库进行操作，这里需要用到JDBC 我使用的版本是 mysql-connector-java-5.1.17，可以根据自己的mysql版本进行调整 可以进入MAVEN仓库 https://mvnrepository.com/ 搜 阅读全文
posted @ 2021-09-07 23:36 钟心意 阅读(568) 评论(0) 推荐(0)
shell相关操作指令
摘要：shell操作linux的桥梁 创建: 后缀为.sh的文件 编写: 头部注释为#!/bin/sh或者#!/bin/bash(注释可写可不写,建议写上) 运行: 1.通过sh命令执行 例如:sh helloworld.sh 2.通过bash命令执行 例如:bash helloworld.sh 3.通过 阅读全文
posted @ 2021-09-03 19:49 钟心意 阅读(93) 评论(0) 推荐(0)