2022年12月29日
hive介绍
摘要： Hive 1、Hive基本概念 1.1 hive简介 Hive：由Facebook开源用于处理海量结构日志的数据统计工具 Hive是基于Hadoop的一个数据仓库工具，可以将结构优化的数据文件映射为一张表，并提供类SQL查询功能。 Hive本质：将HQL转换为MapReduce程序 （1）Hive处 阅读全文
posted @ 2022-12-29 23:15 食尸之鬼 阅读(459) 评论(0) 推荐(0) 编辑
Hive查询
摘要： Hive查询 1、基本查询 查询语句 SELECT [ALL | DISTINCT] select_expr, select_expr, ... -- 查询表中的哪些字段 FROM table_reference -- 从哪个表查出来 [WHERE where_condition] -- where 阅读全文
posted @ 2022-12-29 23:11 食尸之鬼 阅读(226) 评论(0) 推荐(0) 编辑
2022年11月18日
Zookeeper客户端命令以及API操作
摘要： zookeeper实战 一、zookeeper客户端命令 1、zookeeper命令语法 | 命令基本语法 | 功能描述 | | : : | : : | | help | 显示所有操作命令 | | ls path | 使用ls命令来查看当前znode的子节点【可监听】 -w 监听子节点变化，只能监听 阅读全文
posted @ 2022-11-18 15:13 食尸之鬼 阅读(277) 评论(0) 推荐(0) 编辑
Zookeeper内部原理
摘要： Zookeeper内部原理 1、节点类型 每一个znode都有不同的生命周期，而生命周期长短取决于znode的节点类型。Zookeeper提供了4中节点类型。 | 节点类型 | 解释 | | | | | 持久节点（Persistent） | 默认节点类型，当前会话关闭后，该节点仍然存在；只有删除节点 阅读全文
posted @ 2022-11-18 15:10 食尸之鬼 阅读(81) 评论(0) 推荐(0) 编辑
MapReduce概述
摘要： MapReduce概述 1、MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReudce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 2、M 阅读全文
posted @ 2022-11-18 14:56 食尸之鬼 阅读(211) 评论(0) 推荐(0) 编辑
Hadoop序列化之MapReduce案例
摘要： Hadoop序列化 序列化概述 序列化就是把内存中的对象、转换成字节系列（或者其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 1、JAVA序列化和hadoop序列化 java序列化：java序列化 阅读全文
posted @ 2022-11-18 14:54 食尸之鬼 阅读(57) 评论(0) 推荐(0) 编辑
2022年11月11日
MapReduce之WordCount实例操作
摘要： WordCount实例操作 本地执行wordcount操作 1、启动IDEA,在idea搭建maven项目 配置hadoop基本依赖，导入hadoop需要的一些包 pom.xml的文件配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns=" 阅读全文
posted @ 2022-11-11 20:34 食尸之鬼 阅读(101) 评论(0) 推荐(0) 编辑
2022年10月11日
数据分析三剑客
摘要： 数据分析三剑客（numpy，pandas，matplotlib） 一、numpy 1、numpy数组的属性 | 属性 | 说明 | | : : | : : | | ndarray.ndim | 秩，即州的数量或者维度的数量 | | ndarray.shape | 数组的维度，对于矩阵，n行m列 | 阅读全文
posted @ 2022-10-11 21:03 食尸之鬼 阅读(164) 评论(0) 推荐(0) 编辑
2022年9月11日
Linux(三）之查找和压缩指令
摘要： Linux查找和压缩指令 一、查找指令 find 指令 指令格式：find 【搜索范围】【选项】 （功能描述：从指定目录向下递归地遍历其各个子目录，将满足条件地文件或者目录显示在终端） 选项说明 | 选项 | 功能 | | : : | : : | | -name <查询方式> | 按照指定的文件名查 阅读全文
posted @ 2022-09-11 17:03 食尸之鬼 阅读(301) 评论(0) 推荐(0) 编辑
2022年9月10日
Linux的使用(二）之Linux文件指令
摘要： 一、Linux的文件目录指令 1、文件操作指令 pwd指令 指令形式：pwd （功能描述：显示当前工作目录的绝对路径） pwd 输出：/home/b/a.txt **注意：**绝对路径和相对路径区别 1.绝对路径是一个文件实际存在于你的硬盘中的路径。 2.相对路径，指的是与自身的目标档案相关的位置。 阅读全文
posted @ 2022-09-10 23:49 食尸之鬼 阅读(153) 评论(0) 推荐(0) 编辑
下一页