Loading

文章分类 -  大数据

Kafka介绍
摘要：目录一、Kafka介绍1.Kafka的使用场景、2.Kafka基本概念二、kafka基本使用1.安装前的环境准备2.启动kafka服务器3.创建主题topic4.发送消息5.消费消息三、Kafka中的关键细节1.消息的顺序存储2. 单播消息的实现【组内单播，组间多播】3.多播消息的实现【组内单播，组 阅读全文
posted @ 2023-10-21 22:00 言非 阅读(100) 评论(0) 推荐(0)
消息队列的流派
摘要：目录什么是 MQMQ 的分类有 Broker 的 MQ重 Topic轻 Topic无 Broker 的 MQ 返回 我的技术栈(Technology Stack) 什么是 MQ Message Queue（MQ），消息队列中间件。 很多人都说：MQ 通过将消息的发送和接收分离来实现应用程序的异步和解 阅读全文
posted @ 2023-10-21 19:04 言非 阅读(78) 评论(0) 推荐(0)
YARN详解
摘要：目录YARN概述 返回 我的技术栈(Technology Stack) YARN概述 Apache Hadoop YARN（Yet Another Resource Negotiator， 另一种资源协调者）是一种新的Hadoop资源管理器。 YARN是一个通用的资源管理系统和调度平台，可以为上层应 阅读全文
posted @ 2023-10-12 08:40 言非 阅读(39) 评论(0) 推荐(0)
MapReduce详解
摘要：目录MapReduce定义WordCount例子MapReduce优缺点优点缺点MapReduce核心思想MapReduce进程MapReduce编程规范Hadoop序列化序列化概述MapReduce框架原理InputFormat数据输入切片与MapTask并行度决定机制FileInputForma 阅读全文
posted @ 2023-10-05 18:40 言非 阅读(1130) 评论(0) 推荐(0)
HDFS详解
摘要：目录一、HDFS产出背景及定义二、HDFS优缺点三、HDFS组成架构四、HDFS文件块大小HDFS的读写流程HDFS中的block、packet、chunkHDFS的读流程HDFS的写流程NameNode和SecondaryNameNode工作机制Fsimage和Edits解析CheckPoint时 阅读全文
posted @ 2023-10-04 23:51 言非 阅读(300) 评论(0) 推荐(0)
Hadoop概述及集群搭建
摘要：目录一、Hadoop介绍二、Hadoop发展简史三、Hadoop核心组件四、Hadoop架构变迁1、Hadoop 1.02、Hadoop 2.03、Hadoop 3.0五、分布式和集群的概念六、Hadoop集群简介七、Hadoop部署模式八、Hadoop 集群搭建第一步：创建虚拟机第二步：安装Lin 阅读全文
posted @ 2023-10-02 18:30 言非 阅读(1031) 评论(0) 推荐(0)
分布式系统
摘要：目录分布式系统概念分布式与集群的区别负载均衡（Load Balance）故障转移（Fail Over）伸缩性（Scalability） 返回 我的技术栈(Technology Stack) 分布式系统概念 分布式系统是一个硬件或软件组件分布在不同的网络计算机上 彼此之间仅仅通过消息传递进行通信和协调 阅读全文
posted @ 2023-10-01 15:43 言非 阅读(32) 评论(0) 推荐(0)
Spark介绍
摘要：目录Spark是什么Spark和Hadoop技术栈的区别Spark四大特点Spark 框架模块Spark的运行模式Spark的架构角色YARN角色Spark角色面试题 返回 我的技术栈(Technology Stack) Spark是什么 Apache Spark是一个开源的大数据处理框架，旨在提供 阅读全文
posted @ 2023-09-29 23:30 言非 阅读(275) 评论(0) 推荐(0)
创建和管理表
摘要：目录基础知识一条数据存储的过程标识符命名规则MySQL中的数据类型创建和管理数据库创建数据库使用数据库修改数据库删除数据库创建表创建方式1创建方式2查看数据表结构修改表追加一个列修改一个列重命名一个列删除一个列重命名表删除表清空表COMMIT 和 ROLLBACK 的区别TRUNCATE TABLE 阅读全文
posted @ 2023-09-18 09:30 言非 阅读(17) 评论(0) 推荐(0)
子查询
摘要：目录子查询的基本使用子查询的分类单行子查询单行比较操作符代码示例HAVING 中的子查询CASE中的子查询子查询中的空值问题多行子查询多行比较操作符代码示例相关子查询相关子查询执行流程代码示例EXISTS 与 NOT EXISTS关键字相关更新相关删除抛一个思考题 返回 我的技术栈(Technolo 阅读全文
posted @ 2023-09-17 16:56 言非 阅读(47) 评论(0) 推荐(0)
SQL执行顺序
摘要：目录查询的结构执行顺序SQL 的执行原理 返回 我的技术栈(Technology Stack) 查询的结构 #方式1： SELECT ...,....,... FROM ...,...,.... WHERE 多表的连接条件 AND 不包含组函数的过滤条件 GROUP BY ...,... HAVIN 阅读全文
posted @ 2023-09-03 17:12 言非 阅读(105) 评论(0) 推荐(0)
聚合函数
摘要：目录聚合函数AVG和SUM函数MIN和MAX函数COUNT函数GROUP BYHAVINGWHERE和HAVING的对比 返回 我的技术栈(Technology Stack) 准备数据 创建 customers 表： CREATE TABLE customers ( id INT PRIMARY K 阅读全文
posted @ 2023-09-02 23:53 言非 阅读(46) 评论(0) 推荐(0)
单行函数
摘要：目录数值函数基本函数角度与弧度互换函数三角函数指数与对数进制间的转换字符串函数日期和时间函数获取日期、时间日期与时间戳的转换获取月份、星期、星期数、天数等函数日期的操作函数时间和秒钟转换的函数计算日期和时间的函数日期的格式化与解析流程控制函数加密与解密函数MySQL信息函数其他函数 返回 我的技术栈 阅读全文
posted @ 2023-09-02 19:52 言非 阅读(39) 评论(0) 推荐(0)
多表查询
摘要：目录一、 一个案例引发的多表连接1. 案例说明2. 笛卡尔积（或交叉连接）的理解3. 案例分析与问题解决二、多表查询分类1. 等值连接 vs 非等值连接2. 自连接 vs 非自连接3. 内连接 vs 外连接三、9种join方式INNER JOINLEFT JOINRIGHT JOINLEFT JOI 阅读全文
posted @ 2023-09-02 12:28 言非 阅读(143) 评论(0) 推荐(0)
排序与分页
摘要：目录1. 排序规则1.1 单列排序1.2 多列排序2. 分页2.1 背景2.2 实现规则2.3 拓展 返回 我的技术栈(Technology Stack) 1. 排序规则 使用 ORDER BY 子句排序 ASC（ascend）: 升序 (默认) DESC（descend）: 降序 1.1 单列排序 阅读全文
posted @ 2023-08-28 08:32 言非 阅读(27) 评论(0) 推荐(0)
MySQL运算符
摘要：目录一、算术运算符二、乘法与除法运算符三、比较运算符1．等号运算符2．安全等于运算符3．不等于运算符4. 空运算符5. 非空运算符6. 最小值运算符7. 最大值运算符8. BETWEEN AND运算符9. IN运算符10. NOT IN运算符11. LIKE运算符12. REGEXP运算符四、逻辑运 阅读全文
posted @ 2023-08-27 20:59 言非 阅读(218) 评论(0) 推荐(0)
MySQL基础概述
摘要：目录一、SQL分类二、SQL语言的规则与规范1、基本规则2、SQL大小写规范 （建议遵守）三、不推荐直接使用SELECT *进行查询四、DISTINCT 去除重复行五、空值参与运算六、着重号 返回 我的技术栈(Technology Stack) 一、SQL分类 SQL语言在功能上主要分为如下3大类： 阅读全文
posted @ 2023-08-27 18:39 言非 阅读(19) 评论(0) 推荐(0)