摘要： 附录一：报错处理一： ### 报错现象： [root@linux121 lib64]# hadoop checknative -a 21/08/12 22:00:29 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native- 阅读全文

摘要： 一、大数据解决的是什么问题 ### 大数据技术解决的是什么问题？ ~~~ 大数据技术解决的主要是海量数据的存储和计算。 ### Hadoop的广义和狭义之分 ~~~ # 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成： ~~~ HDFS：分布式文件系统--》存储：MapReduce: 阅读全文

摘要： 一、大数据的定义 ### 大数据定义 ~~~ 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合， ~~~ 是需要新处理模式才能具有更强的决策力、 ~~~ 洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的特点 ### 大数据的特点 ~~~ 大数据的特 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、MySQL高可用集群方案 ### 主从复制+读写分离 ~~~ 此种架构，一般初创企业比较常用，也便于后面步步的扩展, ~~~ 客户端通过Master对数据库进行写操作， ~~~ slave端进行读操作，并可进行备份。Master出现问题后，可以手动将应用切换到slave端。 ### 主从复制的优 阅读全文

摘要： 一、行锁测试 ### 更新时的行锁测试：数据准备 ~~~ # 创建表 CREATE TABLE innodb_lock( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(20), age INT, INDEX idx_name(NAME) ); ~~~ 阅读全文

摘要： 一、行锁分析 ### 执行下面的命令,可以获取行锁锁信息 mysql> SHOW STATUS LIKE 'innodb_row_lock%'; + + + | Variable_name | Value | + + + | Innodb_row_lock_current_waits | 0 | | 阅读全文

摘要： 一、MySQL高可用设计 ### 什么是高可用性 ——> 维基百科的解释是：高可用性（英语：High availability，缩写为 HA）， ——> IT术语，指系统无中断地执行其功能的能力，代表系统的可用性程度。 ——> 是进行系统设计时的准则之一。高可用性系统与构成该系统的各个组件相比可以更 阅读全文

摘要： 一、行级锁(偏写) ### 行级锁介绍 ——> 行锁的是mysql锁中粒度最小的一种锁，因为锁的粒度很小， ——> 所以发生资源争抢的概率也最小，并发性能最大，但是也会造成死锁， ——> 每次加锁和释放锁的开销也会变大。 ### 使用MySQL行级锁的两个前提 ——> 使用 innoDB 引擎 —— 阅读全文

摘要： 一、表级锁之读锁演示 ### 表级锁(偏读) ——> 表级锁是MySQL中锁定粒度最大的一种锁，表示对当前操作的整张表加锁， ——> 它实现简单，资源消耗较少，被大部分MySQL引擎支持。最常使用的MYISAM与INNODB都支持表级锁定。 ——> 表级锁定分为: 表共享读锁（共享锁）与表独占写锁（ 阅读全文

摘要： 一、表级锁之写锁演示 ### 加写锁测试 ~~~ 在窗口1中 对mylock01表加写 lock table mylock01 write; ~~~ 在窗口1中, 对 mylock01 进行读写操作, 都是可以进行的 select * from mylock01 where id = 1; upda 阅读全文

摘要： 一、MySQL的锁分类 ### mysql锁分类 ——> MySQL数据库由于其自身架构的特点,存在多种数据存储引擎, ——> MySQL中不同的存储引擎支持不同的锁机制。 ——> MyISAM和MEMORY存储引擎采用的表级锁， ——> InnoDB存储引擎既支持行级锁，也支持表级锁，默认情况下采 阅读全文

摘要： 一、mysql锁概述 ### 锁的概念 ——> 数据库锁定机制简单来说，就是数据库为了保证数据的一致性， ——> 而使各种共享资源在被并发访问变得有序所设计的一种规则. ——> 假设当前商品只有一件, 两个用户同时购买,我们需要保证只有一个用户能下单成功. ——> 因为购买行为是一组操作,这里需要使 阅读全文

摘要： 一、EXPLAN_rows字段介绍 ### rows 介绍 ——> 表示MySQL根据表统计信息及索引选用情况，估算的找到所需的记录所需要读取的行数； ——> 越少越好使用like 查询,会产生全表扫描, L2中有3条记录,就需要读取3条记录进行查找 EXPLAIN SELECT * FROM L1 阅读全文

摘要： 一、EXPLAIN_extra ### extra 介绍 ——> Extra 是 EXPLAIN 输出中另外一个很重要的列， ——> 该列显示MySQL在查询过程中的一些详细信息 二、准备数据 CREATE TABLE users ( uid INT PRIMARY KEY AUTO_INCREME 阅读全文

摘要： 一、possible_keys 与 key介绍 ### possible_keys ——> 显示可能应用到这张表上的索引, 一个或者多个. ——> 查询涉及到的字段上若存在索引, 则该索引将被列出, 但不一定被查询实际使用. ### key ——> 实际使用的索引，若为null，则没有使用到索引。 阅读全文

摘要： 一、EXPLAIN_key_len&ref字段介绍 ### key_len介绍 ——> 表示索引中使用的字节数, 可以通过该列计算查询中使用索引的长度. ——> key_len 字段能够帮你检查是否充分利用了索引 ken_len 越长, 说明索引使用的越充分 ### 创建表 CREATE TABLE 阅读全文

摘要： 一、[EXPLAIN_type字段介绍] ### type介绍 ~~~ type显示的是连接类型，是较为重要的一个指标。 ~~~ 下面给出各种连接类型,按照从最佳类型到最坏类型进行排序: system > const > eq_ref > ref > fulltext > ref_or_null > 阅读全文

摘要： 一、EXPLAIN字段介绍 ### 数据准备 ~~~ # 创建数据库 CREATE DATABASE test_explain CHARACTER SET 'utf8'; ~~~ # 创建表 CREATE TABLE L1(id INT PRIMARY KEY AUTO_INCREMENT,titl 阅读全文

摘要： 一、EXPLAIN_select_type介绍 ### select_type和table介绍 ~~~ 查询类型，主要用于区别普通查询，联合查询，子查询等的复杂查询simple : ~~~ 简单的select查询，查询中不包含子查询或者UNION EXPLAIN SELECT * FROM L1; 阅读全文

摘要： 一、EXPLAIN简介 ### 概述 ——> 使用 EXPLAIN 关键字可以模拟优化器执行SQL查询语句， ——> 从而知道MySQL是如何处理你的SQL语句的。 ——> 分析你的查询语句或是表结构的性能瓶颈。 ——> 通过explain我们可以获得以下信息： ### EXPLAIN的作用 ——> 阅读全文

摘要： 一、HASH结构介绍 ### 索引原理 ——> MySQL中索引的常用数据结构有两种，一种是Hash，另一种是BTree。 ### HASH结构 ——> Hash底层实现是由Hash表来实现的，是根据键值 <key,value> 存储数据的结构。 ——> 非常适合根据key查找value值，也就是单 阅读全文

摘要： 一、B+Tree介绍 ### B+Tree介绍 ——> MySQL数据库索引采用的是B+Tree结构，在B-Tree结构上做了优化改造。 ### B+Tree结构 ——> 非叶子节点不存储data数据，只存储索引值，这样便于存储更多的索引值 ——> 叶子节点包含了所有的索引值和data数据 ——> 阅读全文

摘要： 一、MySQL索引优化 ### 索引简介 ~~~ # 什么是索引 ——> 索引就是排好序的,帮助我们进行快速查找的数据结构. ——> 简单来讲，索引就是一种将数据库中的记录按照特殊形式存储的数据结构。 ——> 通过索引，能够显著地提高数据查询的效率，从而提升服务器的性能. ——> 专业一点来说呢，索 阅读全文

摘要： 一、索引的优势与劣势 ### 优点 ——> 提高数据检索的效率,降低数据库的IO成本 ——> 通过索引列对数据进行排序,降低数据排序的成本,降低了CPU的消耗 ### 缺点 ——> 创建索引和维护索引要耗费时间，这种时间随着数据量的增加而增加 ——> 索引需要占物理空间，除了数据表占用数据空间之外， 阅读全文

摘要： 一、[常见的三种存储引擎]：存储引擎 ### 常见的3种存储引擎 ### 查看MySQL数据的存储引擎有哪些 ~~~ # MySQL给用户提供了很多种类的存储引擎, 主要分两大类: ——> 事务安全表: InnoDB ——> 非事务安全表: MyISAM、MEMORY、MERGE、EXAMPLE、N 阅读全文

摘要： 一、慢查询日志分析 ### 慢查询介绍 ——> MySQL的慢查询，全名是慢查询日志，是MySQL提供的一种日志记录， ——> 用来记录在MySQL中响应时间超过阈值的语句。 ——> 默认情况下，MySQL数据库并不启动慢查询日志，需要手动来设置这个参数。 ——> 如果不是调优需要的话，一般不建议启 阅读全文

摘要： 一、MySQL存储引擎 ### 存储引擎 介绍 ~~~ # 什么是存储引擎 ——> 百度百科 ——> 存储引擎就是如何存储数据、如何为存储的数据建立索引和如何更新、 ——> 查询数据等技术的实现方法。就像汽车的发动机一样, ——> 存储引擎好坏 决定的数据库提供的功能和性能 二、存储引擎的作用 ## 阅读全文

摘要： 一、SQL的执行顺序：程序员编写的SQL 二、MySQL执行的SQL ——> 1. FORM子句 : 左右两个表的笛卡尔积 ——> 2. ON: 筛选满足条件的数据 ——> 3. JOIN： 如果是 inner join 那就正常,如果是 outer join 则会添加回来上面一步过滤掉的一些行 — 阅读全文

摘要： 一、JOIN查询的七种方式：7中JOIN ,可以分为四类: 内连接 、左连接 、右连接、 全连接 二、JOIN查询SQL编写 ### JOIN查询SQL编写 ——> 创建表 插入数据 ~~~ # 部门表 DROP TABLE IF EXISTS `t_dept`; CREATE TABLE `t_d 阅读全文

摘要： 一、热备份实战 ### mysqldump 备份工具 ——> mysqldump是MySQL数据库用来备份和数据转移的一个工具， ——> 一般在数据量很小的时候（几个G）可以用于备份。 ——> 热备可以对多个库进行备份，可以对单张表或者某几张表进行备份。 二、备份单个数据库 ### 备份单个数据库 阅读全文

摘要： 一、MySQL查询和慢查询日志分析 ### SQL性能下降的原因 ——> 在日常的运维过程中，经常会遇到DBA将一些执行效率较低的SQL发过来找开发人员分析， ——> 当我们拿到这个SQL语句之后，在对这些SQL进行分析之前， ——> 需要明确可能导致SQL执行性能下降的原因进行分析， ——> 执行 阅读全文

摘要： 一、MySQL冷备份和热备份 ### mysql冷备份热备份 ——> 冷备份和热备份指的是, 按照数据库的运行状态分类 二、冷备份 ### 冷备份 ——> 冷备份指的是当数据库进行备份时, 数据库不能进行读写操作, 即数据库要下线 ### 冷备份的优点： ——> 是操作比较方便的备份方法（只需拷贝文 阅读全文

摘要： 一、冷备份实战 ### 关闭SELinux ~~~ 修改 selinux 配置文件,将SELINUX=enforcing改为SELINUX=disabled，保存后退出 [root@localhost ~]# vim /etc/selinux/config SELINUX=disabled ### 阅读全文

摘要： 一、MySQL逻辑架构 ### mysql逻辑架构 ——> 学习 MySQL 就好比盖房子，如果想把房子盖的特别高，地基一定要稳，基础一定要牢固。 ——> 学习MySQL 数据库前要先了解它的体系结构，这是学好 MySQL 数据库的前提。 ### MySQL架构体系介绍 ——> MySQL 由连接池 阅读全文

摘要： 一、MySQL物理文件 ### mysql物理文件 ——> 物理文件包括：日志文件，数据文件，配置文件 ### 日志文件 ——> error log 错误日志 排错 /var/log/mysqld.log【默认开启】 ——> bin log 二进制日志 备份 增量备份 DDL DML DCL ——> 阅读全文

摘要： 一、MySQL的备份与恢复 ### 为什么要进行数据备份 ——> 我们试着想一想, 在生产环境中什么最重要？ ——> 如果我们服务器的硬件坏了可以维修或者换新, 软件问题可以修复或重新安装, ——> 但是如果数据没了呢 对于一些网站、系统来说，数据库就是一切， ——> 所以做好数据库的备份是至关重要 阅读全文

摘要： 一、MySQL架构组成 ### 高级MySQL介绍 ~~~ # 课程主要内容 ——> MySQL架构组成 ——> MySQL的备份与恢复 ——> MySQL查询和慢查询日志分析 ——> MySQL存储引擎 ——> MySQL索引优化 ——> MySQL锁机制 ——> MySQL高可用设计 ——> M 阅读全文