摘要：
对crash的数据库进行故障分析并不是一件快乐的事情，尤其是 MySQL 的日志中没有提供 crash 原因的情形。比如当 MySQL 内存耗尽。在 2012年 Peter Zaitsev 写了一篇文章 分析MySQL如何使用内存 该文章中有很多有用的技巧。使用新版本的 MySQL (5.7+) 和 阅读全文
posted @ 2021-12-12 00:27
屠魔的少年
阅读(9)
评论(0)
推荐(0)
摘要：
多大的 key 算大 阿里云Redis 最佳实践中提到： 合理的 Key 中 Value 的字节大小，推荐小于10 KB。过大的 Value 会引发数据倾斜、热点Key、实例流量或 CPU 性能被占满等问题，应从设计源头上避免此类问题带来的性能影响。 那么 value Bytes >10kb 可以作 阅读全文
posted @ 2021-12-12 00:23
屠魔的少年
阅读(13)
评论(0)
推荐(0)
摘要：
systemd 介绍 systemd是目前Linux系统上主要的系统守护进程管理工具，由于init一方面对于进程的管理是串行化的，容易出现阻塞情况，另一方面init也仅仅是执行启动脚本，并不能对服务本身进行更多的管理。所以从CentOS 7开始也由systemd取代了init作为默认的系统进程管理工 阅读全文
posted @ 2021-12-12 00:19
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
TwinDB是一款专门用于InnoDB数据恢复的工具，它还有一个名字叫undrop for InnoDB。 安装方法 使用下面的命令进行下载： $ wget https://github.com/chhabhaiya/undrop-for-innodb/archive/master.zip 或者： 阅读全文
posted @ 2021-12-12 00:17
屠魔的少年
阅读(11)
评论(0)
推荐(0)
摘要：
一、锁类型介绍： MySQL有三种锁的级别：页级、表级、行级。 表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。 行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。 页面锁：开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度 阅读全文
posted @ 2021-12-12 00:07
屠魔的少年
阅读(7)
评论(0)
推荐(0)
摘要：
MySQL 索引及优化实战 索引概念和作用 索引是一种使记录有序化的技术，它可以指定按某列/某几列预先排序，从而大大提高查询速度（类似于汉语词典中按照拼音或者笔画查找）。 索引的主要作用是加快数据查找速度，提高数据库的性能。 MySQL 索引类型 从物理存储角度上，索引可以分为聚集索引和非聚集索引。 阅读全文
posted @ 2021-12-12 00:00
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
MySQL的字符集从latin1经过utf8 到utf8mb4 ，算是经历曲折的路线。特别是从使用一个字符集变更另一个字符集时，实践当中都非常无奈,不是没办法，而是麻烦。到了MySQL8.0多出了一个字符集utf8mb4_0900_*的字符集，有必要了解一下。 1.字符集基础 先了解下MySQL字符 阅读全文
posted @ 2021-12-11 23:56
屠魔的少年
阅读(7)
评论(0)
推荐(0)
摘要：
my2sql go版MySQL binlog解析工具，通过解析MySQL binlog ，可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等，也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等，本工具基于my2fback、binlog_roll 阅读全文
posted @ 2021-12-11 23:45
屠魔的少年
阅读(10)
评论(0)
推荐(0)
摘要：
strace简介 strace是Linux环境下的一款程序调试工具，用来监察一个应用程序所使用的系统调用。Strace是一个简单的跟踪系统调用执行的工具。在其最简单的形式中，它可以从开始到结束跟踪二进制的执行，并在进程的生命周期中输出一行具有系统调用名称，每个系统调用的参数和返回值的文本行。 常用选 阅读全文
posted @ 2021-12-11 23:38
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
问题 我的 MySQL CPU 高了，看了一下 processlist，实在有太多行了，我要不要准备辞职？ 实验 MySQL CPU 飚高的原因有很多种，我们先分析一种最简单常见的。 还是先建个数据库： 快速造一些数据： 反复执行最后一句 SQL： 下面来执行一条比较坑的 SQL，让 CPU hig 阅读全文
posted @ 2021-12-11 23:33
屠魔的少年
阅读(10)
评论(0)
推荐(0)
摘要：
一、思路 设置 init_connect 参数； 创建用户连接信息表； 通过 binlog 日志进行查看执行的危险 SQL 语句； 通过 thread_id 找到对应的用户及来源 IP 地址。 init_connect 参数的功能：当用户在客户端连接 MySQL 时，隐式执行的一条自定义的 SQL 阅读全文
posted @ 2021-12-11 23:30
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
一、OGG概述 OGG全称为Oracle GoldenGate,是由Oracle官方提供的用于解决异构数据环境中数据复制的一个商业工具。相比于其它迁移工具OGG的优势在于可以直接解析源端Oracle的redo log，因此能够实现在不需要对原表结构做太多调整的前提下完成数据增量部分的迁移。本篇文章将 阅读全文
posted @ 2021-12-11 23:24
屠魔的少年
阅读(19)
评论(0)
推荐(0)
摘要：
1、用dbm来解放生产力 对于 dbm 来讲无论你是搭建单机、主从复制、异或是 MGR 都只须要一行命令就能高效、高质量的解决；而且几乎不会有任何成本(dbm是全开源的，包含dbm-agent,dbm-center)，下面先来检验一下 dbm-agent 常来的效率提高。数据库 2、安装&初始化db 阅读全文
posted @ 2021-12-11 23:19
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
1. Mysql 是如何使用索引的 索引可以帮助我们快速的找到包含指定列值的行。假如没有索引的话，Mysql必须从第一行开始查找整个表，才能找到我们想要的那些行。如果没有索引，表越大，花费的时间也就越大。如果我们在查询条件中指定了某几个列的值，并且这个表恰好有一个建立在这些列上的索引，那么Mysql 阅读全文
posted @ 2021-12-11 23:14
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
#! /bin/env python # encoding: utf-8 import datetime import smtplib from email.mime.multipart import MIMEMultipart from email.mime.text import MIMETex 阅读全文
posted @ 2021-12-11 23:12
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
#! /bin/env python # encoding: utf-8 import xlwt import pymysql import datetime from mail import send_mail yestoday = (datetime.datetime.now() + datet 阅读全文
posted @ 2021-12-11 23:11
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
问题 前几天遇到一个奇怪的问题，服务器内存明明够用，结果在对 MySQL 进行测压的时候却出现了 OOM，是 Linux 内核出错了吗？ 具体现象如下：使用 sysbench 对 mysql 进行压测，并发 50、80 均正常输出，当并发达到 100 时开始报 OOM。 [root@yang-01 阅读全文
posted @ 2021-12-10 15:45
屠魔的少年
阅读(6)
评论(0)
推荐(0)
摘要：
本文将就下面三个场景做正向测试 case1. MySQL 配置文件和 mysqld.service 中都声明了可打开的最大文件数时，哪个在生效？ case2. MySQL 配置文件中对可打开的最大文件数配置，怎么才能生效？ case3. 如果把 mysqld 的 service 中对最大文件数做的限 阅读全文
posted @ 2021-12-10 15:18
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
一、背景 #### 20191219 10:10:10,234 | com.alibaba.druid.filter.logging.Log4jFilter.statementLogError(Log4jFilter.java:152) | ERROR | {conn-10593, pstmt-38 阅读全文
posted @ 2021-12-10 13:55
屠魔的少年
阅读(8)
评论(0)
推荐(0)
摘要：
可以通过三种方式对 Hive 的相关属性进行配置，分别介绍如下： 配置文件 方式一为使用配置文件，使用配置文件指定的配置是永久有效的。Hive 有以下三个可选的配置文件： hive-site.xml - Hive 的主要配置文件； hivemetastore-site.xml - 关于元数据的配置； 阅读全文
posted @ 2021-12-08 23:06
屠魔的少年
阅读(7)
评论(0)
推荐(0)
摘要：
Help 使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助，显示如下： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or 阅读全文
posted @ 2021-12-08 23:05
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources (opens new window)目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 阅读全文
posted @ 2021-12-08 23:02
屠魔的少年
阅读(7)
评论(0)
推荐(0)
摘要：
一、加载文件数据到表 语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOCAL 关键字代表从本地文件系统加载 阅读全文
posted @ 2021-12-08 22:59
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
一、视图 简介 Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用视图时，Hive 可以将视图的定义与查询结合起来，例如将查询中的过滤器 阅读全文
posted @ 2021-12-08 22:57
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
一、分区表 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 子句中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的分区设 阅读全文
posted @ 2021-12-08 22:55
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
一、Database 查看数据列表 show databases; 使用数据库 USE database_name; 新建数据库 语法： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name --DATABASE|SCHEMA 是等价的 [CO 阅读全文
posted @ 2021-12-08 22:50
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
一、简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 Hive包括以下部件： 1）用户接口:UI 包括CLI（hive shell 阅读全文
posted @ 2021-12-08 22:47
屠魔的少年
阅读(3)
评论(0)
推荐(0)
摘要：
配置文件 backup-masters - 默认情况下不存在。列出主服务器应在其上启动备份主进程的主机，每行一个主机。 hadoop-metrics2-hbase.properties - 用于连接 HBase Hadoop 的 Metrics2 框架。 hbase-env.cmd and hbas 阅读全文
posted @ 2021-12-08 22:44
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
进入 HBase Shell 控制台：./bin/hbase shell 如果有 kerberos 认证，需要事先使用相应的 keytab 进行一下认证（使用 kinit 命令），认证成功之后再使用 hbase shell 进入可以使用 whoami 命令可查看当前用户. 一、基本命令 获取帮助信息 阅读全文
posted @ 2021-12-08 22:42
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
一、HBase 简介 HBase 是一个构建在 HDFS（Hadoop 文件系统）之上的面向列的数据库管理系统。 HBase 适用场景：实时地随机访问超大数据集。 #Hadoop 的局限 要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 存 阅读全文
posted @ 2021-12-08 22:40
屠魔的少年
阅读(37)
评论(0)
推荐(0)
摘要：
什么是安全模式？ 安全模式是 HDFS 的一种特殊状态，在这种状态下，HDFS 只接收读数据请求，而不接收写入、删除、修改等变更请求。 安全模式是 HDFS 确保 Block 数据安全的一种保护机制。 Active NameNode 启动时，HDFS 会进入安全模式，DataNode 主动向 Nam 阅读全文
posted @ 2021-12-08 22:35
屠魔的少年
阅读(12)
评论(0)
推荐(0)
摘要：
# 显示当前目录结构 hdfs dfs -ls <path> # 递归显示当前目录结构 hdfs dfs -ls -R <path> # 显示根目录下内容 hdfs dfs -ls / #创建目录 hdfs dfs -mkdir <path> # 递归创建目录 hdfs dfs -mkdir -p 阅读全文
posted @ 2021-12-08 22:32
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
1. Kafka 和 ZooKeeper Kafka 使用 Zookeeper 来维护集群成员的信息。每个 Broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在 Broker 启动的时候，它通过创建临时节点把自己的 ID 注册到 Zookeeper。Kafka 组件订 阅读全文
posted @ 2021-12-08 22:24
屠魔的少年
阅读(7)
评论(0)
推荐(0)
摘要：
一、Broker 级别配置存储配置首先 Broker 是需要配置存储信息的，即 Broker 使用哪些磁盘。那么针对存储信息的重要参数有以下这么几个： log.dirs：指定了 Broker 需要使用的若干个文件目录路径。这个参数是没有默认值的，必须由使用者亲自指定。log.dir：注意这是 dir 阅读全文
posted @ 2021-12-08 22:13
屠魔的少年
阅读(4)
评论(0)
推荐(0)
摘要：
##主题（Topic） #创建 Topic kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic my-topic #查看 Topic 列表 kafka-topic 阅读全文
posted @ 2021-12-08 22:06
屠魔的少年
阅读(5)
评论(0)
推荐(0)
摘要：
修改配置 复制配置为多份： cp config/server.properties config/server-1.properties cp config/server.properties config/server-2.properties 修改配置： config/server-1.prop 阅读全文
posted @ 2021-12-08 22:01
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
安装jdk JDK版本大于1.8 安装kafka tar -zxvf kafka_2.11-0.10.2.1.tgz mv kafka_2.11-0.10.2.1 /usr/local/kafka 配置kafka 创建kafka日志目录 mkdir /data/kafkalogs vi /usr/l 阅读全文
posted @ 2021-12-08 21:54
屠魔的少年
阅读(2)
评论(0)
推荐(0)
摘要：
一、ZooKeeper 简介 ZooKeeper 是什么 ZooKeeper 是 Apache 的顶级项目。ZooKeeper 为分布式应用提供了高效且可靠的分布式协调服务，提供了诸如统一命名服务、配置管理和分布式锁等分布式的基础服务。在解决分布式数据一致性方面，ZooKeeper 并没有直接采用 阅读全文
posted @ 2021-12-08 14:44
屠魔的少年
阅读(7)
评论(0)
推荐(0)
摘要：
# 进入命令行控制台 bin/zkCli.sh 键入上述命令后，将连接到 ZooKeeper 服务器，你应该得到以下响应。 Connecting to localhost:2181 ................ ................ ................ Welcome 阅读全文
posted @ 2021-12-08 14:32
屠魔的少年
阅读(12)
评论(0)
推荐(0)
摘要：
下载解压 进入官方下载地址：http://zookeeper.apache.org/releases.html#download 解压到本地： tar -zxf zookeeper-3.4.6.tar.gz cd zookeeper-3.4.6 环境变量 执行 vim /etc/profile，添加 阅读全文
posted @ 2021-12-08 14:02
屠魔的少年
阅读(8)
评论(0)
推荐(0)
浙公网安备 33010602011771号