刷新
JuiceFS 如何帮助趣头条超大规模 HDFS 降负载

博主头像 作者简介 王振华,趣头条大数据总监,趣头条大数据负责人。 王海胜,趣头条大数据工程师,10 年互联网工作经验,曾在 eBay、唯品会等公司从事大数据开发相关工作,有丰富的大数据落地经验。 高昌健,Juicedata 解决方案架构师,十年互联网行业从业经历,曾在知乎、即刻、小红书多个团队担任架构师职位 ...

MySQL入门详解,一分钟教你如何解决MySQL死锁

博主头像 本篇文章主要介绍mysql数据库死锁的产生原因及解决办法 数据库和操作系统一样,是一个多用户使用的共享资源。当多个用户并发地存取数据时,在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据,破坏数据库的一致性。加锁是实现数据库并发控制的一个非常重要的技 ...

asd asd

博主头像 [TcaplusDB知识库]手动查看TcaplusDB线上运行情况 作为一名运维人员,平时的日常工作之一就是查看数据库的整体情况,确保后台运行正常,那下面就给大家简单介绍如何查看情况。 找到一台tcapsvr机器,进入tcapsvr的control模式(如:/data/tcaplus/tcaplus ...

MongoDB中如何优雅地删除大量数据

博主头像 删除大量数据,无论是在哪种数据库中,都是一个普遍性的需求。除了正常的业务需求,我们需要通过这种方式来为数据库“瘦身”。 为什么要“瘦身”呢? 表的数据量到达一定量级后,数据量越大,表的查询性能会越差。 毕竟数据量越大,B+树的层级会越高,需要的IO也会越多。 表的数据有冷热之分,将很多无用或很少用到 ...

通过Python收集汇聚MySQL 表信息

一.需求 统计收集各个实例上table的信息,主要是表的记录数及大小。 收集的范围是cmdb中所有的数据库实例。 二.公共基础文件说明 1.配置文件 配置文为db_servers_conf.ini,假设cmdb的DBServer为119.119.119.119,单独存放收集监控数据的DBserver ...

Kettle的安装及简单使用

博主头像 Kettle的安装及简单使用 一、kettle概述 1、什么是kettle Kettle是一款开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 2、Kettle工程存储方式 (1)以XML形式存储 (2)以资源库方式存储(数据库资源库 ...

Flume的安装及使用

博主头像 Flume的安装及使用 Flume的安装 1、上传至虚拟机,并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令,可以使用 soft 快速切换到 /usr/local/soft alias soft= ...

MySQL数据库入门实战学习教程(mysql基础+高级)

博主头像 今天这篇文章将详细列出Mysql的学习流程,这是学习mysql数据库前你要了解的~~~ 大部分的小伙伴自己在网上找mysql资料、还有数据库的视频教程,但是都过于碎片化,没有体系,导致大家不知道如何系统的学习,也不知道该如何零基础学习MySQL. MySql概述 MySQL最初是由“MySQL AB ...

一文讲清MySQL四种隔离级别

博主头像 mysql事务隔离级别 serializable 串行化(无问题) # 事务必须以顺序的方式执行,前一个事务提交之前后面的事务无法进行提交,最安全,但是不能并发操作,导致效率低下. repeatab read 可重复读(默认隔离级别)(幻读) # 在一个事务未提交之前,里面不论执行多少次查询,查询的 ...

你还记得数据库三范式吗?

博主头像 前言 “学长,SqlServer数据库三范式可以简单帮我理解一下吗?”。 学妹的一句话把我问蒙了,因为三范式的概念早就丢到外太空去了。 但是呢,我不能直接说我忘记了,为了不影响在学妹心目中的形象(你懂的),我还特意去百度查了一下。 然后整理了一下,大家如果有和我一样忘记了的可以看一下(概念+举例), ...

Sqoop

博主头像 SQOOP安装及使用 SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/soft/ 2、修改文件夹名字 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7 ...

SQL Server搭建主从同步实现读写分离

博主头像 一、概念简介 1.1、基本概念 1)读写分离概念:是把对数据库的读操作和写操作分离开。在一定程度上,读写分离可以缓解读写操作并发时产生锁的问题。 2)读写分离原理:是让主数据库处理事务性增、删、改操作(INSERT、DELETE、UPDATE),而从数据库处理查询操作(SELECT)。 1.2、技术 ...

mysql索引

博主头像 面试题整理-MySQL索引 MySQL # 1.什么是索引 - 官方定义: 一种帮助mysql提高查询效率的数据结构 - 索引的优点: 1、大大加快数据查询速度 - 索引的缺点: 1、维护索引需要耗费数据库资源 2、索引需要占用磁盘空间 3、当对表的数据进行增删改的时候,因为要维护索引,速度会受到影 ...

MySQL8.0.26的安装与配置——详细教程

博主头像 网上的教程有很多,基本上大同小异。 但是安装软件有时就可能因为一个细节安装失败。 我也是综合了很多个教程才安装好的,所以本教程可能也不是普遍适合的。 一、Mysql下载安装包 https://dev.mysql.com/downloads/mysql/ 二、Mysql 配置 1.解压zip包到安装目 ...

Oracle 那些可能会用到,但又不会写的语句

博主头像 在工作中,日常的数据库开发,其实大部分用到的数据库知识并不复杂,无非是CRUD【增删改查】,但是偶尔会有一些特殊的需求,看似合理,但是一时半会儿也想不起来如何下手,所以只能去百度查找。为了方便起见,这里列举了一些工作中日常用到但又稍微复杂的语句,仅供学习分享使用。如有不足之处,还请指正。 ...

干货 | 如何为已有的 ambari 集群修改主机名

博主头像 版本:ambari 2.7.3 ,其他版本应该也差不多是一样的 一、背景说明 时不时就有小伙伴微信里面问我有没有做过,为已有的 ambari 集群修改主机名?之前是有修改过 ip 的,主机名还真没修改过,只能给他提供一份官方的步骤:https://docs.cloudera.com/HDPDocum ...

MySQL中如何选择合适的备份策略和备份工具

博主头像 ​数据库备份的重要性毋庸置疑,可以说,它是数据安全的最后一道防线。鉴于此,对于备份,我们通常会做以下要求: 多地部署 对于核心数据库,我们通常有两地三中心的部署要求。对于备份来说,也是如此。 一个备份应该有多个副本,每个副本存储在不同区域。 多介质部署 一个备份的多个副本应存储在不同介质上,如磁盘和 ...

Phoenix

博主头像 Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀,一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式,Apache Phoenix即是。 Pho ...

123···200>