上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 21 下一页
2019年11月15日
摘要: 公司同事删除一张大表的数据,本想直接drop表,但是使用了delete删除表,发现很慢,就kill了这个操作, 但是,kill后,表锁住了,因为在回滚表数据。 原文链接:https://blog.csdn.net/m0_37827567/article/details/82979767 经常会出现这 阅读全文
posted @ 2019-11-15 15:33 xibuhaohao 阅读(5352) 评论(0) 推荐(0) 编辑
摘要: 一、方法一GROUP_CONCAT、SUBSTRING_INDEX 1、GROUP_CONCAT 2、SUBSTRING_INDEX 3、例子 首先我们可以首先根据job_id 排序然后根据start_time进行二级排序 select * from action_history where lef 阅读全文
posted @ 2019-11-15 15:11 xibuhaohao 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 语法格式:row_number() over(partition by 分组列 order by 排序列 desc) 一个很简单的例子 1,先做好准备 create table test1( id varchar(4) not null, name varchar(10) null, age var 阅读全文
posted @ 2019-11-15 14:19 xibuhaohao 阅读(481) 评论(0) 推荐(0) 编辑
摘要: FLUSH TABLES WITH READ LOCK简称(FTWRL),该命令主要用于备份工具获取一致性备份(数据与binlog位点匹配)。由于FTWRL总共需要持有两把全局的MDL锁,并且还需要关闭所有表对象,因此这个命令的杀伤性很大,执行命令时容易导致库hang住。如果是主库,则业务无法正常访 阅读全文
posted @ 2019-11-15 11:57 xibuhaohao 阅读(317) 评论(0) 推荐(0) 编辑
摘要: mysqldump 备份过程可以描述为: (1) 先发出一条 flush tables 关闭实例上所有打开的表(2) 创建一个全局锁,FLUSH TABLES WITH READ LOCK获得 db 一致性状态。(3) 设置事务隔离级别为 RR ,确保备份事务中任何时刻的数据都相同。(4) 创建一个 阅读全文
posted @ 2019-11-15 10:58 xibuhaohao 阅读(520) 评论(0) 推荐(0) 编辑
摘要: 下策——查询出结果后将时间排序后取第一条 select * from a where create_time<="2017-03-29 19:30:36"order by create_time desclimit 1这样做虽然可以取出当前时间最近的一条记录,但是一次查询需要将表遍历一遍,对于百万以 阅读全文
posted @ 2019-11-15 09:07 xibuhaohao 阅读(12985) 评论(0) 推荐(0) 编辑
2019年11月14日
摘要: 前置条件 各软件版本:hadoop-2.7.7、hbase-2.1.5 、jdk1.8.0_211、zookeeper-3.4.10、apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz 至少 3 台 Centos 服务器,主机名分别为:hadoop0001、hadoo 阅读全文
posted @ 2019-11-14 17:00 xibuhaohao 阅读(715) 评论(0) 推荐(0) 编辑
摘要: 一.自适应游标共享(Adaptive Cursor Sharing) 说明 1.1 ACS概述绑定变量使Oracle DB 可以为多条SQL 语句共享单个游标,以减少分析SQL 语句所使用的共享内存量。然而,游标共享和SQL 优化是两个相互冲突的目标。用文字编写SQL 语句为优化程序提供了更多的信息 阅读全文
posted @ 2019-11-14 16:35 xibuhaohao 阅读(380) 评论(0) 推荐(0) 编辑
摘要: 原文地址:https://cloud.tencent.com/developer/article/1498057 来源: 云栖社区 作者: 瑾谦 By 大数据技术与架构 文章简介:Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API 阅读全文
posted @ 2019-11-14 15:49 xibuhaohao 阅读(1801) 评论(0) 推荐(1) 编辑
摘要: 转载自:https://blog.csdn.net/carolzhang8406/article/details/79455684 1. Phoenix定义 Phoenix最早是saleforce的一个开源项目,后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层, 阅读全文
posted @ 2019-11-14 10:42 xibuhaohao 阅读(906) 评论(0) 推荐(0) 编辑
摘要: 一道面试题的引入: 如果面试的时候碰到这样一个面试题:ElasticSearch(以下简称ES) 在数据量很大的情况下(数十亿级别)如何提高查询效率? 这个问题说白了,就是看你有没有实际用过 ES,因为啥?其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了,特别是有几亿条数据的时候,可能你 阅读全文
posted @ 2019-11-14 09:44 xibuhaohao 阅读(1579) 评论(0) 推荐(0) 编辑
摘要: 文件系统缓存 filesystem cache 许多人没有意识到。文件系统缓存对于性能的影响。Linux系统默认的设置倾向于把内存尽可能的用于文件cache,所以在一台大内存机器上,往往我们可能发现没有多少剩余内存。(free命令显示的第二行输出,如下)。文件系统cache可以加速磁盘操作,使系统有 阅读全文
posted @ 2019-11-14 09:42 xibuhaohao 阅读(859) 评论(0) 推荐(0) 编辑
2019年11月13日
摘要: 今天总结本人在使用Hive过程中的一些优化技巧,希望给大家带来帮助。Hive优化最体现程序员的技术能力,面试官在面试时最喜欢问的就是Hive的优化技巧。 技巧1.控制reducer数量 下面的内容是我们每次在hive命令行执行SQL时都会打印出来的内容: In order to change the 阅读全文
posted @ 2019-11-13 17:55 xibuhaohao 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 2016-07-29 14:13:23 钱曙光 阅读数 794 原文链接:https://blog.csdn.net/qiansg123/article/details/80124521 声明:本文为作者在CSDN技术公开课的分享原创整理,未经许可,禁止转载。 作者:郭炜,易观CTO,毕业于北京大学 阅读全文
posted @ 2019-11-13 17:11 xibuhaohao 阅读(384) 评论(0) 推荐(0) 编辑
摘要: Hive看上去很像关系型数据库。不过,Hive实现和使用的方式和传统的关系型数据库非常不同。Hive是反模式的。 本文将重点介绍Hive中哪些模式是用户应该使用的,儿哪些是应该避免的 一、按天划分的表 这种每天一张表的方式在数据库领域是反模式的一种方式,但因为实际情况下,数据集增长的很快,这种方式应 阅读全文
posted @ 2019-11-13 12:01 xibuhaohao 阅读(813) 评论(0) 推荐(0) 编辑
2019年11月12日
摘要: 背景 分区表创建好了之后,如果需要最大化分区表的性能就需要结合索引的使用,分区表有两种索引:本地索引和全局索引。既然存在着两种的索引类型,相信存在即合理。既然存在就会有存在的原因,也就是在特定的场景中就更能发挥出索引的性能的; 本文档通过测试,总结出两种索引的适合的场景; 测试环境 数据库版本:11 阅读全文
posted @ 2019-11-12 15:14 xibuhaohao 阅读(1666) 评论(0) 推荐(0) 编辑
摘要: PostgreSQL 分区表,操作性相当便捷。 但只能在创建时决定是否为分区表,并决定分区条件字段,普通表创建后,不能在修改为分区表。 Note:通过其他方法也可转化为分区表。 和其他数据库一样,分区表作为一个DB的特性,优点自不用说,物理分散,逻辑统一。 必须要注意的一个缺点是:分区表不允许其他表 阅读全文
posted @ 2019-11-12 14:21 xibuhaohao 阅读(2035) 评论(0) 推荐(0) 编辑
摘要: 通常来说,索引可以用于提高查询的速度。通过索引,可以快速访问表中的指定数据,避免了表上的扫描。有时候,索引不仅仅能够用于定位表中的数据。某些查询可能只需要访问索引的数据,就能够获取所需要的结果,而不需要再次访问表中的数据。这种访问数据的方法叫做 Index-Only 扫描。要想通过索引直接返回查询的 阅读全文
posted @ 2019-11-12 14:15 xibuhaohao 阅读(622) 评论(0) 推荐(0) 编辑
摘要: citus的分布式集群目前在苏宁大规模应用,苏宁陈华军也做了很多技术分享和博客介绍。目前所有的教程都是rpm和pg一起安装,个人不喜欢,毕竟citus定位是个插件,我想在我已安装的pg上源码装一个citus比较好。 一 集群规划 主机名IP角色端口 coordinate 192.168.0.55 c 阅读全文
posted @ 2019-11-12 11:18 xibuhaohao 阅读(2689) 评论(0) 推荐(0) 编辑
摘要: 一、Citus是什么 citus是PG的一个sharding插件,可以把PG变成一个分布式数据库。目前在苏宁有大量的生产应用跑在citus+pg的环境中。大家可以看it大咖视频。 citus是一款基于PostgreSQL的开源分布式数据库,自动继承了PostgreSQL强大的SQL支持能力和应用生态 阅读全文
posted @ 2019-11-12 10:59 xibuhaohao 阅读(4152) 评论(0) 推荐(0) 编辑
摘要: cat >>/etc/sysctl.conf <<EOOF # add by digoal.zhou fs.aio-max-nr = 1048576 fs.file-max = 76724600 # 可选:kernel.core_pattern = /data01/corefiles/core_%e 阅读全文
posted @ 2019-11-12 10:20 xibuhaohao 阅读(521) 评论(0) 推荐(0) 编辑
2019年11月11日
摘要: 在《写数据库同时发mq消息事务一致性的一种解决方案》一文的方案中把分布式事务巧妙转成了数据库事务。我们都知道关系型数据库事务能保证数据一致性,那数据库到底是怎么设计事务这一特性的呢? 一、MySQL事务模型ACID MySQL是一个多引擎数据库,其中InnoDB支持数据库事务,也是最常用的引擎。下边 阅读全文
posted @ 2019-11-11 16:05 xibuhaohao 阅读(7459) 评论(0) 推荐(0) 编辑
摘要: 一、为什么用自增列作为主键 1、如果我们定义了主键(PRIMARY KEY),那么InnoDB会选择主键作为聚集索引。 如果没有显式定义主键,则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。 如果也没有这样的唯一索引,则InnoDB会选择内置6字节长的ROWID作为隐含的聚集索引 阅读全文
posted @ 2019-11-11 14:46 xibuhaohao 阅读(620) 评论(0) 推荐(0) 编辑
摘要: 一、Oracle在Linux下使用异步IO配置 最近在测试Oracle的时候,很想测试下使用异步IO的性能。但是异步IO是需要专门配置的,否则的话,容易遇到很著名的“ORA-01578: ORACLE data block corrupted (file # 202, block # 257)”的问 阅读全文
posted @ 2019-11-11 14:41 xibuhaohao 阅读(965) 评论(0) 推荐(0) 编辑
摘要: 某个客户数据库在巡检的时候发现alert日志里不定期会出现ORA-609错误,大致内容如下: *********************************************************************** Fatal NI connect error 12537, c 阅读全文
posted @ 2019-11-11 11:18 xibuhaohao 阅读(2512) 评论(0) 推荐(0) 编辑
摘要: 近期在多个大型系统中遇到此问题,一般来说如果客户端未反映异常的话可以忽略的。如果是客户端登陆时遇到ORA-12170: TNS:Connect timeout occurred,可以参考 http://blog.csdn.net/haibusuanyun/article/details/145172 阅读全文
posted @ 2019-11-11 11:18 xibuhaohao 阅读(649) 评论(0) 推荐(0) 编辑
摘要: 查看sysaux表空间使用排行 select SEGMENT_NAME,BYTES/1024/1024/1024 DGD from dba_segments where tablespace_name='SYSAUX' ORDER BY DGD DESC; I_WRI$_OPTSTAT_H_ST W 阅读全文
posted @ 2019-11-11 09:31 xibuhaohao 阅读(2220) 评论(0) 推荐(0) 编辑
2019年11月8日
摘要: Hive只有有限的索引功能。Hive中没有普通关系型数据库中键的概念,但是还是可以对一些字段建立索引来加速某些操作。一张表的索引数据存储在另外一张表中。 通过explain命令可以查看某个查询语句是否用到了索引。 一、创建索引 比如,有数据表: create table employees( nam 阅读全文
posted @ 2019-11-08 15:48 xibuhaohao 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 一、动态分区中的视图和map类型 阅读全文
posted @ 2019-11-08 15:14 xibuhaohao 阅读(741) 评论(0) 推荐(0) 编辑
2019年11月7日
摘要: DG有下面三种模式– Maximum protection– Maximum availability– Maximum performance 在Maximum protection下, 可以保证从库和主库数据完全一样,做到zero data loss.事务同时在主从两边提交完成,才算事务完成。如 阅读全文
posted @ 2019-11-07 17:40 xibuhaohao 阅读(3096) 评论(0) 推荐(0) 编辑
摘要: 一、select ...... from 语句 1、使用正则表达式来指定列 1)从表stocks中选择symbol列和列名以price作为前缀的列 select symbol,`price.*` from stocks; 2、使用列名进行计算 3、算术运算 4、使用函数 1)数学函数 2)聚合函数 阅读全文
posted @ 2019-11-07 17:38 xibuhaohao 阅读(282) 评论(0) 推荐(0) 编辑
摘要: 原文链接:https://blog.csdn.net/xueyao0201/article/details/79387647 因为业务要求,需要对Hive表进行delete,在官网查询后,发现update和delete是一类问题。在此总结下如何实现Hive表的delete和update。 首先,先看 阅读全文
posted @ 2019-11-07 14:33 xibuhaohao 阅读(2743) 评论(0) 推荐(0) 编辑
摘要: 一、向管理表中装载数据 1、向表中装载数据load 1)load语法 2)LOCAL 指的是操作系统的文件路径,否则默认为HDFS的文件路径 3)overwrite关键字 如果用户指定了overwrite关键字,那么目标文件夹中之前存在的数据将会被先删除掉。 如果指定,仅仅会把新增的文件增加到目标文 阅读全文
posted @ 2019-11-07 14:31 xibuhaohao 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 一、基本数据类型 1、基本数据类型 Tinyint 1byte有符号整数 比如20 Smalint 2byte有符号整数 比如20 Int 4byte有符号整数 比如20 Bigint 8byte有符号整数 比如20 Boolean 布尔类型,true或者false Float 单精度浮点类型 3. 阅读全文
posted @ 2019-11-07 14:12 xibuhaohao 阅读(457) 评论(0) 推荐(0) 编辑
2019年11月4日
摘要: Oracle中函数以前介绍的字符串处理,日期函数,数学函数,以及转换函数等等,还有一类函数是通用函数。主要有:NVL,NVL2,NULLIF,COALESCE,这几个函数用在各个类型上都可以。 下面简单介绍一下几个函数的用法。 在介绍这个之前你必须明白什么是oracle中的空值null 1.NVL函 阅读全文
posted @ 2019-11-04 17:29 xibuhaohao 阅读(550) 评论(0) 推荐(0) 编辑
摘要: 1. ACS简介 Oracle Database 11g提供了Adaptive Cursor Sharing (ACS)功能,以克服以往不该共享的游标被共享的可能性。ACS使用两个新指标:sensitivity and bindawareness来实施该特点。 2. ACS机制 2.1. Adapt 阅读全文
posted @ 2019-11-04 16:09 xibuhaohao 阅读(1065) 评论(0) 推荐(0) 编辑
摘要: a、create table like方式会完整地克隆表结构,但不会插入数据,需要单独使用insert into或load data方式加载数据 b、create table as 方式会部分克隆表结构,完整保留数据 c、create table as select .. where 1=0 会克隆 阅读全文
posted @ 2019-11-04 14:25 xibuhaohao 阅读(1222) 评论(0) 推荐(0) 编辑
摘要: CAST()函数可以进行数据类型的转换。 CAST()函数的参数有两部分,源值和目标数据类型,中间用AS关键字分隔。 以下例子均通过本人测试。 一、转换列或值 语法:cast( 列名/值 as 数据类型 ) 用例: 1)、转换列 --将empno的类型(number)转换为varchar2类型。 s 阅读全文
posted @ 2019-11-04 11:03 xibuhaohao 阅读(7490) 评论(0) 推荐(0) 编辑
摘要: Oracle将timestamp类型转换为date类型有三种方法 1、使用to_char先转为字符型,在使用to_date再转为日期型 select to_date(to_char(systimestamp,'yyyy/mm/dd hh24:mi:ss'),'yyyy/mm/dd hh24:mi:s 阅读全文
posted @ 2019-11-04 10:59 xibuhaohao 阅读(13158) 评论(0) 推荐(1) 编辑
2019年11月1日
摘要: sqoop基于Hadoop与Hive Hadoop https://www.cnblogs.com/xibuhaohao/p/11772031.html Hive https://www.cnblogs.com/xibuhaohao/p/11772481.html 一、下载sqoop sqoop-1 阅读全文
posted @ 2019-11-01 11:25 xibuhaohao 阅读(770) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 21 下一页