随笔分类 -  数据库

impala表关联join优化1
摘要:基础环境: [cdh02.dongfeng.com:21000] default> show create table kudu_via_city_pdi10; Query: show create table kudu_via_city_pdi10 + + | result | + + | CRE 阅读全文

posted @ 2021-12-07 19:23 李雷 阅读(1070) 评论(0) 推荐(0)

MySQL特定表全量、增量同步到消息队列-解决方案
摘要:1、原始需求 既要同步原始全量数据,也要实时同步MySQL特定库的特定表增量数据,同时对应的修改、删除也要对应。 数据同步不能有侵入性:不能更改业务程序,并且不能对业务侧有太大性能压力。 应用场景:数据ETL同步、降低业务服务器压力。 2、解决方案 3、canal介绍、安装 canal是阿里巴巴旗下 阅读全文

posted @ 2021-11-26 15:49 李雷 阅读(593) 评论(0) 推荐(0)

TDEngine和MySQL单表100万数据查询性能比较
摘要:TDEngine表结构 SQL语句 程序 package com.test.df.tdengine.intd.jianshaozibiao; import java.sql.Connection; import java.sql.ResultSet; import java.sql.SQLExcep 阅读全文

posted @ 2021-11-08 19:10 李雷 阅读(1288) 评论(0) 推荐(0)

MYSQL高并发批量更新
摘要:表结构和初始化数据量 参数配置和服务器配置 程序 import java.sql.*; import java.util.Date; import java.util.Random; public class Test7 { public static void main(String[] args 阅读全文

posted @ 2021-11-04 17:22 李雷 阅读(649) 评论(0) 推荐(0)

jedis请求keys超时报错
摘要:Exception in thread "Thread-3" redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out at redis.clien 阅读全文

posted @ 2021-11-03 18:09 李雷 阅读(402) 评论(0) 推荐(0)

mysql创建类似oracle的dblink
摘要:1、基础条件 2、客户端mysql服务器更改/etc/my.cnf,添加federated支持: 3、重启mysql 4、创建对应表 阅读全文

posted @ 2021-10-31 15:11 李雷 阅读(488) 评论(0) 推荐(0)

Mysql表引擎Innodb、MyIsam、Memory
摘要:Innodb 支持事务、表级锁、行级锁(但需要对应字段有索引) MyIsam 不支持事务, select、update、delete、insert 都会对表进行加锁,数据不能保证一致性 select操作,不影响select的查询,影响insert、update、delete insert操作,不影响 阅读全文

posted @ 2021-10-31 14:34 李雷 阅读(58) 评论(0) 推荐(0)

postgresql not in性能问题
摘要:postgresql的not in的执行计划,执行时间超出预期: 替代方案 1、not exists 2、左联接 阅读全文

posted @ 2018-08-27 09:12 李雷 阅读(2017) 评论(0) 推荐(0)

oracle与postgresql数据分页快速响应
摘要:场景 很多查询要通过某些字段(一个或多个字段)排序后获取前N行,或者跳过M行,取N行,这种情况下,采用B树索引的自身排序特性,可以快速定位并获取数据。 实战 oracle myname表存储有两千多万的数据,现需要按照其中两个字段name_id和poi_pid都降序排列后,取出前10行,如果没有索引 阅读全文

posted @ 2018-03-26 13:16 李雷 阅读(824) 评论(0) 推荐(0)

postgresql索引类型
摘要:索引查看 SELECT A.SCHEMANAME, A.TABLENAME, A.INDEXNAME, A.TABLESPACE, A.INDEXDEF, B.AMNAME, C.INDEXRELID, C.INDNATTS, C.INDISUNIQUE, C.INDISPRIMARY, C.IND 阅读全文

posted @ 2018-03-26 10:27 李雷 阅读(1253) 评论(0) 推荐(0)

postgresql和oracle数据库对比
摘要:SQL执行计划干预 从使用postgresql来看,想要改变执行计划只能通过対表进行分析,不能通过添加hint的方式来改变执行计划; oracle不仅可以通过对表进行收集统计来改变执行计划,而且很重要的一点支持通过添加hint的方式以达到自己想要的执行计划。 查询效率 从整体上比,不管是在离散数据的 阅读全文

posted @ 2018-03-19 14:59 李雷 阅读(2990) 评论(0) 推荐(0)

postgresql数据操作
摘要:windows下操作postgresql 删除数据库:dropdb.exe -U postgres 数据库名称 创建数据库createdb.exe -U postgres lilei_db1--lilei_db1为数据库名称 导出表数据pg_dump.exe -U postgres -t tab1 阅读全文

posted @ 2018-03-16 15:41 李雷 阅读(317) 评论(0) 推荐(0)

oracle sql model从句demo
摘要:model从句作用 sql model可以完成像EXCEL工作表的数据内容扩展、计算填充的功能 关键词解释 partition 分区关键词,白话就是分组 dimension 度量关键词,白话就是要取出哪些字段 measures 需要进行计算的数据 rules 计算规则 cv 某个单元格,类似于exc 阅读全文

posted @ 2018-03-08 12:06 李雷 阅读(456) 评论(0) 推荐(0)

oracle空间索引
摘要:1、索引创建 添加元数据 INSERT INTO USER_SDO_GEOM_METADATA (TABLE_NAME, COLUMN_NAME, DIMINFO, SRID) VALUES ('BEIJING_LINK', 'GEOMETRY', MDSYS.SDO_DIM_ARRAY (MDSY 阅读全文

posted @ 2018-01-29 12:57 李雷 阅读(421) 评论(0) 推荐(0)

redis五种基本类型CRUD操作
摘要:1、String 增:set key1 value1 改:set key1 new-value、自增 incr key1、按照特定值递增:increby key1 inrevalue 删:del key1 查:get key1 2、List 增:lpush key1 value [一次可输入多个值] 阅读全文

posted @ 2018-01-10 11:04 李雷 阅读(392) 评论(0) 推荐(0)

postgresql常用操作
摘要:数据库启动、关闭、重启 使用pg_ctl,启动、关闭、重启分别对应start、stop、restart 例如:pg_ctl -D /data/lilei/postgresql/data 其中-D意为数据文件目录 修改远程访问 在postgresql数据文件目录,有两个配置文件:pg_hba.conf 阅读全文

posted @ 2017-12-14 15:23 李雷 阅读(268) 评论(0) 推荐(0)

postgresql全文检索部署实施
摘要:概述 zhparser 是一个支持中文全文检索的 extension,基于Simple Chinese Word Segmentation(SCWS) 上开发的 SCWS安装 下载文件:http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2 解压安 阅读全文

posted @ 2017-12-13 10:20 李雷 阅读(956) 评论(1) 推荐(0)

使用java生成mapbox-gl可读的vector tile
摘要:概述 mapbox-gl主要数据源来自mapbox vector tile,本文就是要阐述怎样把postgresql中的地理空间数据转换成vector tile,流程图如下: 配置 该工程采用spring boot+maven,所以第一步少不了pom.xml配置: 添加墨卡托投影转换工具类: 核心内 阅读全文

posted @ 2017-11-14 09:42 李雷 阅读(7570) 评论(3) 推荐(0)

postgis几何操作函数集
摘要:管理操作函数 几何构造器 几何属性查看 几何编辑 几何输出 几何操作 地理关系测量 几何处理 http://postgis.net/docs/reference.html 阅读全文

posted @ 2017-11-10 16:21 李雷 阅读(2620) 评论(0) 推荐(0)

postgis常用操作手册
摘要:查询所有函数: SELECT * FROM pg_proc; 更新坐标系st_setsrid,查看坐标系:st_srid 创建空间索引: 如果不使用空间索引执行计划: 两个geometry之间关系:within、disjoint、intersects、union、intersection,diffe 阅读全文

posted @ 2017-11-10 15:32 李雷 阅读(8028) 评论(0) 推荐(0)

导航