随笔分类 -  数据库

1 2 下一页
关于小工具对数据库进行分页查询
摘要：需求：关于第三方数据库的数据抽取，数据每2个小时会有增量数据。 要求：每天凌晨12:05对T-1日数据进行统一处理。 于是利用1周时间开发了个小工具，主要对接第三方oracle，pg，mysql数据库的数据。 采用技术： 1.多线程，线程池 2.jdbc，连接池 3.数据库分页 遇到问题 1.Jav 阅读全文
posted @ 2018-06-09 17:29 疯狂的蜗牛仔 阅读(334) 评论(0) 推荐(0)
pg按日,周,月进行数据统计
摘要：pg数据库按周,月统计数据 阅读全文
posted @ 2018-01-30 14:03 疯狂的蜗牛仔 阅读(3192) 评论(0) 推荐(0)
数据库中重复数据查询和删除
摘要：重复数据查询: 删除重复数据: 按rowid,保留rowid最大的数据 按入库日期,保留最大日期数据 阅读全文
posted @ 2018-01-30 14:00 疯狂的蜗牛仔 阅读(460) 评论(0) 推荐(0)
Oracle数据库常用监控语句
摘要：引用链接:http://blog.csdn.net/dongzhumao86/article/details/8480499 阅读全文
posted @ 2017-12-26 14:36 疯狂的蜗牛仔 阅读(2953) 评论(0) 推荐(0)
oracle数据库插入优化
摘要：通过程序要把1000万的数据插入到数据表中,刚开始每100条数据耗时50ms左右,但是越往后越慢,最慢到了十几秒的都有,真实好坑了. 于是在网上百度了一波,如何进行insert优化.倒是有了一点小小的优化,但是还是有些慢.具体操作如下: 1.关掉表和索引的nologged日志 2.禁用索引,启用,查 阅读全文
posted @ 2017-12-26 09:53 疯狂的蜗牛仔 阅读(1917) 评论(0) 推荐(2)
亿万级别的表数据处理方式
摘要：最近处理的一个数据表中的数据有大概6亿左右的数据,基本上都是一些基础信息,例如姓名,性别这种.如何读取处理这些数据的思路做一个简单的总结(oracle) 评估数据表 首先,数据表结构,每个字段的含义,类型;索引,主外键一定要清楚,以便后面对于数据进行分类处理. 数据分表处理 对于这种大表的读取,不能 阅读全文
posted @ 2017-12-21 15:44 疯狂的蜗牛仔 阅读(2678) 评论(0) 推荐(0)
pg数据库表接口和数据导出
摘要：导出命令 命令说明 pg_dump:是pg数据库中自带的备份命令,在bin目录下,所有要执行的话,必须在bin目录下进行执行. -h:指定主机地址,就是pg数据库所在服务器,这里指定的主机地址就是本地localhost -p:指定主机端口,就是pg数据库应用的端口,这里使用默认的端口,默认貌似可以不 阅读全文
posted @ 2017-12-13 09:43 疯狂的蜗牛仔 阅读(5085) 评论(0) 推荐(0)
DB2导入导出方法总结
摘要：1.导出 DEL 文本文件 2.导出 ixf 文本文件.ixf 文件包含表结构和db2数据库信息 3.导入数据 之 数据插入 4.导入数据 之 数据替换 5.导入数据 之 创建表结构,并导入数据 6.导入数据 之 load导入表数据 7.导入数据 之 包含ID为GENERATED ALWAYS 始终 阅读全文
posted @ 2017-09-04 23:57 疯狂的蜗牛仔 阅读(1475) 评论(0) 推荐(0)
ubuntu环境下安装Redis
摘要：1.命令行安装 2.启动redis 4.启动客户端 5.验证是否安装成功 6.java连接测试 阅读全文
posted @ 2017-08-30 22:41 疯狂的蜗牛仔 阅读(189) 评论(0) 推荐(0)
DB处理大量数据处理日志报错问题
摘要：因为当插入、更新或删除大批量数据的时候，有时候会出现事务日志满的问题，所以解决步骤 1.连接到当前数据库 db2 connect to uppdb 2.查看数据库配置文件 db2 get db cfg for uppdb 此命令可以查看数据库相关配置，包括字符集、日志文件大小等 查看当前数据库的日志 阅读全文
posted @ 2017-08-09 22:32 疯狂的蜗牛仔 阅读(356) 评论(0) 推荐(0)
DB2数据库管理常用操作
摘要：查询db2数据库相关配置（日志，字符集） db2 get db cfg for uppdb 查询db2数据库db2codepage db2set 在进行数据库导入导出的时候，可能要修改db2codepage db2set db2codepage=1208（UTF-8） db2set db2codep 阅读全文
posted @ 2017-08-09 22:25 疯狂的蜗牛仔 阅读(434) 评论(0) 推荐(0)
DB2导入数据时乱码问题
摘要：1.由于导入import导入数据时乱码，一直找不到解决办法，于是就用load导入 LOAD后，发现某些表检查挂起（ 原因码为 "1"，所以不允许操作 SQLSTATE=57016 ） 解决办法：set integrity for xxxxxx immediate checked 2.表锁定（原因码为 阅读全文
posted @ 2017-08-09 22:18 疯狂的蜗牛仔 阅读(1568) 评论(0) 推荐(0)
db2数据导出导入del与ixf格式区别
摘要：之前做数据迁移的时候遇到乱码的一些坑，总结一下。 一般导入导出： db2 export to /home/xxxx.del of del select * from tablename db2 import from /home/xxxx.del of del insert into tablena 阅读全文
posted @ 2017-08-09 22:11 疯狂的蜗牛仔 阅读(1394) 评论(0) 推荐(0)
Oracle创建表空间和增加表空间
摘要：1.创建表空间 2.表空间增加 阅读全文
posted @ 2017-07-22 12:54 疯狂的蜗牛仔 阅读(927) 评论(0) 推荐(0)
Oracle大数据表的分表处理
摘要：1.首先给大数据表创建rownum序列号 2.通过xlh字段进行分数据到不同的表中(以建表的方式进行处理) 3.给创建的表分别建立主键或者索引 如果数据有重复的话,只需要建立索引就可以. 4.然后对分表后的数据进行处理 阅读全文
posted @ 2017-07-22 12:47 疯狂的蜗牛仔 阅读(3227) 评论(0) 推荐(0)
Oracle通过PLSQL进行数据表之间的同步
摘要：昨天被要求拉取第三方oracle中的一个表数据,起初以为要导出表数据,然后再自己库中建个相同的表,然后导入数据,查过资料之后oracle可以通过dblink的方式同步表数据. 1.首先利用PLSQL工具,在自己的oracle中建立dblink(用户要有dblink创建权限) . 2.dblink建好 阅读全文
posted @ 2017-07-21 09:22 疯狂的蜗牛仔 阅读(6111) 评论(0) 推荐(0)
MySql基础学习-数据操作
摘要：对于数据的操作，无非是“增删该查”这几种操作。 数据的增加使用insert语句插入 语法：INSERT INTO TABLE_NAME(column1，column2,...)VALUES(value1,value2,...) 例如：insert into person(name)values('l 阅读全文
posted @ 2017-07-13 22:46 疯狂的蜗牛仔 阅读(171) 评论(0) 推荐(0)
MySql基础学习-mysql安装
摘要：Linux环境下的安装 1检查是否已经安装 2安装MySql 安装过程中，提示确实yes即可，并且会提示设置root密码，设置即可。 3检查安装 如果显示mysql的tcp监听，则说明安装成功。 windows下的安装 这个更简单，和安装普通软件没啥区别，去官网https://www.mysql.c 阅读全文
posted @ 2017-07-13 22:22 疯狂的蜗牛仔 阅读(150) 评论(0) 推荐(0)
MySql基础学习-Sql约束
摘要：1.主键约束(PRIMARY KEY) 主键 (PRIMARY KEY)是用于约束表中的一行，作为这一行的唯一标识符，在一张表中通过主键就能准确定位到一行，因此主键十分重要。主键不能有重复且不能为空。 一个表只能有一个主键,可以是单字段的主键,也可以是多字段的联合主键,根据实际场景进行选择. 2.外 阅读全文
posted @ 2017-07-13 13:24 疯狂的蜗牛仔 阅读(180) 评论(0) 推荐(0)
MySql基础学习-库表操作
摘要：1.创建数据 2.连接数据库 3.创建数据表 4.插入数据 说明:因为主键为自增序列,所以主键会自动创建. 5.查看数据 注意事项: 1.在生产或测试环境建库,建表操作都是DBA负责,技术人员值进行表数据的操作(增删改查) 2.对于查询数据,切记!!!最好不要用select * 查询所有数据,而要带 阅读全文
posted @ 2017-07-13 13:08 疯狂的蜗牛仔 阅读(167) 评论(0) 推荐(0)

1 2 下一页