随笔分类 -  数据库

摘要:最近在做一个多线程的爬虫程序,由于队列中有重复的数据,尽管程序中有判断不存在则插入,但由于多个线程并发,导致数据库中存在部分重复的数据。 程序中的bug已经修复,但重新爬一遍耗时耗力,于是就选择删除重复的数据,只保留一条有效数据 解决的思路就是根据确定其数据唯一的聚合字段进行分组,然后只保留一条有效 阅读全文
posted @ 2021-11-06 11:12 hello-*-world 阅读(1840) 评论(0) 推荐(0)
摘要:在项目中sql脚本的编写有这么个技术点:从一个表里边取数据然后插入到另一个表中。这个操作用循环也能做,但是比较麻烦。数据库中的游标就能轻松的帮我们实现这一操作。 在数据库中,游标是一个十分重要的概念。游标提供了一种对从表中检索出的数据进行操作的灵活手段,就本质而言,游标实际上是一种能从包括多条数据记 阅读全文
posted @ 2020-05-30 11:03 hello-*-world 阅读(422) 评论(0) 推荐(0)
摘要:一.下载并安装MySQL官方的 Yum Repository wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 二.安装 yum -y install mysql57-community-r 阅读全文
posted @ 2020-03-11 15:10 hello-*-world 阅读(175) 评论(0) 推荐(0)
摘要:WITH AS短语,也叫做子查询部分(subquery factoring),可以让你做很多事情,定义一个SQL片断,该SQL片断会被整个SQL语句所用到。有的时候,是为了让SQL语句的可读性更高些,也有可能是在UNION ALL的不同部分,作为提供数据的部分。 特别对于UNION ALL比较有用。 阅读全文
posted @ 2020-03-06 17:40 hello-*-world 阅读(756) 评论(0) 推荐(0)
摘要:一. case [字段] when '要比较的值' then 表达式 when '要比较的值' then 表达式 else '' end 示例 select (case ApplyAmount when null then 0 --判断为空时,取0else ApplyAmount end) as A 阅读全文
posted @ 2020-03-04 16:09 hello-*-world 阅读(13931) 评论(0) 推荐(0)
摘要:写一篇在使用Oracle过程中一些常用的操作,以便于忘记的时候查看 一.创建用户和给用户赋予权限 create user 用户名 identified by 密码; --12c一下版本 create user c##用户名 identified by 密码; --12c以上版本需要加上c##,但创建 阅读全文
posted @ 2019-11-29 15:15 hello-*-world 阅读(254) 评论(0) 推荐(0)
摘要:分页查询是项目中必不可少的一部分,难倒是不难,就是这些东西,长时间不用,就忘的一干二净了。今天特此总结一下这两款数据库分页查询的实现过程(只记录效率比较高的) 一.Oracle中的分页查询 1.通用分页查询模板 SELECT * FROM (SELECT x.*, rownum as m FROM 阅读全文
posted @ 2019-11-28 11:26 hello-*-world 阅读(277) 评论(0) 推荐(0)
摘要:之前一直使用的是Sqlserver数据库,因项目需要,要附加Oracle版本。Oracle和Sqlserver的使用上有一定的区别,今天写一篇关于 用Oracle的总结。 一.主键自增的实现过程 1.创建表 create table Purpose( Id NUMBER(8) primary key 阅读全文
posted @ 2019-11-26 13:40 hello-*-world 阅读(299) 评论(0) 推荐(0)