随笔分类 -  数据库

mysql不同数据库的数据表同步

摘要：执行入口： sh sync_mysql_tb.sh $src_table $target_table sync_mysql_tb.sh同步脚本的内容： !/bin/bash src_tb=$1 target_tb=$2 从src_tb导出数据 mysqldump uroot p123456 data 阅读全文

posted @ 2019-07-01 17:38 jackley 阅读(2754) 评论(0) 推荐(0)

python pipeline写入redis

摘要：1.需求描述 在实际业务中，需要将百万量级的数据导入到redis。而由于写入程序和redis所在机房不同，导致每条记录的写入存在一定时延，被百万次写入放大后，竟然需要用3个小时才能完成全部写入。 2.解决方法 为此，改用pipeline写入redis。pipeline的作用，是能够将多条命令集中起来 阅读全文

posted @ 2019-05-14 19:48 jackley 阅读(1576) 评论(0) 推荐(0)

[python]操作redis sentinel以及cluster

摘要：先了解清楚sentinel和cluster的差别，再学习使用python操作redis的API，感觉会更加清晰明白。 1、redis sentinel和cluster的区别 sentinel遵循主从结构。最小的sentinel会有一个master节点和两个slave节点，三个节点上均有sentine 阅读全文

posted @ 2017-07-28 18:27 jackley 阅读(638) 评论(0) 推荐(0)

[Jedis] ERR wrong number of arguments for 'mget'

摘要：看别人写的代码是件比较痛苦的事情，更加痛苦的是别人的代码出错还要负责调试好。 关于如何迅速定位问题和调试代码，我的一点感受是：逐行认真查看错误信息，在这些信息中找自己熟悉的内容（包括文件名、方法名等），不熟悉的内容先跳过。针对这些熟悉的内容，回溯相应的代码所在行，定位错误原因。 切忌囫囵吞枣的看了一 阅读全文

posted @ 2017-07-27 18:06 jackley 阅读(2360) 评论(0) 推荐(0)

select语句的高级应用及实例

摘要：本文介绍的select高级应用主要包括：联合查询、分组查询、嵌套查询和限定查询数目等，与实例对照演示，所使用数据库为sqlite3。 部门表（dept）CREATE TABLE dept(id INT PRIMARY KEY NOT NULL,name TEXT NO... 阅读全文

posted @ 2016-03-27 23:04 jackley 阅读(309) 评论(0) 推荐(0)

sqlite的数据类型

摘要：参考sqlite官方文档：https://www.sqlite.org/datatype3.html绝大多数的SQL数据库采用静态的、严格的数据类型，数据库中的值由数据表的列类型定义决定。然而，sqlite并非如此，sqlite采用更一般的、动态的数据类型。每一个存储... 阅读全文

posted @ 2016-03-24 17:25 jackley 阅读(490) 评论(0) 推荐(0)

python操作sqlite3的几项问题分析

摘要：不同数据库还是有各自特点的，之前自以为熟悉mysql，然后全都照搬到sqlite3上，这样果然是不行的。笔者就近期在使用sqlite3时碰到的问题做了总结分析，并给出相应解决方法，供大家参考。 1、如何insert一条记录？示例如下，其中sql语句中的%d、’%s’均... 阅读全文

posted @ 2016-03-24 16:43 jackley 阅读(393) 评论(0) 推荐(0)

利用python将数据转存入sqlite3

摘要：案例的目标是将存在文件中的json格式数据转存到sqlite数据库中。因此，需要利用python逐行读取json文件中数据，对数据进行解析和入库。具体操作步骤如下： 1、逐行读取json文件for line in open(path): sline= ... 阅读全文

posted @ 2016-03-22 20:41 jackley 阅读(1644) 评论(0) 推荐(0)