Dayday up ---- python Day12

数据库操作

什么是数据库？

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，
每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。
我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。
所以，现在我们使用关系型数据库管理系统（RDBMS）来存储和管理的大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
RDBMS即关系数据库管理系统(Relational Database Management System)的特点：
1.数据以表格的形式出现
2.每行为各种记录名称
3.每列为记录名称所对应的数据域
4.许多的行和列组成一张表单
5.若干的表单组成database

常见关系型数据库:

oracle

mysql

sqlserver

db2

postgresql

sqlite

access

非关系型数据库:

redis

mongodb

RDBMS (关系型数据库)术语

 

  • 数据库: 数据库是一些关联表的集合。.
  • 数据表: 表是数据的矩阵。在一个数据库中的表看起来像一个简单的电子表格。
  • 列: 一列(数据元素) 包含了相同的数据, 例如邮政编码的数据。
  • 行：一行（=元组，或记录）是一组相关的数据，例如一条用户订阅的数据。
  • 冗余：存储两倍数据，冗余可以使系统速度更快。(表的规范化程度越高，表与表之间的关系就越多；查询时可能经常需要在多个表之间进行连接查询；而进行连接操作会降低查询速度。例如，学生的信息存储在student表中，院系信息存储在department表中。通过student表中的dept_id字段与department表建立关联关系。如果要查询一个学生所在系的名称，必须从student表中查找学生所在院系的编号（dept_id），然后根据这个编号去department查找系的名称。如果经常需要进行这个操作时，连接查询会浪费很多的时间。因此可以在student表中增加一个冗余字段dept_name，该字段用来存储学生所在院系的名称。这样就不用每次都进行连接操作了。)
  • 主键：主键是唯一的。一个数据表中只能包含一个主键。你可以使用主键来查询数据。
  • 外键：外键用于关联两个表。
  • 复合键：复合键（组合键）将多个列作为一个索引键，一般用于复合索引。
  • 索引：使用索引可快速访问数据库表中的特定信息。索引是对数据库表中一列或多列的值进行排序的一种结构。类似于书籍的目录。
  • 参照完整性: 参照的完整性要求关系中不允许引用不存在的实体。与实体完整性是关系模型必须满足的完整性约束条件，目的是保证数据的一致性。

 

Mysql数据库

 

Mysql是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

 

  • Mysql是开源的，所以你不需要支付额外的费用。
  • Mysql支持大型的数据库。可以处理拥有上千万条记录的大型数据库。
  • MySQL使用标准的SQL数据语言形式。
  • Mysql可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。
  • Mysql对PHP有很好的支持，PHP是目前最流行的Web开发语言。
  • MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。
  • Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。

mysql 数据类型

 

数值类型

 

MySQL支持所有标准SQL数值数据类型。

 

这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。

 

关键字INT是INTEGER的同义词，关键字DEC是DECIMAL的同义词。

 

BIT数据类型保存位字段值，并且支持MyISAM、MEMORY、InnoDB和BDB表。

 

作为SQL标准的扩展，MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。下面的表显示了需要的每个整数类型的存储和范围。

 

 

 

 

类型大小范围（有符号）范围（无符号）用途
TINYINT 1 字节 (-128，127) (0，255) 小整数值
SMALLINT 2 字节 (-32 768，32 767) (0，65 535) 大整数值
MEDIUMINT 3 字节 (-8 388 608，8 388 607) (0，16 777 215) 大整数值
INT或INTEGER 4 字节 (-2 147 483 648，2 147 483 647) (0，4 294 967 295) 大整数值
BIGINT 8 字节 (-9 233 372 036 854 775 808，9 223 372 036 854 775 807) (0，18 446 744 073 709 551 615) 极大整数值
FLOAT 4 字节 (-3.402 823 466 E+38，1.175 494 351 E-38)，0，(1.175 494 351 E-38，3.402 823 466 351 E+38) 0，(1.175 494 351 E-38，3.402 823 466 E+38) 单精度
浮点数值
DOUBLE 8 字节 (1.797 693 134 862 315 7 E+308，2.225 073 858 507 201 4 E-308)，0，(2.225 073 858 507 201 4 E-308，1.797 693 134 862 315 7 E+308) 0，(2.225 073 858 507 201 4 E-308，1.797 693 134 862 315 7 E+308) 双精度
浮点数值
DECIMAL 对DECIMAL(M,D) ，如果M>D，为M+2否则为D+2 依赖于M和D的值 依赖于M和D的值 小数值

 

日期和时间类型

表示时间值的日期和时间类型为DATETIME、DATE、TIMESTAMP、TIME和YEAR。

每个时间类型有一个有效值范围和一个"零"值，当指定不合法的MySQL不能表示的值时使用"零"值。

TIMESTAMP类型有专有的自动更新特性，将在后面描述。

 

 

类型大小
(字节)		范围格式用途
DATE 3 1000-01-01/9999-12-31 YYYY-MM-DD 日期值
TIME 3 '-838:59:59'/'838:59:59' HH:MM:SS 时间值或持续时间
YEAR 1 1901/2155 YYYY 年份值
DATETIME 8 1000-01-01 00:00:00/9999-12-31 23:59:59 YYYY-MM-DD HH:MM:SS 混合日期和时间值
TIMESTAMP 4 1970-01-01 00:00:00/2037 年某时 YYYYMMDD HHMMSS 混合日期和时间值，时间戳

字符串类型

字符串类型指CHAR、VARCHAR、BINARY、VARBINARY、BLOB、TEXT、ENUM和SET。该节描述了这些类型如何工作以及如何在查询中使用这些类型。

类型大小用途
CHAR 0-255字节 定长字符串
VARCHAR 0-65535 字节 变长字符串
TINYBLOB 0-255字节 不超过 255 个字符的二进制字符串
TINYTEXT 0-255字节 短文本字符串
BLOB 0-65 535字节 二进制形式的长文本数据
TEXT 0-65 535字节 长文本数据
MEDIUMBLOB 0-16 777 215字节 二进制形式的中等长度文本数据
MEDIUMTEXT 0-16 777 215字节 中等长度文本数据
LONGBLOB 0-4 294 967 295字节 二进制形式的极大文本数据
LONGTEXT 0-4 294 967 295字节 极大文本数据

CHAR和VARCHAR类型类似，但它们保存和检索的方式不同。它们的最大长度和是否尾部空格被保留等方面也不同。在存储或检索过程中不进行大小写转换。

BINARY和VARBINARY类类似于CHAR和VARCHAR，不同的是它们包含二进制字符串而不要非二进制字符串。也就是说，它们包含字节字符串而不是字符字符串。这说明它们没有字符集，并且排序和比较基于列值字节的数值值。

BLOB是一个二进制大对象，可以容纳可变数量的数据。有4种BLOB类型：TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB。它们只是可容纳值的最大长度不同。

有4种TEXT类型：TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT。这些对应4种BLOB类型，有相同的最大长度和存储需求。

　　

 

管理MySQL的命令

 

以下列出了使用Mysql数据库过程中常用的命令：

 

  • USE 数据库名 :选择要操作的Mysql数据库，使用该命令后所有Mysql命令都只针对该数据库。

  • SHOW DATABASES: 列出 MySQL 数据库管理系统的数据库列表。

  • SHOW TABLES: #显示指定数据库的所有表，使用该命令前需要使用 use命令来选择要操作的数据库。

  • SHOW COLUMNS FROM 数据表: #显示数据表的属性，属性类型，主键信息 ，是否为 NULL，默认值等其他信息。

  • create database testdb charset "utf8"; #创建一个叫testdb的数据库，且让其支持中文 

  • drop database testdb; #删除数据库

  • SHOW INDEX FROM 数据表:显示数据表的详细索引信息，包括PRIMARY KEY（主键）。

 

 

mysql 操作

1、mysql 设置root密码

mysqladmin -uroot password "new_password"

2、创建用户

通过sql 的grant命令

如:

最后执行 flush privileges; 生效

3、删除用户

最后执行 flush privileges; 生效

4、创建数据表

 

语法: CREATE TABLE table_name (column_name column_type);

  • 如果你不想字段为 NULL 可以设置字段的属性为 NOT NULL， 在操作数据库时如果输入该字段的数据为NULL ，就会报错。
  • AUTO_INCREMENT定义列为自增的属性，一般用于主键，数值会自动加1。
  • PRIMARY KEY关键字用于定义列为主键。 您可以使用多列来定义主键，列间以逗号分隔。 

5、插入数据

INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN );

6、查询数据

 SELECT column_name,column_name FROM table_name [WHERE Clause] [OFFSET M ][LIMIT N]

  • 查询语句中你可以使用一个或者多个表，表之间使用逗号(,)分割，并使用WHERE语句来设定查询条件。
  • SELECT 命令可以读取一条或者多条记录。
  • 你可以使用星号（*）来代替其他字段，SELECT语句会返回表的所有字段数据
  • 你可以使用 WHERE 语句来包含任何条件。
  • 你可以通过OFFSET指定SELECT语句开始查询的数据偏移量。默认情况下偏移量为0。
  • 你可以使用 LIMIT 属性来设定返回的记录数。

7、where 语句

SELECT field1, field2,...fieldN FROM table_name1, table_name2... [WHERE condition1 [AND [OR]] condition2.....

以下为操作符列表，可用于 WHERE 子句中。

下表中实例假定 A为10 B为20

操作符描述实例
= 等号，检测两个值是否相等，如果相等返回true (A = B) 返回false。
<>, != 不等于，检测两个值是否相等，如果不相等返回true (A != B) 返回 true。
> 大于号，检测左边的值是否大于右边的值, 如果左边的值大于右边的值返回true (A > B) 返回false。
< 小于号，检测左边的值是否小于右边的值, 如果左边的值小于右边的值返回true (A < B) 返回 true。
>= 大于等于号，检测左边的值是否大于或等于右边的值, 如果左边的值大于或等于右边的值返回true (A >= B) 返回false。
<= 小于等于号，检测左边的值是否小于于或等于右边的值, 如果左边的值小于或等于右边的值返回true (A <= B) 返回 true。

使用主键来作为 WHERE 子句的条件查询是非常快速的。

8、update修改

UPDATE table_name SET field1=new-value1, field2=new-value2 [WHERE Clause]

9、delete 删除

 DELETE FROM table_name [WHERE Clause]

 

10、 like 查询

 SELECT field1, field2,...fieldN table_name1, table_name2...

WHERE field1 LIKE condition1 [AND [OR]] filed2 = 'somevalue'
 

11、mysql 排序

SELECT field1, field2,...fieldN table_name1, table_name2...

ORDER BY field1, [field2...] [ASC [DESC]]
使用 ASC 或 DESC 关键字来设置查询结果是按升序或降序排列。 默认情况下，它是按升序排列。
 

12、group by 语句

 SELECT column_name, function(column_name)
FROM table_name
WHERE column_name operator value
GROUP BY column_name;
 

我们可以使用 coalesce 来设置一个可以取代 NUll 的名称，coalesce 语法：

13、alter  命令

 删除，添加或修改表字段
 alter table student drop register_date; #从student表删除register_date   字段alter table student add phone int(11) not null; ＃添加phone字段

修改字段类型及名称

如果需要修改字段类型及名称, 你可以在ALTER命令中使用 MODIFY 或 CHANGE 子句 。

例如，把字段 c 的类型从 CHAR(1) 改为 CHAR(10)，可以执行以下命令:

 ALTER TABLE testalter_tbl MODIFY c CHAR(10);

 使用 CHANGE 子句, 语法有很大的不同。 在 CHANGE 关键字之后，紧跟着的是你要修改的字段名，然后指定新字段名及类型。尝试如下实例：

mysql> ALTER TABLE testalter_tbl CHANGE i j BIGINT;

mysql> ALTER TABLE testalter_tbl CHANGE j j INT;

 ALTER TABLE 对 Null 值和默认值的影响

当你修改字段时，你可以指定是否包含只或者是否设置默认值。

以下实例，指定字段 j 为 NOT NULL 且默认值为100 。

 mysql> ALTER TABLE testalter_tbl MODIFY j BIGINT NOT NULL DEFAULT 100;

 修改表名

mysql> ALTER TABLE testalter_tbl RENAME TO alter_tbl;

 14、外键

外键，一个特殊的索引，用于关键2个表，只能是指定内容

mysql> create table class(
    -> id  int not null primary key,
    -> name char(16));
Query OK, 0 rows affected (0.02 sec)
 
 
CREATE TABLE `student2` (
  `id` int(11) NOT NULL,
  `name` char(16) NOT NULL,
  `class_id` int(11) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `fk_class_key` (`class_id`),
  CONSTRAINT `fk_class_key` FOREIGN KEY (`class_id`) REFERENCES `class` (`id`)
)

此时如果class 表中不存在id 1,student表也插入不了，这就叫外键约束
mysql> insert into student2(id,name,class_id) values(1,'alex', 1);
ERROR 1452 (23000): Cannot add or update a child row: a foreign key constraint fails (`testdb`.`student2`, CONSTRAINT `fk_class_key` FOREIGN KEY (`class_id`) REFERENCES `class` (`id`))
 
 
 
mysql> insert into class(id,name) values(1,"linux");
Query OK, 1 row affected (0.01 sec)
 
mysql> insert into student2(id,name,class_id) values(1,'alex', 1);
Query OK, 1 row affected (0.00 sec)
 
 
＃如果有student表中跟这个class表有关联的数据，你是不能删除class表中与其关联的纪录的
mysql> delete from class where id =1;
ERROR 1451 (23000): Cannot delete or update a parent row: a foreign key constraint fails (`testdb`.`student2`, CONSTRAINT `fk_class_key` FOREIGN KEY (`class_id`) REFERENCES `class` (`id`))

MySQL NULL 值处理　　

我们已经知道MySQL使用 SQL SELECT 命令及 WHERE 子句来读取数据表中的数据,但是当提供的查询条件字段为 NULL 时，该命令可能就无法正常工作。
为了处理这种情况，MySQL提供了三大运算符:
IS NULL: 当列的值是NULL,此运算符返回true。
IS NOT NULL: 当列的值不为NULL, 运算符返回true。
<=>: 比较操作符（不同于=运算符），当比较的的两个值为NULL时返回true。
关于 NULL 的条件比较运算是比较特殊的。你不能使用 = NULL 或 != NULL 在列中查找 NULL 值 。
在MySQL中，NULL值与任何其它值的比较（即使是NULL）永远返回false，即 NULL = NULL 返回false 。
MySQL中处理NULL使用IS NULL和IS NOT NULL运算符。

15、mysql 连接（left join, right join, inner join ,full join）

你可以在SELECT, UPDATE 和 DELETE 语句中使用 Mysql 的 JOIN 来联合多表查询。

JOIN 按照功能大致分为如下三类：

  • INNER JOIN（内连接,或等值连接）：获取两个表中字段匹配关系的记录。
  • LEFT JOIN（左连接）：获取左表所有记录，即使右表没有对应匹配的记录。
  • RIGHT JOIN（右连接）： 与 LEFT JOIN 相反，用于获取右表所有记录，即使左表没有对应匹配的记录。

　Inner join　 (2张表的交集)

Left join

 

Right join

Full join

 16、事务

 

MySQL 事务主要用于处理操作量大，复杂度高的数据。比如说，在人员管理系统中，你删除一个人员，你即需要删除人员的基本资料，也要删除和该人员相关的信息，如信箱，文章等等，这样，这些数据库操作语句就构成一个事务！

  • 在MySQL中只有使用了Innodb数据库引擎的数据库或表才支持事务
  • 事务处理可以用来维护数据库的完整性，保证成批的SQL语句要么全部执行，要么全部不执行
  • 事务用来管理insert,update,delete语句

一般来说，事务是必须满足4个条件（ACID）： Atomicity（原子性）、Consistency（稳定性）、Isolation（隔离性）、Durability（可靠性）

  • 1、事务的原子性：一组事务，要么成功；要么撤回。
  • 2、稳定性 ： 有非法数据（外键约束之类），事务撤回。
  • 3、隔离性：事务独立运行。一个事务处理后的结果，影响了其他事务，那么其他事务会撤回。事务的100%隔离，需要牺牲速度。
  • 4、可靠性：软、硬件崩溃后，InnoDB数据表驱动会利用日志文件重构修改。可靠性和高速度不可兼得， innodb_flush_log_at_trx_commit选项 决定什么时候吧事务保存到日志里。

在Mysql控制台使用事务来操作

如果上面的数据没问题，就输入commit提交命令就行

 17、索引

 

MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。

打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。

索引分单列索引和组合索引。单列索引，即一个索引只包含单个列，一个表可以有多个单列索引，但这不是组合索引。组合索引，即一个索包含多个列。

创建索引时，你需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。 

实际上，索引也是一张表，该表保存了主键与索引字段，并指向实体表的记录。

上面都在说使用索引的好处，但过多的使用索引将会造成滥用。因此索引也会有它的缺点：虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件。建立索引会占用磁盘空间的索引文件。

 创建索引

 CREATE INDEX indexName ON mytable(username(length));

 

如果是CHAR，VARCHAR类型，length可以小于字段实际长度；如果是BLOB和TEXT类型，必须指定 length。

 修改表结构

ALTER mytable ADD INDEX [indexName] ON (username(length))

创建表的时候直接指定

CREATE TABLE mytable( 
  
ID INT NOT NULL,  
  
username VARCHAR(16) NOT NULL, 
  
INDEX [indexName] (username(length)) 
  
);

　删除索引的语法　

 DROP INDEX [indexName] ON mytable;

 

唯一索引

索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一 

 

创建索引
CREATE UNIQUE INDEX indexName ON mytable(username(length))
 
 
修改表结构
ALTER mytable ADD UNIQUE [indexName] ON (username(length))
 
 
创建表的时候直接指定
CREATE TABLE mytable( 
  
ID INT NOT NULL,  
  
username VARCHAR(16) NOT NULL, 
  
UNIQUE [indexName] (username(length)) 
  
);

使用ALTER 命令添加和删除索引

有四种方式来添加数据表的索引：
ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL。
ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）。
ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引，索引值可出现多次。
ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ，用于全文索引。
 
 
以下实例为在表中添加索引。
mysql> ALTER TABLE testalter_tbl ADD INDEX (c);
你还可以在 ALTER 命令中使用 DROP 子句来删除索引。尝试以下实例删除索引:
mysql> ALTER TABLE testalter_tbl DROP INDEX (c);

使用 ALTER 命令添加和删除主键

主键只能作用于一个列上，添加主键索引时，你需要确保该主键默认不为空（NOT NULL）。实例如下：
mysql> ALTER TABLE testalter_tbl MODIFY i INT NOT NULL;
mysql> ALTER TABLE testalter_tbl ADD PRIMARY KEY (i);
 
你也可以使用 ALTER 命令删除主键：
mysql> ALTER TABLE testalter_tbl DROP PRIMARY KEY;
删除指定时只需指定PRIMARY KEY，但在删除索引时，你必须知道索引名。

显示索引信息

mysql> SHOW INDEX FROM table_name\G　　

pymysql　　

1、安装pymysql

pip install pymysql

2、使用操作

　

# --*--coding:utf-8--*--
import pymysql

# 创建连接
conn = pymysql.connect(host='172.16.19.221',port=3306,user='liyanxia',password='123456',db='py_test')

# 创建游标
cursor = conn.cursor()

# 执行单条sql
# effect_row = cursor.execute("select * from stu_info")
# 批量插入数据
data = [
    ("aa",100),
    ("bb",101),
    ("cc",206)
]
cursor.executemany("insert into stu_info (sch_name,stu_count) values (%s,%s)",data)

# 获取数据
# print(cursor.fetchone())  # 获取一行
# print(cursor.fetchall())  # 获取所有数据
effect_row = cursor.execute("select * from stu_info")
print(cursor.fetchall())

conn.commit()  # 提交

cursor.close()  # 关闭游标
conn.close()   # 关闭连接

　　

注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：

  • cursor.scroll(1,mode='relative')  # 相对当前位置移动
  • cursor.scroll(2,mode='absolute') # 相对绝对位置移动

关于默认获取的数据是元组类型

如果要字典类型数据: 

cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)

 

sqlalchemy ORM

orm英文全称object relational mapping,就是对象映射关系程序，简单来说我们类似python这种面向对象的程序来说一切皆对象，但是我们使用的数据库却都是关系型的，为了保证一致的使用习惯，通过orm将编程语言的对象模型和数据库的关系模型建立映射关系，这样我们在使用编程语言对数据库进行操作的时候可以直接使用编程语言的对象模型进行操作就可以了，而不用直接使用sql语言。 

orm的优点：

  1. 隐藏了数据访问细节，“封闭”的通用数据库交互，ORM的核心。他使得我们的通用数据库交互变得简单易行，并且完全不用考虑该死的SQL语句。快速开发，由此而来。
  2. ORM使我们构造固化数据结构变得简单易行。

缺点：

  1. 无可避免的，自动化意味着映射和关联管理，代价是牺牲性能（早期，这是所有不喜欢ORM人的共同点）。现在的各种ORM框架都在尝试使用各种方法来减轻这块（LazyLoad，Cache），效果还是很显著的。

 

sqlalchemy 安装

在Python中，最有名的ORM框架是SQLAlchemy。用户包括openstack＼Dropbox等知名公司或应用，主要用户列表http://www.sqlalchemy.org/organizations.html#openstack 

 

 Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作，如：

 

MySQL-Python
    mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
   
pymysql
    mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
   
MySQL-Connector
    mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
   
cx_Oracle
    oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
   
更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html

安装模块

pip install SQLAlchemy<br><br>pip install pymysql  #由于mysqldb依然不支持py3，所以这里我们用pymysql与sqlalchemy交互　　

sqlalchemy 基本使用 

1、创建表　

 

# --*--coding:utf-8--*--
import sqlalchemy
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column,Integer,String

engine = create_engine("mysql+pymysql://liyanxia:123456@172.16.19.221/py_test?charset=utf8")
Base = declarative_base() # 生成orm 基类
class info(Base):
    __tablename__ = 'stu_info2'  # 表名
    id = Column(Integer,primary_key=True)
    student_name = Column(String(32))
    stu_id = Column(Integer,nullable=False)

Base.metadata.create_all(engine)  # 创建表结构

2、基本使用　　

# --*--coding:utf-8--*--
import sqlalchemy
from sqlalchemy import create_engine,func
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column,Integer,String
from sqlalchemy.orm import mapper,sessionmaker

engine = create_engine("mysql+pymysql://liyanxia:123456@172.16.19.221/py_test?charset=utf8",
                       encoding='utf-8',
                       # echo=True
                       )

Base = declarative_base()

class info(Base):
    __tablename__ = 'stu_info2'  # 表名
    id = Column(Integer,primary_key=True)
    student_name = Column(String(32))
    stu_id = Column(Integer,nullable=False)

    def __repr__(self):
        return "<User(stu_name:'%s', stu_id='%s')" % (self.student_name,self.stu_id)

Session_class = sessionmaker(bind=engine)  # 创建与数据库的会话session class ,返回的是session是一个class 不是实例
Session = Session_class()  # 生成session实例
# 创建数据
# info_obj = info(student_name="ly",stu_id=1033) # 生成你要创建的数据对象
# print(info_obj.student_name,info_obj.id)
# Session.add(info_obj)  # 把要创建的数据对象添加到这个session 里，一会统一创建
# print(info_obj.student_name,info_obj.id)

# 查询数据
# info_query = Session.query(info).filter_by(student_name="ly").first()
# # print(info_query.id,info_query.stu_id)
# print(info_query)

# 修改数据
# info_query = Session.query(info).filter_by(stu_id=1033).first()
# info_query.student_name = "lyx"
# print(info_query.student_name,info_query.id)


# 回滚
# my_user = Session.query(info).filter_by(id=1).first()
# my_user.student_name = "Jack"
#
#
# print(Session.query(info).filter(info.student_name.in_(['Jack'])).all())  # 这时看session里有你刚添加和修改的数据
#
# Session.rollback()  # 此时你rollback一下
#
# print(Session.query(info).filter(info.student_name.in_(['Jack'])).all())  # 再查就发现刚才添加的数据没有了。
# Session.commit()  # 现在统一提交，创建数据


# 获取所有数据
# print(Session.query(info.id,info.student_name,info.stu_id).all())

# 多条件查询
# objs = Session.query(info).filter(info.stu_id>1032).filter(info.stu_id<1999).all()
# print(objs)

# 统计
print(Session.query(info).filter(info.student_name.like("%yx")).count())
# 分组
print(Session.query(func.count(info.stu_id),info.student_name).group_by(info.student_name).all())

filter and filter_by

info_query = Session.query(info).filter_by(student_name="ly").all()
info_query2 = Session.query(info).filter(info.student_name=="lyx").all()
print(info_query)
print(info_query2)

filter 双等号,可以用> 和 <
filter_by 单等号

　　

3、外键关联　　

 

# --*--coding:utf-8--*--
from sqlalchemy import ForeignKey,create_engine
from sqlalchemy import Column,Integer,String
from sqlalchemy.orm import relationship,Session,sessionmaker
from sqlalchemy.ext.declarative import declarative_base

engine = create_engine("mysql+pymysql://liyanxia:123456@172.16.19.221/py_test?charset=utf8",
                       encoding='utf-8',
                       # echo=True
                       )

Base = declarative_base()
Session_class = sessionmaker(bind=engine)
session = Session_class()

class info(Base):
    __tablename__ = 'stu_info2'  # 表名
    id = Column(Integer,primary_key=True)
    student_name = Column(String(32))
    stu_id = Column(Integer,nullable=False)

    def __repr__(self):
        return "<User(stu_name:'%s', stu_id='%s')" % (self.student_name,self.stu_id)

class Address(Base):
    __tablename__ = 'address'
    id = Column(Integer,primary_key=True)
    email_address = Column(String(32),nullable=False)
    user_id = Column(Integer,ForeignKey('stu_info2.id'))

    re_user = relationship("info",backref="address")
    # 允许你stu_info2表里通过backref字段反向查出所有它在address表里的关联项

    def __repr__(self):
        return "<Address(email_address='%s')>" % self.email_address

# Base.metadata.create_all(engine)

I1 = info(student_name="aa",stu_id=5555)
I2 = info(student_name="bb",stu_id=6666)
I3 = info(student_name="cc",stu_id=7777)
I4 = info(student_name="dd",stu_id=8888)

A1 = Address(email_address="aa@qq.com",user_id=2)
A2 = Address(email_address="bb@qq.com",user_id=1)
A3 = Address(email_address="cc@qq.com",user_id=1)
A4 = Address(email_address="dd@qq.com",user_id=2)


# session.add_all([I1,I2,I3,I4,A1,A2,A3,A4])
#
# session.commit()

# 通过info 对象反查关联的Address 记录
# obj = session.query(info).first()
# print(obj)
# for i in obj.address:
#     print(i)

# 在add_obj 里直接查关联的stu_info2表
add_obj = session.query(Address).first()
print(add_obj)
print(add_obj.re_user.student_name)

创建关联对象

# 创建关联对象
obj=session.query(info).filter(info.student_name=='bb').all()[0]
print(obj.address)

obj.address = [Address(email_address="123@163.com"),
               Address(email_address="456@163.com")]

session.commit()

常用查询语法
Common Filter Operators

Here’s a rundown of some of the most common operators used in filter():

equals:

     query.filter(User.name == 'ed')
not equals:

     query.filter(User.name != 'ed')
LIKE:

query.filter(User.name.like('%ed%'))

IN:

NOT IN:
query.filter(~User.name.in_(['ed', 'wendy', 'jack']))

IS NULL:

IS NOT NULL:

AND:
2.1. ObjectRelationalTutorial 17

query.filter(User.name.in_(['ed', 'wendy', 'jack']))
# works with query objects too:
query.filter(User.name.in_( session.query(User.name).filter(User.name.like('%ed%'))

))

query.filter(User.name == None)
# alternatively, if pep8/linters are a concern
query.filter(User.name.is_(None))
query.filter(User.name != None)
# alternatively, if pep8/linters are a concern
query.filter(User.name.isnot(None))
SQLAlchemy Documentation, Release 1.1.0b1

# use and_()

from sqlalchemy import and_
query.filter(and_(User.name == 'ed', User.fullname == 'Ed Jones'))

# or send multiple expressions to .filter()
query.filter(User.name == 'ed', User.fullname == 'Ed Jones')
# or chain multiple filter()/filter_by() calls
query.filter(User.name == 'ed').filter(User.fullname == 'Ed Jones')
Note: Makesureyouuseand_()andnotthePythonandoperator! • OR:

Note: Makesureyouuseor_()andnotthePythonoroperator! • MATCH:

query.filter(User.name.match('wendy'))
Note: match() uses a database-specific MATCH or CONTAINS f
查询语法

 4、多外键关联

# --*--coding:utf-8--*--
from sqlalchemy import Integer,Column,ForeignKey,String,create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import relationship,sessionmaker


engine = create_engine("mysql+pymysql://liyanxia:123456@172.16.19.221/py_test?charset=utf8",
                       encoding='utf-8',
                       # echo=True
                       )
Base = declarative_base()
Session_class = sessionmaker(bind=engine)
session = Session_class()

class Address(Base):
    __tablename__ = 'address_2'
    id = Column(Integer,primary_key=True)
    street = Column(String(32))
    city = Column(String(32))
    state = Column(String(32))

    def __repr__(self):
        return self.street

class Customer(Base):
    __tablename__ = 'customer'
    id = Column(Integer, primary_key=True)
    name = Column(String(32))

    billing_address_id = Column(Integer, ForeignKey("address_2.id"))
    shipping_address_id = Column(Integer, ForeignKey("address_2.id"))

    billing_address = relationship("Address", foreign_keys=[billing_address_id])
    shipping_address = relationship("Address", foreign_keys=[shipping_address_id])




# Base.metadata.create_all(engine)  # 创建表结构

# A1 = Address(street="光明路",city="赣州",state="江西")
# A2 = Address(street="1路",city="赣州",state="江西")
# A3 = Address(street="2路",city="赣州",state="江西")
# A4 = Address(street="3路",city="赣州",state="江西")
# session.add_all([A1,A2,A3,A4])
# C1 = Customer(name="aa",billing_address=A1,shipping_address=A2)
# C2 = Customer(name="bb",billing_address=A3,shipping_address=A3)
# session.add_all([C1,C2])

obj = session.query(Customer).filter(Customer.name=="aa").first()
print(obj.name,obj.billing_address,obj.shipping_address)

session.commit()

5、多对多关系　　

现在来设计一个能描述“图书”与“作者”的关系的表结构，需求是

  1. 一本书可以有好几个作者一起出版
  2. 一个作者可以写好几本书
# --*--coding:utf-8--*--
from sqlalchemy import Table,Column,Integer,String,DATE,ForeignKey,create_engine
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

engine = create_engine("mysql+pymysql://liyanxia:123456@172.16.19.221/py_test?charset=utf8",
                       encoding='utf-8',
                       # echo=True
                       )

Base = declarative_base()

book_m2m_author = Table('book_m2m_author', Base.metadata,
                        Column('book_id',Integer,ForeignKey('books.id')),
                        Column('author_id',Integer,ForeignKey('authors.id')),
                        )

class Book(Base):
    __tablename__ = 'books'
    id = Column(Integer,primary_key=True)
    name = Column(String(64))
    pub_date = Column(DATE)
    authors = relationship('Author',secondary=book_m2m_author,backref='books')

    def __repr__(self):
        return self.name

class Author(Base):
    __tablename__ = 'authors'
    id = Column(Integer, primary_key=True)
    name = Column(String(32))

    def __repr__(self):
        return self.name

# Base.metadata.create_all(engine)

session_class = sessionmaker(bind=engine)
session = session_class()
#
# b1 = Book(name="python基础")
# b2 = Book(name="python高级")
# b3 = Book(name="python中级")
# b4 = Book(name="python开发")
#
# a1 = Author(name="Alex")
# a2 = Author(name="Jack")
# a3 = Author(name="Rain")
#
# b1.authors = [a1,a2]
# b2.authors = [a1,a2,a3]
#
# session.add_all([b1,b2,b3,b4,a1,a2,a3])
#
print('--------通过书表查关联的作者---------')
book_obj = session.query(Book).filter_by(name="python基础").first()
print(book_obj.name,book_obj.authors)

print('--------通过作者表查关联的书---------')
author_obj = session.query(Author).filter_by(name="jack").first()
print(author_obj.name, author_obj.books)


session.commit()

多对多删除　　

# 通过书删除作者
author_obj = session.query(Author).filter_by(name="Alex").first()
book_obj = session.query(Book).filter_by(name="python基础").first()
book_obj.authors.remove(author_obj)

# 直接删除作者
# 删除作者时，会把这个作者跟所有书的关联关系数据也自动删除
author_obj = session.query(Author).filter_by(name="Alex").first()
session.delete(author_obj)

session.commit()

　　

posted @ 2016-10-27 18:25  a_monologue  阅读(68)  评论(0)    收藏  举报