SQLAlchemy

SQLAlchemy

SQLAlchemy是python 编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简单讲：将对象转换成SQL，然后使用数据库API执行SQL并获取执行结果。

 

Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作

MySQL-Python
    mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>
  
pymysql
    mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]
  
MySQL-Connector
    mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>
  
cx_Oracle
    oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]
  
更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html

 

阶段一，使用Engine，ConnectionPooling，Dialect进行数据库操作，Engine使用ConnectionPooling连接数据库，然后再通过Dialect执行SQL语句。

from sqlalchemy import create_engine
 
 
engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5)
#一条数据
engine.execute(
    "INSERT INTO ts_test (a, b) VALUES ('2', 'v1')"
)
# 多条数据
engine.execute(
     "INSERT INTO ts_test (a, b) VALUES (%s, %s)",
    ((555, "v1"),(666, "v1"),)
)
#使用变量
engine.execute(
    "INSERT INTO ts_test (a, b) VALUES (%(id)s, %(name)s)",
    id=999, name="v1"
)
 
result = engine.execute('select * from ts_test')
result.fetchall()

 

事务操作：

from sqlalchemy import create_engine


engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5)


# 事务操作
with engine.begin() as conn:
    conn.execute("insert into table (x, y, z) values (1, 2, 3)")
    conn.execute("my_special_procedure(5)")
    
    
conn = engine.connect()
# 事务操作 
with conn.begin():
       conn.execute("some statement", {'x':5, 'y':10})

 

阶段二，使用Schema Type，SQL Expression Language，Engine，ConnectionPooling，Dialect进行数据库操作。

Engine使用Schema Type创建一个特定的结构对象，之后通过SQL Expression Language将该对象转换成SQL语句，然后通过ConnectionPooling连接数据库，再然后通过Dialect执行SQL并获取结果。

from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey
 
metadata = MetaData()        #实例化
#创建表
user = Table('user', metadata,        #表名
    Column('id', Integer, primary_key=True),    #字段名，类型
    Column('name', String(20)),
)
 
color = Table('color', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
)
engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5)
 
metadata.create_all(engine)    #连接数据库，并执行所有的建表语句
# metadata.clear()        #执行一条语句
# metadata.remove()    #删除一条语句

 

增删改查

from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey

metadata = MetaData()

user = Table('user', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
)

color = Table('color', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
)
engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/s11", max_overflow=5)

conn = engine.connect()

# 创建SQL语句，INSERT INTO "user" (id, name) VALUES (:id, :name)
conn.execute(user.insert(),{'id':7,'name':'seven'})
conn.close()
# 插入数据
# sql = user.insert().values(id=123, name='wu')
# conn.execute(sql)
# conn.close()
# 删除数据
# sql = user.delete().where(user.c.id > 1)
#更新数据
# sql = user.update().values(fullname=user.c.name)
# sql = user.update().where(user.c.name == 'jack').values(name='ed')
#查询数据
# sql = select([user, ])
# sql = select([user.c.id, ])
# sql = select([user.c.name, color.c.name]).where(user.c.id==color.c.id)
# sql = select([user.c.name]).order_by(user.c.name)
# sql = select([user]).group_by(user.c.name)
# 执行语句
# result = conn.execute(sql)
# print(result.fetchall())
# conn.close()

 

一个完整的实例：

from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from  sqlalchemy.orm import sessionmaker
 
Base = declarative_base() #生成一个SqlORM 基类
 
 
engine = create_engine("mysql+mysqldb://root@localhost:3306/test",echo=False)
 
# 创建表的类
class Host(Base):
    __tablename__ = 'hosts'        #表名
    id = Column(Integer,primary_key=True,autoincrement=True)    #字段
    hostname = Column(String(64),unique=True,nullable=False)
    ip_addr = Column(String(128),unique=True,nullable=False)
    port = Column(Integer,default=22)
 
Base.metadata.create_all(engine) #创建所有表结构
 
if __name__ == '__main__':
    SessionCls = sessionmaker(bind=engine) #创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
    session = SessionCls()
    # 数据语句
    #h1 = Host(hostname='localhost',ip_addr='127.0.0.1')
    #h2 = Host(hostname='ubuntu',ip_addr='192.168.2.243',port=20000)
    #h3 = Host(hostname='ubuntu2',ip_addr='192.168.2.244',port=20000)
    # 执行一条语句
    #session.add(h3)
    # 执行多条语句
    #session.add_all( [h1,h2])
   # 更新数据
    #h2.hostname = 'ubuntu_test' #只要没提交,此时修改也没问题
    #session.rollback()    #回滚
    #session.commit() #提交
   # 查询
    res = session.query(Host).filter(Host.hostname.in_(['ubuntu2','localhost'])).all()
    print(res)

更多内容详见：

    http://www.jianshu.com/p/e6bba189fcbd

    http://docs.sqlalchemy.org/en/latest/core/expression_api.html

注：SQLAlchemy无法修改表结构，如果需要可以使用SQLAlchemy开发者开源的另外一个软件Alembic来完成。

 

 

阶段三，使用ORM，Schema Type，SQL Expression Language，Engine，ConnectionPooling，Dialect所有组件对数据进行操作。根据类创建对象，对象转换成SQL，执行SQL。

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from sqlalchemy.orm import sessionmaker
from sqlalchemy import create_engine
  
engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/s11", max_overflow=5)
  
Base = declarative_base()
  
  
class User(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)    #primary_key=True 表示不显示执行过程
    name = Column(String(50))
  
# 寻找Base的所有子类，按照子类的结构在数据库中生成对应的数据表信息
# Base.metadata.create_all(engine)
  
Session = sessionmaker(bind=engine)
session = Session()
  
  
# ########## 增 ##########
# u = User(id=2, name='sb')
# session.add(u)
# session.add_all([
#     User(id=3, name='sb'),
#     User(id=4, name='sb')
# ])
# session.commit()
  
# ########## 删除 ##########
# session.query(User).filter(User.id > 2).delete()
# session.commit()
  
# ########## 修改 ##########
# session.query(User).filter(User.id > 2).update({'cluster_id' : 0})
# session.commit()
# ########## 查 ##########
# 只显示查询到的第一条结果
# ret = session.query(User).filter_by(name='sb').first()
# 显示所有查询到的结果
# ret = session.query(User).filter_by(name='sb').all()
# print(ret)
#多条件查询 
# ret = session.query(User).filter(User.name.in_(['sb','bb'])).all()
# print(ret)
  
# ret = session.query(User.name.label('name_label')).all()
# print(ret,type(ret))
#组  
# ret = session.query(User).order_by(User.id).all()
# print(ret)
  
# ret = session.query(User).order_by(User.id)[1:3]
# print(ret)
# session.commit()

 

外键关联：

from sqlalchemy import Table, Column, Integer, ForeignKey
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()

第一种办法：

class Parent(Base):
    __tablename__ = 'parent'
    id = Column(Integer, primary_key=True)
    children = relationship("Child")    #所关联的表
 
class Child(Base):
    __tablename__ = 'child'
    id = Column(Integer, primary_key=True)
    parent_id = Column(Integer, ForeignKey('parent.id'))    #关联是双向的，所以这里也指定所关联的字段

第二种办法：

class Parent(Base):
    __tablename__ = 'parent'
    id = Column(Integer, primary_key=True)
    #children = relationship("Child", back_populates="parent")
 
class Child(Base):
    __tablename__ = 'child'
    id = Column(Integer, primary_key=True)
   # parent_id = Column(Integer, ForeignKey('parent.id'))
    parent = relationship("Parent", back_populates="children")    #这一条语句代表是双向的关联

class Parent(Base):
    __tablename__ = 'parent'
    id = Column(Integer, primary_key=True)
    children = relationship("Child", backref="parent")    #可以通过parent字段查询所管理表的数据

 

 

join查询

inner join ：返回表中所有匹配的行

left join：返回左边表的所有行，以及右边匹配的行

right join：返回右边表的所有行，以及左边匹配的行

 

原生SQL语句：

select host.id,hostname,ip_addr,port,host_group.name from host right join host_group on host.id = host_group.host_id;

SQLAchemy语句：

session.query(Host).join(Host.host_groups).filter(HostGroup.name=='t1').group_by("Host").all()

 

 

group by 查询

原生SQL：

select name,count(host.id) as NumberOfHosts from host right join host_group on host.id= host_group.host_id group by name;

 

SQLAchemy：

from sqlalchemy import func
session.query(HostGroup, func.count(HostGroup.name )).group_by(HostGroup.name).all()
 
#another example
session.query(func.count(User.name), User.name).group_by(User.name).all() 
SELECT count(users.name) AS count_1, users.name AS users_name FROM users GROUP BY users.name