Pandas从SQL型数据库读写数据

Pandas 读写SQL型数据库主要用到pandas.read_sql() 和 DataFrame.to_sql() 两个函数。

read_sql()

read_sql主要有如下几个参数:

  • sql:SQL命令字符串

  • con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立

  • index_col: 选择某一列作为index

  • coerce_float:非常有用,将数字形式的字符串直接以float型读入

  • parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。

  • columns:要选取的列。

  • chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。

  • params:其他的一些执行参数,

    import pandas as pd
    import pymysql
    import sqlalchemy
    from sqlalchemy import create_engine,text
    
    # 1. 用sqlalchemy构建数据库链接engine
    engine = create_engine('mysql+pymysql://username:password@localhost:port/database')
    
    # sql 语句
    sql = "SELECT * FROM table"
    df = pd.read_sql(sql=sql,con=engine)
    # 报错的时候可写成下面的
    # df = pd.read_sql(sql=text(sql), con=engine.connect())
    
    # 2. 用DB-API构建数据库链接engine
    con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
    df = pd.read_sql(sql, con)
    

    to_sql()

    to_sql主要有如下几个参数:

  • name: 输出的表名

  • con: 与read_sql中相同

  • if_exits: 三个模式:fail,若表存在,则不输出;replace:若表存在,覆盖原来表里的数据;append:若表存在,将数据写到原表的后面。默认为fail

  • index:是否将df的index单独写到一列中

  • index_label:指定列作为df的index输出,此时index为True

  • chunksize: 同read_sql

  • dtype: 指定列的输出到数据库中的数据类型。字典形式储存:{column_name: sql_dtype}。常见的数据类型有sqlalchemy.types.INTEGER(), sqlalchemy.types.NVARCHAR(),sqlalchemy.Datetime()等,

    df.to_sql(name='table', con=con, if_exists='append', index=False)
    
posted @ 2023-02-23 09:22  华小电  阅读(234)  评论(0编辑  收藏  举报