自己设计大学排名

操作数据库

 

SQLite是一种嵌入式数据库，它的数据库就是一个文件。由于SQLite本身是C写的，而且体积很小，所以，经常被集成到各种应用程序中，甚至在iOS和Android的App中都可以集成。

Python就内置了SQLite3，所以，在Python中使用SQLite，不需要安装任何东西，直接使用。

在使用SQLite前，我们先要搞清楚几个概念：

表是数据库中存放关系数据的集合，一个数据库里面通常都包含多个表，比如学生的表，班级的表，学校的表，等等。表和表之间通过外键关联。

要操作关系数据库，首先需要连接到数据库，一个数据库连接称为Connection；连接到数据库后，需要打开游标，称之为Cursor，通过Cursor执行SQL语句，然后，获得执行结果。

Python定义了一套操作数据库的API接口，任何数据库要连接到Python，只需要提供符合Python标准的数据库驱动即可。

APL	描述
sqlite3.connect(database])	该 API 打开一个到 SQLite 数据库文件 database 的链接，如果给定的数据库名称 filename 不存在，则该调用将创建一个数据库。如果您不想在当前目录中创建数据库，那么您可以指定带有路径的文件名，这样您就能在任意地方创建数据库。
connection.cursor()	该例程创建一个 cursor，将在 Python 数据库编程中用到
cursor.execute(sql [, optional parameters])	该例程执行一个 SQL 语句。该 SQL 语句可以被参数化（即使用占位符代替 SQL 文本）。 sqlite3 模块支持两种类型的占位符：问号和命名占位符（命名样式）。例如：cursor.execute("insert into people values (?, ?)", (who, age))
connection.execute(sql [, optional parameters])	该例程是上面执行的由光标（cursor）对象提供的方法的快捷方式，它通过调用光标（cursor）方法创建了一个中间的光标对象，然后通过给定的参数调用光标的 execute 方法
cursor.executemany(sql, seq_of_parameters)	该例程对 seq_of_parameters 中的所有参数或映射执行一个 SQL 命令。即重复执行多次SQL语句。
connection.executemany(sql[, parameters])	该例程是一个由调用光标（cursor）方法创建的中间的光标对象的快捷方式，然后通过给定的参数调用光标的 executemany 方法。
cursor.executescript(sql_script)	该例程一旦接收到脚本，会执行多个 SQL 语句。它首先执行 COMMIT 语句，然后执行作为参数传入的 SQL 脚本。所有的 SQL 语句应该用分号（;）分隔。即一次执行多条SQL语句。
connection.executescript(sql_script)	该例程是一个由调用光标（cursor）方法创建的中间的光标对象的快捷方式，然后通过给定的参数调用光标的 executescript 方法。
connection.total_changes()	该例程返回自数据库连接打开以来被修改、插入或删除的数据库总行数
connection.commit()	该方法提交当前的事务。如果您未调用该方法，那么自您上一次调用 commit() 以来所做的任何动作对其他数据库连接来说是不可见的
connection.rollback()	该方法回滚自上一次调用 commit() 以来对数据库所做的更改。
connection.close()	该方法关闭数据库连接。请注意，这不会自动调用 commit()。如果您之前未调用 commit() 方法，就直接关闭数据库连接，您所做的所有更改将全部丢失！
cursor.fetchone()	该方法获取查询结果集中的下一行，返回一个单一的序列，当没有更多可用的数据时，则返回 None。
cursor.fetchmany([size=cursor.arraysize])	该方法获取查询结果集中的下一行组，返回一个列表。当没有更多的可用的行时，则返回一个空的列表。该方法尝试获取由 size 参数指定的尽可能多的行。
cursor.fetchall()	该例程获取查询结果集中所有（剩余）的行，返回一个列表。当没有可用的行时，则返回一个空的列表。

 

>>> import sqlite3
# 连接到SQLite数据库
# 数据库文件是test.db
# 如果文件不存在，会自动在当前目录创建:
>>> conn = sqlite3.connect('test.db')
# 创建一个Cursor:
>>> cursor = conn.cursor()
# 执行一条SQL语句，创建user表:
>>> cursor.execute('create table user (id varchar(20) primary key, name varchar(20))')
<sqlite3.Cursor object at 0x10f8aa260>
# 继续执行一条SQL语句，插入一条记录:
>>> cursor.execute('insert into user (id, name) values (\'1\', \'Michael\')')
<sqlite3.Cursor object at 0x10f8aa260>
# 通过rowcount获得插入的行数:
>>> cursor.rowcount
1
# 关闭Cursor:
>>> cursor.close()
# 提交事务:
>>> conn.commit()
# 关闭Connection:
>>> conn.close()

查询记录
>>> conn = sqlite3.connect('test.db')
>>> cursor = conn.cursor()
# 执行查询语句:
>>> cursor.execute('select * from user where id=?', ('1',))
<sqlite3.Cursor object at 0x10f8aa340>
# 获得查询结果集:
>>> values = cursor.fetchall()
>>> values
[('1', 'Michael')]
>>> cursor.close()
>>> conn.close()

关于数据库的基础操作

—连接数据库

下面操作是连接到一个现有的数据库，如果数据库不存在，则它会被创建，最后将返回一个数据库对象。

import sqlite3
conn = sqlite3.connect('test.db')

—创建表

import sqlite3

conn = sqlite3.connect('test.db')
print("Opened database successfully")
c = conn.cursor()
c.execute("CREATE TABLE COMPANY(ID ,NAME,AGE,ADDRESS,SALARY)")

print("Table created successfully")
conn.commit()
conn.close()

—INSERT操作

下面操作是获取先前创建表的数据并显示

import sqlite3
conn = sqlite3.connect('test.db')
c = conn.cursor()
print("Opened database successfully")
c.execute("INSERT INTO COMPANY (ID,NAME,AGE,ADDRESS,SALARY)\
VALUES (1, 'Paul', 32, 'California', 20000.00 )")
c.execute("INSERT INTO COMPANY (ID,NAME,AGE,ADDRESS,SALARY) \
VALUES (2, 'Allen', 25, 'Texas', 15000.00 )")
c.execute("INSERT INTO COMPANY (ID,NAME,AGE,ADDRESS,SALARY) \
VALUES (3, 'Teddy', 23, 'Norway', 20000.00 )");
c.execute("INSERT INTO COMPANY (ID,NAME,AGE,ADDRESS,SALARY) \
VALUES (4, 'Mark', 25, 'Rich-Mond ', 65000.00 )");
conn.commit()
print("Records created successfully")
conn.close()

——SELECT操作

下面操作是获取先前创建表的数据并显示

import sqlite3
conn = sqlite3.connect('test.db')
c = conn.cursor()
print("Opened database successfully")
cursor = c.execute("SELECT id, name, address, salary  from COMPANY")
for row in cursor:
    print("ID = ", row[0])
    print("NAME = ", row[1])
    print("ADDRESS = ", row[2])
    print("SALARY = ", row[3], "\n")
print("Operation done successfully")
conn.close()

结果如下：

 —UPDATE操作

下面操作是使用UPDATE语句更新任何记录，然后从表中获取并显示更新的记录

import sqlite3
conn = sqlite3.connect('test.db')
c = conn.cursor()
print("Opened database successfully")
c.execute("UPDATE COMPANY set SALARY = 25000.00 where ID=1")
conn.commit()
print("Total number of rows updated :",conn.total_changes)
cursor = conn.execute("SELECT id, name, address, salary  from COMPANY")
for row in cursor:
    print("ID = ", row[0])
    print("NAME = ", row[1])
    print("ADDRESS = ", row[2])
print("SALARY = ", row[3], "\n")

print("Operation done successfully")
conn.close()

结果如下：

 — DELETE操作

下面操作是使用DELETE语句删除任何记录，然后从表中获取并显示剩余的记录

import sqlite3
conn = sqlite3.connect('test.db')
c = conn.cursor()
print("Opened database successfully")
c.execute("DELETE from COMPANY where ID=2;")
conn.commit()
print("Total number of rows deleted :", conn.total_changes)
cursor = conn.execute("SELECT id, name, address, salary  from COMPANY")
for row in cursor:
    print("ID = ", row[0])
    print("NAME = ", row[1])
    print("ADDRESS = ", row[2])
    print("SALARY = ", row[3], "\n")
print("Operation done successfully")
conn.close()

结果如下：

任务： 

补充

to_sql的几个参数:

name——表名

con——连接

if_exists:表如果存在怎么处理：

              append:追加

              replace:删除原表，建立新表在添加

              fail:什么都不干

index=False:不插入索引index

1、把上一次2015年软科中国大学排名存的csv文件写入到以db+学号的数据库中

import pandas
import sqlite3
conn= sqlite3.connect("2015大学排名(学号:2019310143112).db")
k = pandas.read_csv('2015中国大学排名.csv',encoding='gbk')
k.to_sql('University', conn, if_exists='append', index=False)
print('success')
conn.close()
conn = sqlite3.connect('2015大学排名(学号:2019310143112).db')
cursor = conn.cursor()
cursor.execute('SELECT * FROM University')
li = cursor.fetchall()
i=0               
for line in li:
     i+=1
     for item in line:
         print(item, end=' ')
     print()
     if i==10: #输出前十位
        break
conn.close()

结果如图：

2、查询学校的排名和得分

import sqlite3
conn= sqlite3.connect("2015大学排名(学号:2019310143112).db")
cur = conn.cursor()
cur.execute('SELECT * FROM University')
li = cur.fetchall()                  #返回所有查询结果
for line in li:
     if "广东技术师范大学" in line:
         print(line)
         break
     else:
         print("查无该校数据")
         break
conn.close()

结果如图：

为了验证不是代码错误，我试着查了一下清华大学的--

由于上一次存的csv文件中只储存了前十名，所以我们学校没有排名

3、查询广东省的排名和得分

import sqlite3
conn= sqlite3.connect("2015大学排名(学号:2019310143112).db")
cur = conn.cursor()
cur.execute('SELECT * FROM University')
li = cur.fetchall()                  #返回所有查询结果
for line in li:
     if "广东" in line:
         print("{} {} {} {}".format(line[0],line[1],line[2],line[4]))
conn.close()

结果如图：

 4、把广东省的学校的排名和得分存为一个新表，并给出一个综合算法，综合各个因素给出一个总排名。

存为新表

 

import sqlite3
import pandas
def saveAsCsv(filename, tabel_list):
     FormData = pandas.DataFrame(tabel_list)
     FormData.columns = ["排名","学校名称","省市","总分","生源质量","培养结果","人才培养得分"]
     FormData.to_csv(filename,encoding="gbk")
     
conn= sqlite3.connect("2015大学排名(学号:2019310143112).db")
cursor = conn.cursor()
cursor.execute('SELECT * FROM University')
li = cursor.fetchall()               #返回所有查询结果
list=[]
for line in li:
     if "广东" in line:
         list.append(line)
         print("{} {} {} {}".format(line[0],line[1],line[2],line[5]))
saveAsCsv("2015广东大学排名爬虫.csv", list)
conn.close()

 

新表显示

import pandas
import sqlite3
conn= sqlite3.connect("2015大学排名(学号:2019310143112).db")
k = pandas.read_csv('2015广东大学排名爬虫.csv',encoding='gbk')
k.to_sql('Guangdong', conn, if_exists='append', index=False)
print('success') 
conn = sqlite3.connect('2015大学排名(学号:2019310143112).db')
cursor = conn.cursor()
cursor.execute('SELECT * FROM Guangdong')
li = cursor.fetchall()
i=0               
for line in li:
     i+=1
     for item in line:
         print(item, end=' ')
     print()
     if i==10:
          break
conn.close()

 

结果如图：