Python+sqlite爬虫之实践

主题：爬取某网站的招聘信息，然后存进Sqlite数据库。

 

环境准备：

Python3.5

Sqlite

Navicat for SQLite（方便查看）

 

步骤：

一、 安装Sqlite

下载地址：http://www.sqlite.org/download.html

这里是window 10系统，所以找到Precompiled Binaries for Windows下的sqlite tools下载，解压后将**sqlite3.exe**放到python的安装目录下既可

 

二、初始化Sqlite数据库

1、在d:\study\spyder目录下新建job_model.py文件

from peewee import *

db = SqliteDatabase('job.db')

class Job(Model):
    job_id = IntegerField(unique=True)    #key
    salary_min = IntegerField()
    salary_max = IntegerField()
    job_exp = CharField(max_length=100)
    company = CharField(max_length=100)
    company_id = IntegerField()
    company_info = CharField(max_length=100)
    url = CharField(max_length=100)
    attract = CharField(max_length=100)
    detail = TextField()
    address = CharField(max_length=100)
    publish_time = DateField()
    keyword = CharField(max_length=100)
    city = CharField(max_length=100)
    position = CharField(max_length=100)
    create_time = DateTimeField()

    class Meta:
        database = db

 

2、在d:\study\spyder目录下的命令行中依次输入，也就是job_model.py所在的目录

```
python -i job_model.py
db.connect()
db.create_tables([Job])
```

如果此目录下没有job.db文件，则新建一个，并且新建一张名job的表，表结构如job_model.py所设计那样。

如果此目录已有job.db文件，则在原有的数据上新建一张名job的表。

此时，可以用Navicat连接job.db数据库查看，是否新增了表job

 

 

三、如何用python将数据写入Sqlite？

这里将用到python的第三方库peewee，在命令行输入pip3 install peewee进行安装

from spyder.job_model import Job
import peewee

class spyder: 

    ......

　　# 这里传入参数是一个字典
    def storeDataToSqlite(self, dic):
        try:
            Job.create(job_id = dic['job_id'],
                        salary_min = dic['salary_min'],
                        salary_max = dic['salary_max'],
                        company = dic['company'],
                        company_id = 0,　　#先设为0
                        company_info = dic['company_info'],
                        url = dic['url'],
                        attract = dic['attract'],
                        detail = dic['detail'],
                        address = dic['address'],
                        publish_time = dic['publish_time'],
                        keyword = dic['keyword'],
                        city = dic['city'],
                        job_exp = dic['exp'],
                        position = dic['position'],
                        create_time = self.today_date)

        except peewee.IntegrityError:
            print("数据插入错误:ID：%s，公司：%s已经存在" % (dic['job_id'],dic['company']))

 

四、新建一个spyder_job.py文件，开始设计编码

方案一：用requests库+BeautifulSoup

方案二：用selenium 3+Chrome

思路：搜索城市、招聘关键字 --》 页码--》爬一个一个招聘的URL --》重复一个一个招聘页 --》重复爬取信息 --》重复写入数据库

 

五、用Navicat连接job.db数据库查看表job，是否新增了数据