十、豆瓣读书爬虫
用了一上午的时间做了个这个,还是比较简单的。多练练,总会进步。遇到了很多问题,庆幸自己都解决了。
我的过程是:(python3)
1、先将豆瓣读书的所有标签以每行七个打印到页面上。
2、输入要爬取标签的名字,可以输入多个。
3、输入你想要爬取多少页。
4、爬取每本书的书名、作者、出版社、评分、评价人数、图书的url,封面图片的url
5、以标签名作为文件名存到本地文件中。(本来想保存到Excel中的,但是我下载的Python是最新版本,自己知道的库中,没有合适的)
6、把这些用到我练习的网站(用的Django)中,在Django下写一个脚本,将数据导入数据库
import time import random import requests from bs4 import BeautifulSoup def printTag(): ''' 以每行七个、打印标签名, :return: ''' response = requests.get('https://book.douban.com/tag/?view=cloud') soup = BeautifulSoup(response.text, 'lxml') tags = soup.select('.tagCol td a') tag_list = [] start = 0 end = 7 for tag in tags: tag_list.append(tag.get_text()) tr, td = divmod(len(tag_list), 7) # print(tr, td) if td != 0: tr = tr + 1 for i in range(tr): print(tag_list[start:end]) start, end = end, end + 7 def devideTag(book_tag_list): # 操作全局变量 global START_PAGE for book_tag in book_tag_list: # 每个标签下的书籍 bookSpider(book_tag) # 每爬完一个标签,将起始页归为1 START_PAGE = 1 def bookSpider(book_tag): global START_PAGE # 设置请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} # 设置循环终止条件,小于你要爬取的页数,或遇到错误终止 while START_PAGE <= int(end): # 分析一下url ,找规律 param = 'start=' + str((START_PAGE - 1) * 20) + '&type=T' url = url = 'https://book.douban.com/tag/%s/' % book_tag # 休息一下,哈哈 time.sleep(random.random() * 5) # 如果网址有错误,报错、退出 try: # 拼接url response = requests.get(url, params=param, headers=headers) except Exception as e: print(e) break # 用Beautifulsoup解析这个页面 soup = BeautifulSoup(response.text, 'lxml') # 这个页面是否有内容,如果没有退出 try: content = soup.find_all('li', class_='subject-item') except: print('此页无内容') break # 获取你想要的数据 loadData(content, book_tag) def loadData(content, book_tag): global START_PAGE for book_info in content: # 书名需要处理一下,split以空格分隔,移除空字符串,返回一个列表 f_title = book_info.select('.info h2')[0].get_text().split() # 连接字符串 b_title = ''.join(f_title) pub_info= book_info.select('.info .pub')[0].get_text().strip() desc_list = pub_info.split('/') book_url = '图书链接地址' + book_info.select('.info h2 a')[0].get('href') pic_url = '图片链接地址' + book_info.select('.pic img')[0].get('src') try: author_info = '作者/译者: ' + '/'.join(desc_list[0:-3]) except: author_info = '作者/译者: 暂无' try: pub_info = '出版信息: ' + '/'.join(desc_list[-3:]) except: pub_info = '出版信息: 暂无' try: rating = book_info.select('.info .rating_nums')[0].get_text().strip() except: rating = '0.0' try: # people_num = book_info.findAll('span')[2].string.strip() people_num = book_info.select('.info .pl')[0].get_text().strip() except: people_num = '0' # 以标签为文件名,保存起来 with open('%s.txt' % book_tag,'a', encoding='utf8') as f: f.write('%s %s %s %s %s %s %s' % (b_title, rating, people_num, author_info, pub_info,book_url,pic_url)) f.write('\n') # 打印出下载的页面 print('Downloading Information From Page %d' % START_PAGE) # 页数加1 START_PAGE += 1 if __name__ == '__main__': START_PAGE = 1 book_tag_list = [] # 打印的标签名 printTag() while True: inp = input('请输入要抓取的标签名(q退出):') if inp.lower() == 'q': break book_tag_list.append(inp) # 页数: end = input('想抓取的页数:') # 抓取每个标签底下的书籍 devideTag(book_tag_list)
结果:
['小说', '日本', '历史', '外国文学', '文学', '中国', '心理学'] ['漫画', '随笔', '哲学', '中国文学', '推理', '绘本', '美国'] ['经典', '爱情', '日本文学', '传记', '文化', '散文', '社会学'] ['青春', '英国', '旅行', '科普', '东野圭吾', '科幻', '生活'] ......................................... ['散文随笔', '国学', '时间管理', '当代文学', '日系推理', '心灵', '科幻小说'] ['法国文学', '温暖', '政治哲学', '科学', '英文原版', '灵修', '毛姆'] ['BL'] 请输入要抓取的标签名(q退出):国学 请输入要抓取的标签名(q退出):轻小说 请输入要抓取的标签名(q退出):q 想抓取的页数:40 Downloading Information From Page 1 Downloading Information From Page 2 .............. Downloading Information From Page 39 Downloading Information From Page 40 Downloading Information From Page 1 Downloading Information From Page 2 .......................... Downloading Information From Page 39 Downloading Information From Page 40
写一个脚本,导入Django的数据库中:
#!/usr/bin/env python import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings") def main(): from blog.models import Book f = open('轻小说.txt') BookList = [] for line in f: title,author............ = line.split( ) book = Book(title=title,author=author..........) BookList.append(book) f.close() Blog.objects.bulk_create(BlogList) if __name__ == "__main__": main() print('Done!')
遇到的问题:
1、最大的问题就是将数据写入本地文件中,出错:
'gbk' codec can't encode character解决方法
使用Python写文件的时候,或者将网络数据流写入到本地文件的时候,大部分情况下会遇到:UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position ... 这个问题。 网络上有很多类似的文件讲述如何解决这个问题,但是无非就是encode,decode相关的,这是导致该问题出现的真正原因吗?不是的。 很多时候,我们使用了decode和encode,试遍了各种编码,utf8,utf-8,gbk,gb2312等等,该有的编码都试遍了,可是编译的时候仍然出现: UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position XXX。 崩溃了。
在windows下面编写python脚本,编码问题很严重。
将网络数据流写入文件时时,我们会遇到几个编码:
1: #encoding='XXX' 这里(也就是python文件第一行的内容)的编码是指该python脚本文件本身的编码,无关紧要。只要XXX和文件本身的编码相同就行了。 比如notepad++ "格式"菜单里面里可以设置各种编码,这时需要保证该菜单里设置的编码和encoding XXX相同就行了,不同的话会报错
2:网络数据流的编码 比如获取网页,那么网络数据流的编码就是网页的编码。需要使用decode解码成unicode编码。
3:目标文件的编码 要将网络数据流的编码写入到新文件,那么我么需要指定新文件的编码。写文件代码如:
f.write(txt)
,那么txt是一个字符串,它是通过decode解码过的字符串。关键点就要来了:目标文件的编码是导致标题所指问题的罪魁祸首。如果我们打开一个文件:
f = open("out.html","w")
,在windows下面,新文件的默认编码是gbk,这样的话,python解释器会用gbk编码去解析我们的网络数据流txt,然而txt此时已经是decode过的unicode编码,这样的话就会导致解析不了,出现上述问题。 解决的办法就是,改变目标文件的编码:
f = open("out.html","w",encoding='utf-8')
。这样,问题将不复存在。
2、获取的标签列表很多,不能每个标签打印一次,独占一行。也不能一次都打出,这么多标签占一行:
有点像网页分页的问题,自己也是按照这种思路解决的,用切片的方式从列表中取出
tag_list = [] start = 0 end = 7 for tag in tags: tag_list.append(tag.get_text()) tr, td = divmod(len(tag_list), 7) # print(tr, td) if td != 0: tr = tr + 1 for i in range(tr): print(tag_list[start:end]) start, end = end, end + 7
我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan