11 2017 档案

摘要:在scrapy项目中,由于编码问题,下载的网页中中文都是utf-8编码,在Pipeline.py中方法process_item将结果保存到数据库中时,提示UnicodeDecodeError: 'utf8' codec can't decode byte in position invalid st 阅读全文
posted @ 2017-11-20 17:02 小水皮 阅读(685) 评论(0) 推荐(0)
摘要:原文地址:https://www.cnblogs.com/kongzhagen/p/6549053.html github地址:https://github.com/zhu-xb/scrapy-movie-demo Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数 阅读全文
posted @ 2017-11-16 13:08 小水皮 阅读(2664) 评论(0) 推荐(0)