UnicodeDecodeError: 'utf8' codec can't decode byte in position invalid start byte

在scrapy项目中,由于编码问题,下载的网页中中文都是utf-8编码,在Pipeline.py中方法process_item将结果保存到数据库中时,提示UnicodeDecodeError: 'utf8' codec can't decode byte  in position  invalid start byte

解决方法:在Pipeline.py里增加如下代码。

 

import sys


reload(sys)
sys.setdefaultencoding("utf-8")

 

posted @ 2017-11-20 17:02  小水皮  阅读(663)  评论(0编辑  收藏  举报