03 2019 档案

scrapy 遇到乱码怎么办？一招解决
摘要：XX交通委提醒您注意爬虫安全，网站千万条，安全第一条，编码不规范，亲人两行泪 在使用scrapy数据抓取过程中，经常会遇到这种情况（58这类自己专门设置了字符集反爬措施）除外 # 解决思路 download minddlewares中有个process_re... 阅读全文
posted @ 2019-03-05 15:48 数据民工 阅读(62) 评论(0) 推荐(0)
Django shell 使用ipython
摘要：django默认的shell不人性化，没有自动补全 要想在django中使用ipython的shell来进行测试，简单几步即可 # 第一步下载 django扩展pip install django-extensions# 第二步下载 ipythonpip in... 阅读全文
posted @ 2019-03-02 11:02 数据民工 阅读(16) 评论(0) 推荐(0)