2018年1月20日
python爬取豆瓣250存入mongodb全纪录
摘要： 用了一周的时间总算搞定了，跨过了各种坑，总算调试成功了，记录如下： 1、首先在cmd中用命令行建立douban爬虫项目 scrapy startproject douban 2、我用的是pycharm，导入项目后， 1）在items.py中定义爬取的字段 items.py代码如下： 1 2 3 4 阅读全文
posted @ 2018-01-20 23:27 编城浪子 阅读(363) 评论(0) 推荐(0)
2018年1月13日
解决pycharm中安装scrapy提示 Microsoft Visual C++ 14.0 is required问题
摘要： 安装方法： 出现问题：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp 阅读全文
posted @ 2018-01-13 17:17 编城浪子 阅读(752) 评论(0) 推荐(0)