03 2017 档案

摘要：第一步先确定下steam网站游戏的URLs http://store.steampowered.com/search/?page=1 把这个url作为我们的start_urls 然后先获取第一页的所有游戏的urls，然而我发现这样毛都打印不出来，想了一下，FirePath定位到了，取值也没有错，阿西 阅读全文

摘要：scrapy的实例都分了好几次来写了，因为平时要工作，而且总是遇到这样那样的问题，所以进度一直很慢 写程序有的时候也是玄学，好好的程序总是莫名其妙的就不能运行，然后又莫名其妙的好了，很是奇葩，就像今天的问题 搞了半天搞不好，还像程序员求救，最后什么都没干又自己好了 不过程序员哥哥还是说得对，代码之前 阅读全文

摘要：用Scrapy做爬虫分为四步 新建项目 (Project)：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipeline）：设计管道存储爬取内容 上一章节做了创建项目，接着用上一次创建的项目来爬取网页 网上很多教程都是 阅读全文

摘要：我的系统是Win8 Python的版本是2.7.12 Scrapy需要依赖的包很多，所以之前在网上看教程的时候，很多教程总是说先安装啥，再安装啥，其实最终就是一句 pip install scrapy 就可以解决了，因为pip会自动去下载需要的包依赖 我主要是想讲我在配置途中遇到的一些问题 第一个问 阅读全文

摘要：之前不太明白包的管理，都是用一个搜一下 今天总结一下 python第三方包安装的两种方式 下载源码然后setup.py安装 用pip进行安装 第一种方法 在网上找到需要的包，下载解压，找到setup.py cmd切换到包的目录，输入python setup.py install 第二种方法 cmd切 阅读全文