随笔分类 -  Scrapy

Python爬虫Scrapy测试
摘要：# -*- coding:utf-8 -*- import urllib import urllib2 import re import thread import time #糗事百科爬虫类 class QSBK: #初始化方法，定义一些变量 def __init__(self): self.pageIndex = 1 self.user_ag... 阅读全文

posted @ 2016-06-08 15:31 邬兴亮 阅读(1854) 评论(0) 推荐(0)

爬虫框架Scrapy的第一个爬虫示例入门教程
摘要：我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。 首先先要回答一个问题。 问：把网站装进爬虫里，总共分几步？ 答案很简单，四步： 新建项目 (Project)：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（P 阅读全文

posted @ 2016-06-07 17:14 邬兴亮 阅读(31805) 评论(1) 推荐(6)

pip 在windows下的更新升级
摘要：1. pip 在 PyCharm 无法自动更新 2. https://pip.pypa.io/en/latest/installing.html 官方网页要求在 cmd中输入以下命令进行 pip的 更新： 阅读全文

posted @ 2016-06-07 17:11 邬兴亮 阅读(294) 评论(0) 推荐(0)

“pip failed to create process”的问题
摘要：增加python -m的方法能完美解决pip,easy_install 安装时报错：“pip failed to create process”的问题，据推测应该是64bit操作系统下会是如此。 Windows环境下使用：python -m pip install xxx来替换 install xx 阅读全文

posted @ 2016-06-07 16:39 邬兴亮 阅读(1806) 评论(0) 推荐(0)

Python爬虫进阶三之Scrapy框架安装配置
摘要：Windows 平台： 我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。 官网文档：http://doc.scrapy.org/en/latest/intro/install.html，最权威哒，下面是我的亲身体验过程。 1.安装Pyt 阅读全文

posted @ 2016-06-07 15:13 邬兴亮 阅读(9857) 评论(0) 推荐(0)

导航