摘要: 问题描述: 在建立第一个虚拟环境时,运行pyspider正常。建立第二个虚拟环境时,运行pyspider再现下面错误。应该是phantomjs没有启动成功。 解决方法: 找到phantomjs安装的位置,把phantomjs复制到/usr/local/bin 阅读全文
posted @ 2016-12-06 10:00 microman 阅读(1963) 评论(0) 推荐(0) 编辑
摘要: 如果你在使用github,出现访问和下载速度慢问题,可以通过修改host解决。记得不要踩坑哦!分四步: 第一步:查询速度快的IP地址 在http://tool.chinaz.com/dns中查询下面三个域名: github.com 把TTL值最小的IP地址记录下来。 第二步:修改HOST文件 进入终 阅读全文
posted @ 2016-12-05 11:26 microman 阅读(2045) 评论(1) 推荐(0) 编辑
摘要: 本系列文章主要记录和讲解pyspider的示例代码,希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多,无从下手。因此本人找出一些比较经典的示例进行简单讲解,希望对新手有一些帮助。 示例说明: 本示例主要是PyQuery解析返回的 阅读全文
posted @ 2016-11-28 22:36 microman 阅读(7453) 评论(0) 推荐(0) 编辑
摘要: 本系列文章主要记录和讲解pyspider的示例代码,希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多,无从下手。因此本人找出一下比较经典的示例进行简单讲解,希望对新手有一些帮助。 示例说明: pyspider爬取的内容通过回调的 阅读全文
posted @ 2016-11-28 22:14 microman 阅读(3968) 评论(0) 推荐(0) 编辑
摘要: 本系列文章主要记录和讲解pyspider的示例代码,希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多,无从下手。因此本人找出一下比较经典的示例进行简单讲解,希望对新手有一些帮助。 示例说明: 如果页面中部分数据或文字由js生成, 阅读全文
posted @ 2016-11-28 16:50 microman 阅读(4816) 评论(0) 推荐(0) 编辑
摘要: 阿里云镜像官方地址 http://mirrors.aliyun.com/ 找到最新源地址列表: http://www.linuxdiyf.com/linux/23163.html 软件包管理中心(推荐) 在软件包管理中心“软件源”中选择“中国的服务器”下mirros.aliyun.com即可自动使用 阅读全文
posted @ 2016-11-28 14:23 microman 阅读(24786) 评论(2) 推荐(1) 编辑
摘要: 对于Python开发用户来讲,PIP安装软件包是家常便饭。但国外的源下载速度实在太慢,浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像,可以大幅提升下载速度,还可以提高安装成功率。 国内源: 新版ubuntu要求使用https源,要注意。 清华:https://pypi.t 阅读全文
posted @ 2016-11-27 23:15 microman 阅读(199325) 评论(4) 推荐(16) 编辑