python3.4+pyspider爬58同城（二）
摘要：之前使用python3.4+selenium实现了爬58同城的详细信息，这次用pyspider实现，网上搜了下，目前比较流行的爬虫框架就是pyspider和scrapy，但是scrapy不支持python3，所以… 直接上代码，后面注解： #!/usr/bin/env python # -*- en
阅读全文
posted @
2016-04-17 17:45
huangweiping
阅读(737)
推荐(1)
pyspider安装后，点击run,报pyhton has stop working或python已停止运行的错误
摘要：问题解决虽然只有几句话，但是背后花了一天时间，各种FQ搜索。 pyspider目测只支持32位的系统，所以你下载32位的python安装就行了，然后安装pyspider运行就没有问题了，坑爹啊 >__ >
阅读全文
posted @
2016-04-17 17:02
huangweiping
阅读(598)
推荐(0)
python3.4+selenium爬58同城（一）
摘要：爬取http://bj.58.com/pbdn/0/pn2/中除转转、推广商品以外的产品信息，因为转转和推广的详情信息不规范，需要另外写一个方法存放，后期补上，详情页如下
这周学习了爬虫，但是遇到一些js，requests方法无法渲染，比如浏览量，所以结合selenium+phantomjs渲染网页，获取信息
阅读全文
posted @
2016-04-16 22:02
huangweiping
阅读(1569)
推荐(0)
PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。: 'C:\\Users\\video\\AppData\\Local\\Temp\\tmpfipzk8ma'--问题解决
摘要：学习python+selenium总是遇到各种问题 代码如下： File "C:\Users\video\AppData\Roaming\Python\Python34\site-packages\selenium\webdriver\common\service.py", line 151, in
阅读全文
posted @
2016-04-16 16:03
huangweiping
阅读(19017)
推荐(1)
使用firefoxprofile,selenium设置firefox，初始化firefox
摘要：1、什么是firefoxprofile 简单的来说就是个人定制，比如你设置自己访问主页，禁用加载图片这些个性化的设置，都可以保存到一个文件夹下，就是firefoxprofile，下次使用时候，加载该firefoxprofile，就可以让自己火狐浏览器设置跟之前配置一样 2、为什么selenium要用
阅读全文
posted @
2016-04-16 16:02
huangweiping
阅读(8890)
推荐(0)
ImportError: cannot import name webdriver问题解决
摘要：安装完selenium之后，发现根本无法使用，一运行代码，就报ImportError: cannot import name webdriver错误 于是各种FQ查找解决方法，查到方法如下： 在当前目录有个明教selenium的文件，Python会先导入这个文件，然后再导入标准库里面的seleniu
阅读全文
posted @
2016-04-15 21:29
huangweiping
阅读(1019)
推荐(0)
浙公网安备 33010602011771号