摘要：
#coding=utf-8from selenium import webdriverdef crawMovie(): driver=webdriver.PhantomJS() driver.get("https://movie.douban.com/") movie_list=[] more_bt 阅读全文
posted @ 2018-07-01 16:29
reyinever
阅读(348)
评论(0)
推荐(0)
摘要：
#coding=utf-8import requestsimport re,os,time,ConfigParserfrom selenium import webdriverfrom multiprocessing.dummy import Pool ######单进程##### #创建保存截图的 阅读全文
posted @ 2018-07-01 16:23
reyinever
阅读(294)
评论(0)
推荐(0)
摘要：
目前网站主流的加载方式： 一种是同步加载；另一种是异步加载，也即我们常说的用ajax。对于同步加载的网站，普通的爬虫程序轻松就能搞定。但是对于那种异步请求数据的网站，通常使用selenium+PhantomJS组合来完成。 （1）selenium:是一个web自动化测试工具，最初是为网站自动化测试而 阅读全文
posted @ 2018-07-01 15:59
reyinever
阅读(349)
评论(0)
推荐(0)
摘要：
代码如下：d={"姓名":"李白","年龄":"20","姓别":"女"}d2={"姓名":"张三","年龄":"22","姓别":"男"}s=[]s.append(d)s.append(d2)with open("e:\\1.txt","w") as f: for i in s: t="" for 阅读全文
posted @ 2018-07-01 15:39
reyinever
阅读(258)
评论(0)
推荐(0)
浙公网安备 33010602011771号