摘要:Egの天猫的任一商品详情页为入口,看到的商品促销价或淘宝价: from requestium import Session,Keys #from selenium.webdriver.common.action_chains import ActionChains #滑块总显示出错了刷新:改用免安装
阅读全文
随笔分类 - 爬虫
摘要:chrome浏览器的安装版或绿色便携版要加.exe,chromedriver驱动无.exe。 不显示……测试软件的控制、无头同在[]内,插件等新版,无图用{};CentBrowser的Chrome内核版本低,暂用不了headless。 from requestium import Session,K
阅读全文
摘要:重定向: def redirect(url): r = requests.get(url,params={'chrome':'utf-8', 'q':'666'}) #allow_redirects=False print(r.url, r.status_code, r.history) redir
阅读全文
摘要:我的电脑的系统Path: D:\sqlite;D:\Program Files\MongoDB\Server\3.4\bin;%MYSQL_HOME%\bin;D:\Program Files\Browser\Python 3.6\;D:\Program Files\Browser\Python 3
阅读全文
摘要:步骤: 目标文件夹下,按Shift+右键进控制台:(Win10则在scrapy各命令前加个python -m ) ①scrapy startproject project;执行两句提示,要改name(别和项目同名;另外项目名及爬虫名都不要用test、fang等有莫名意义的单词)和domain(有的不
阅读全文
摘要:driver.find_element_by_*('*')唯一时,等同driver.find_elements_by_*('*')[0],返回WebElement对象,有.send_keys()、.click()等定位法,以及.text、.get_attribute('*')提取自家标签的内容、属性
阅读全文
摘要:EgのExcelHome上传附件: 类MultipartEncoder: 2参boundary的-及字母数字的数量同Content-Type的bdr,而postData中各键首行的boundary则在开头补了俩-:其__init__内有句self.boundary = '--{0}'.format(
阅读全文
摘要:协程: import grequests from fake_useragent import UserAgent urls=[f'http://bir删d.so/search?page={page}&q=Python' for page in range(1,9)] tasks=[grequest
阅读全文
摘要:Egの登录oschina: import requests from fake_useragent import UserAgent as ua from hashlib import sha1 s=requests.Session() s.verify=False #忽略ssl证书 from re
阅读全文
摘要:requests库中,可不写为headers内各键值对的部分参数: s=requests.Session() #或.session() s.allow_redirects=False #禁止重定向 s.proxies={'http':'http://3.7.2.1:80'} #代理 s.timeou
阅读全文
浙公网安备 33010602011771号