sophia201552

摘要： 1. 元素的多级定位与跳级定位多级定位：依靠html中的多级元素逐步缩小范围response.xpath('//table/tbody/tr/td') //如果知道元素所属的下标可以用下标选择response.xpath('//table/tbody/tr[1]/td')跳级定位：符号“//”表示跳 阅读全文

摘要： 在执行自动化测试用例过程中，发现因为网络慢或其他原因导致driver.get(url) 时，页面一直在加载，页面没有加载完成就不会去继续执行下面的动作，但是实际上需要操作的元素已经加载出来了。 解决方法 第一步：使用 set_script_timeout() 设置等待最大时间。 第二步：到了最大等待 阅读全文

摘要： 1. 安装火狐 firefox sudo yum install firefox 2. 在https://github.com/mozilla/geckodriver/releases下载最新的geckodriver 将 geckodriver-v0.23.0-linux64.tar.gz 移动到l 阅读全文

摘要： 在无界面模式下发现请求地址全部报404，在有界面的模式下就是正常运行的。在网上查了半天，发现这种情况，由于爬取的网站进行了selenium反爬虫导致的。 1.尝试使用开启开发者模式 opt = webdriver.ChromeOptions() # 把chrome设置成无界面模式，不论windows 阅读全文

摘要： 1. 创建项目: scrapy startproject 项目名 2. 创建爬虫: cd 项目名 scrapy genspider 爬虫名 爬虫起始url 3. 启动爬虫: scrapy crawl 爬虫名 4. 启动爬虫并保存日志: scrapy crawl 爬虫名 -s LOG_FILE=日志名 阅读全文

摘要： 1. 安装python3.6并设置环境变量, easy,略. 2. 在 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下找到Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl (注意系统和安装python的位数) 并下载. 3. 阅读全文

摘要： 在使用Scrapy框架中总是遇到这类问题，在此留下记录，方便查阅、 三种解决方式：解决（一）在Request中将scrapy的dont_filter=True，因为scrapy是默认过滤掉重复的请求URL，添加上参数之后即使被重定向了也能请求到正常的数据了 解决（二）在scrapy框架中的 sett 阅读全文

摘要： 1. select命令。 选择所有相应类型（指content-type）为指定类型的HTTP请求，如选择图片，使用命令select image.而select css则可以选择所有相应类型为css的请求，select html则选择所有响应为HTML的请求（怎么样，是不是跟SQL语句很像？）。如图是 阅读全文

摘要： 1.传输速率： 定义：在数据传输中，两个设备之间数据流动的物理速度成为传输速率，单位为bps。 计算：比特是数据量最小单位，秒是时间的最小单位， 所以速率单位为bps。类似的，有kb/s，Mb/s(M=10^6),Gb/s（G=10^9）,Tb/s(t=10^12) 1Byte=8bit一字节=8b 阅读全文

摘要： QPS：即Queries Per Second的缩写，每秒能处理查询数目。是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 每秒钟处理完请求的次数；注意这里是处理完，具体是指发出请求到服务器处理完成功返回结果。可以理解在server中有个counte 阅读全文