11 2021 档案

python中的subprocess.Popen() 执行shell命令
摘要：subprocess介绍 需要用到Python来执行shell脚本, 因此需要查看下subprocess模块文档。 根据官网文档描述：subprocess模块用于创建子进程， 这个模块用于替换旧版本中的一些模块， 如：os.system, os.spawn*, os.popen*, os.popen 阅读全文
posted @ 2021-11-30 14:52 技术改变命运Andy 阅读(13152) 评论(0) 推荐(0)
Locust：深入使用 断言 参数化 压测工具对比
摘要：### Locust 设置断言 性能测试也需要设置断言么？ 某些情况下是需要，比如你在请求一个页面时，就可以通过状态来判断返回的 HTTP 状态码是不是 200。 使用TaskSet实现 #### Locust 参数化 使用 LoadRunner 和 JMeter 的同学都知道，性能测试工具设置参数 阅读全文
posted @ 2021-11-29 12:38 技术改变命运Andy 阅读(344) 评论(0) 推荐(0)
Locust：深入使用 参数 类 方法
摘要：### 前面的文章，对locust进行了简单介绍和使用， 现在深入一下， ### Locust no-web模式 熟悉 Apache ab 工具的同学都知道，它是没有界面的，通过命令行执行。 Locust 同样也提供的命令行运行，好处就是更节省客户端资源。 locust -f ./locustfil 阅读全文
posted @ 2021-11-29 11:57 技术改变命运Andy 阅读(844) 评论(0) 推荐(0)
Locust：简介和基本用法
摘要：我个人在性能测试工作中，负载生成工具使用的大多都是jmeter，现在来看看locust，因为可以用python编写脚本，进行定制化，而我自己就是用python比较多，所以用一下这个性能工具 官网：https://www.locust.io/ 官方文档：https://docs.locust.io/e 阅读全文
posted @ 2021-11-29 11:16 技术改变命运Andy 阅读(1050) 评论(0) 推荐(0)
Pytest测试用例之setup与teardown方法
摘要：介绍 unittest里面 [前置/后置setup/teardown ]非常好,用来写一些每个case执行前都需要执行的公用代码 [ 作用：在每次用例开始前和结束后都去执行一次 ] 例如我们的进入产品前可能都需要打开浏览器登录等，执行完毕后需要关闭浏览器等，这些我们都可以用前置后置初始化环境去实现的 阅读全文
posted @ 2021-11-29 09:50 技术改变命运Andy 阅读(512) 评论(0) 推荐(0)
理解yield以及和return的区别
摘要：一、说明 python中最早看到yield应该是使用scrapy框架写爬虫的时候，之前也有去看yiled的用法，总记不太住。今天又去看了一下，基本上来就是讲些斐波那契数列的烦的要死 二、return和yield的异同 共同点：return和yield都用来返回值；在一次性地返回所有值场景中retur 阅读全文
posted @ 2021-11-29 07:18 技术改变命运Andy 阅读(2025) 评论(0) 推荐(1)
allure的内容以及用法
摘要：allure简介Allure是一款轻量级并且非常灵活的开源测试报告框架。 它支持绝大多数测试框架， 例如TestNG、Pytest、JUint等。它简单易用，易于集成。 allure如何生成测试报告运行的时候加上pytest.main ( ‘–alluredir’, ‘report/result’, 阅读全文
posted @ 2021-11-28 22:11 技术改变命运Andy 阅读(1069) 评论(0) 推荐(0)
全功能Python测试框架：pytest
摘要：python通用测试框架大多数人用的是unittest+HTMLTestRunner，这段时间看到了pytest文档，发现这个框架和丰富的plugins很好用，所以来学习下pytest. pytest介绍： pytest是一个非常成熟的全功能的Python测试框架，主要有以下几个特点： 简单灵活，容 阅读全文
posted @ 2021-11-28 20:57 技术改变命运Andy 阅读(650) 评论(0) 推荐(0)
python ，XlsxWriter模块简单使用
摘要：XlsxWriter介绍： xlsxWriter支持多种excle功能；与excel完美兼容；写大文件，速度快且只占用很小的内存空间 不支持读或者改现有的excel文件 安装： pip install XlsxWriter 简单使用： import xlsxwriter workbook = xls 阅读全文
posted @ 2021-11-28 10:13 技术改变命运Andy 阅读(145) 评论(0) 推荐(0)
Dubbo 接口是什么？ 与http 接口有什么区别
摘要：面试的时候会被问到 除了http https 请求外 有接触了解到其他的接口么？ 一，什么是Dubbo 接口 Dubbo 接口是阿里巴巴开源的致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案，dubbo框架告别了传统的web service的服务模式，进而改用provider 阅读全文
posted @ 2021-11-28 08:45 技术改变命运Andy 阅读(3099) 评论(0) 推荐(0)
python 的 xlrd模块 读取Excel
摘要：什么是xlrd模块？ ♦python操作excel主要用到xlrd和xlwt这两个库，即xlrd是读excel，xlwt是写excel的库。 今天就先来说一下xlrd模块： 一、安装xlrd模块 ♦ 到python官网下载http://pypi.python.org/pypi/xlrd模块安装，前提 阅读全文
posted @ 2021-11-28 07:06 技术改变命运Andy 阅读(872) 评论(0) 推荐(0)
python：利用logbook模块管理日志
摘要：日志管理作为软件项目的通用部分，无论是开发还是自动化测试过程中，都显得尤为重要。 最初是打算利用python的logging模块来管理日志的，后来看了些github及其他人的自动化框架设计，做了个比对后，还是决定使用logbook。 这篇博客，介绍下python中的logbook模块的使用方法，仅供 阅读全文
posted @ 2021-11-28 06:54 技术改变命运Andy 阅读(498) 评论(0) 推荐(0)
Python 数据驱动工具：DDT
摘要：背景 python 的unittest 没有自带数据驱动功能。 所以如果使用unittest，同时又想使用数据驱动，那么就可以使用DDT来完成。 DDT是 “Data-Driven Tests”的缩写。 资料：http://ddt.readthedocs.io/en/latest/ 使用方法 dd. 阅读全文
posted @ 2021-11-28 06:17 技术改变命运Andy 阅读(980) 评论(0) 推荐(0)
from urllib.parse import urlparse 使用
摘要：一、介绍 定义了url的标准接口，实现url的各种抽取 parse模块的作用：url的解析，合并，编码，解码 二、代码 方法一：urlparse 实现url的识别和分段 from urllib import parse url = 'https://www.cnblogs.com/angelyan/ 阅读全文
posted @ 2021-11-24 19:31 技术改变命运Andy 阅读(699) 评论(0) 推荐(0)
Sanic框架安装与简单用法
摘要：### sanic官方文档：https://sanic.readthedocs.io/en/latest/ ### 看看官方文档的介绍 Sanic is a Python 3.7+ web server and web framework that’s written to go fast. It 阅读全文
posted @ 2021-11-23 08:47 技术改变命运Andy 阅读(680) 评论(0) 推荐(0)
2-6-vue框架-组件-vue-component组件化开发-插槽（父传子）
摘要：# 插槽 在之前的章节中，我们已经了解到组件能够接收任意类型的 JavaScript 值作为 props，但组件要如何接收模板内容呢？在某些场景中，我们可能想要为子组件传递一些模板片段，让子组件在它们的组件中渲染这些片段。 ## 含有插槽的子组件 - slot元素是一个插槽出口 (slot outl 阅读全文
posted @ 2021-11-23 08:09 技术改变命运Andy 阅读(2738) 评论(0) 推荐(0)
8-0-0python语法基础-并发编程-python进程，线程，协程，对比，思考
摘要：# 并发的发展历史：为什么会产生多进程，多线程，协程 - 目的就是为了并发，并发是为了性能，效率，这一点要提高到最核心最基础的认识里面， - 举例：比如一个6层楼，要找一个人，如果1个人搜索就要6层依次搜寻，如果6个人就是6倍的效率提高 为什么会有进程？ 其实，在早期计算机并没有包含操作系统，这个时 阅读全文
posted @ 2021-11-22 20:01 技术改变命运Andy 阅读(351) 评论(0) 推荐(0)
requests 使用 proxies 代理时ValueError: check_hostname requires server_hostname
摘要：问题原因： urllib3的1.26.4版本有个bug https://github.com/urllib3/urllib3/issues/517 解决办法 urllib3降低版本：urllib3==1.25.7 操作步骤: 打开cmd. 使用 pip uninstall urllib3 卸载url 阅读全文
posted @ 2021-11-22 02:03 技术改变命运Andy 阅读(245) 评论(0) 推荐(0)
企查查和天眼查哪个好用
摘要：图源/东方IC 30秒快读 1、企查查、天眼查、启信宝，三家企业工商信息查询平台，到底谁的用户体验更好？ 2、三家到底有什么差异功能，哪家的会员更值得入手？ 2014年3月，国家宣布计划公开政府层面企业工商信息，一家专注于商家工商信息查询服务的“企查查”应运而生。作为国内首家商业信息查询类创业公司， 阅读全文
posted @ 2021-11-20 07:07 技术改变命运Andy 阅读(8227) 评论(0) 推荐(0)
爬虫最为聚集的5个领域-转
摘要：先问你三个问题： 1、你以为你在大众点评上找到的馆子，真的是几百个人给了好评，然后才出现在你的推荐里的吗？2、你以为你在百度上搜索到的信息，真的是百度想让你看到的吗？（注意体会这句话的意思，不是日常黑百度）3、你以为在微博上看到的热搜话题大V互动，真的都是真实发生的吗？ 爬虫就是一个探测机器，它的基 阅读全文
posted @ 2021-11-20 00:44 技术改变命运Andy 阅读(799) 评论(0) 推荐(0)
uitraedit 文本替换成回车
摘要：弹出替换窗口，在【查找什么】框中输入要替换的逗号【，】，在【替换为】框中输入【^r^n】。然后点击【全部替换】。 阅读全文
posted @ 2021-11-19 20:25 技术改变命运Andy 阅读(86) 评论(0) 推荐(0)
爬虫玩得好，监狱进得早！淘宝网被河南大学生爬取11亿条用户信息，两人领刑-转
摘要：############### 近日，据企查查披露的刑事判决书显示。一名住在河南商丘市的本科毕业的大学生逯某自2019年11月起，对淘宝实施了长达八个月的数据爬取并盗走大量用户数据。在阿里巴巴注意到这一问题前，已经有超过11亿8千多万条用户信息泄露。 商丘市睢阳区人民检察院指控，2019年以来，被告 阅读全文
posted @ 2021-11-19 19:07 技术改变命运Andy 阅读(2805) 评论(0) 推荐(0)
Scrapy从脚本运行爬虫的5种方式
摘要：一、命令行运行爬虫 1、运行爬虫（2种方式）运行爬虫$ scrapy crawl spidername 在没有创建项目的情况下运行爬虫$ scrapy runspider spidername .py 二、文件中运行爬虫 1、cmdline方式运行爬虫 # -*- coding: utf-8 -*- 阅读全文
posted @ 2021-11-19 08:51 技术改变命运Andy 阅读(468) 评论(0) 推荐(0)
pycharm 使用思维导图
摘要： 阅读全文
posted @ 2021-11-18 16:39 技术改变命运Andy 阅读(367) 评论(0) 推荐(0)
6-进程管理：centos 查看cpu占用 杀死进程
摘要：### // 查看实时进程top // ps列出前10个CPU使用率最高的process ps aux --sort=-pcpu | head -10 kill -9 1234 // 1234为进程号 #### #### 阅读全文
posted @ 2021-11-18 16:00 技术改变命运Andy 阅读(254) 评论(0) 推荐(0)
Scrapy css选择器提取数据！
摘要：#### 时间：2018-08-12 09:16作者：scrapy中文网阅读： 经过上面，咋们已经了解了scrapy打开页面的细节，那打开之后我们如何获取页面里面的内容？比如获取：http://lab.scrapy.cn 这个页面的标题？或是这个页面的某个段文字？还是类比，人类如何做的呢？肯定是用眼 阅读全文
posted @ 2021-11-17 22:01 技术改变命运Andy 阅读(398) 评论(0) 推荐(0)
新版 Scrapy 中 sys.conf.settings 的替代方法
摘要：新版 Scrapy 中 sys.conf.settings 的替代方法 在 scrapy 项目目录下，有个 settings.py 文件，此文件是用来存放爬虫项目的各种配置，比如说 MongoDB 的服务器、端口号、数据库名等配置信息。 既然是配置信息，就需要在别的文件中引用。比如在 setting 阅读全文
posted @ 2021-11-17 21:01 技术改变命运Andy 阅读(77) 评论(0) 推荐(0)
Http协议支持的8种请求方法
摘要：HTTP请求的方法：HTTP/1.1协议中共定义了八种方法（有时也叫“动作”），来表明Request-URL指定的资源不同的操作方式HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 阅读全文
posted @ 2021-11-17 13:21 技术改变命运Andy 阅读(1762) 评论(0) 推荐(0)
pycharm 设置默认文件头
摘要： 阅读全文
posted @ 2021-11-17 08:40 技术改变命运Andy 阅读(73) 评论(0) 推荐(0)
Jenkins 中定时任务构建
摘要：一般，在Jenkins中搭建项目完成后，项目可正常运行，基本都会进行定时任务的构建。特别是重要的接口，进行关键接口自动化的日常巡检 时，基本都会设置成定时任务，以方便每天，接口的自动化，可及时检查接口是否顺畅； 这样，测试人员，每天只需要查看下自己的邮件，就能看到最新 接口的运行结果。有错误，可及时 阅读全文
posted @ 2021-11-17 05:17 技术改变命运Andy 阅读(690) 评论(0) 推荐(0)
workon 在 crontab 里面执行会有问题，所以直接使用虚拟环境中的 python 启动脚本，
摘要：workon 在 crontab 里面执行会有问题，所以直接使用虚拟环境中的 python 启动脚本， shell里面不要用workon 了，直接到虚拟环境的命令路径执行就行了， /home/.virtualenvs/flaskscrapy/bin/gunicorn -D manager:app - 阅读全文
posted @ 2021-11-17 03:40 技术改变命运Andy 阅读(137) 评论(0) 推荐(0)
docker安装Jenkins，解决总是容器总是Exited的问题，docker报错exited(137)
摘要：# 问题 docker容器莫名挂掉，docker ps -a 查看后报错：Exited (137) *** ago 这时通过docker logs查看容器内查不到任何报错日志， # 网上的解决方案 网上说的是宿主文件夹的问题， 获得uid后，就可以修改了本地文件的权限了 ``` sudo chown 阅读全文
posted @ 2021-11-15 20:18 技术改变命运Andy 阅读(1609) 评论(0) 推荐(0)
centos nginx 500错误
摘要：## 查看Nginx错误日志 vim /usr/local/nginx/logs/error.log #### 2021/11/15 19:26:59 [crit] 14130#0: *4 stat() "/root/code/dist/index.html" failed (13: Permiss 阅读全文
posted @ 2021-11-15 19:34 技术改变命运Andy 阅读(391) 评论(0) 推荐(0)
1-linux 性能操作 top ps
摘要：linux 性能 ### 一，top top命令经常用来监控linux的系统状况，是常用的性能分析工具，能够实时显示系统中各个进程的资源占用情况。 输入top，就会动态展示下面的信息 #### 分成两部分： 统计信息：前五行是系统整体的统计信息； 进程信息：统计信息下方类似表格区域显示的是各个进程的 阅读全文
posted @ 2021-11-15 19:21 技术改变命运Andy 阅读(112) 评论(0) 推荐(0)
CentOS安装nginx，部署vue项目
摘要：1、安装nginx依赖包yum install gcc-c++ -yyum install pcre pcre-devel -yyum install zlib zlib-devel -yyum install openssl openssl-devel -y 2、下载安装包和解压# 安装之前，最好 阅读全文
posted @ 2021-11-15 18:54 技术改变命运Andy 阅读(430) 评论(0) 推荐(0)
8-Centos7 防火墙查看状态，查看开放端口，开放端口，
摘要：CentOS7 端口的开放关闭查看都是用防火墙来控制的，具体命令如下： 如果没有开启防火墙那外网就可以直接访问了， # 查看防火墙状态：（active (running) 即是开启状态） ``` [root@WSS bin]# systemctl status firewalld ● firewal 阅读全文
posted @ 2021-11-15 18:21 技术改变命运Andy 阅读(552) 评论(0) 推荐(0)
Centos7 安装MongoDB
摘要：MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 欲安装版本 MongoDB 4.2企业版 使用.rpm包（推荐） 1.配置存储库 创建一个/etc/yum.repos.d/mongodb-enterprise.repo文件，以便 阅读全文
posted @ 2021-11-15 17:37 技术改变命运Andy 阅读(303) 评论(0) 推荐(0)
centos7中安装mysql
摘要：https://www.cnblogs.com/raicho/p/12511998.html 1 安装包下载并上传到Linux系统中 官网5.7版本：https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.29-1.el7.x86_64.rpm-bu 阅读全文
posted @ 2021-11-15 16:49 技术改变命运Andy 阅读(36) 评论(0) 推荐(0)
不要再问了，数据库不建议上Docker-转
摘要：前言 近2年Docker非常的火热，各位开发者恨不得把所有的应用、软件都部署在Docker容器中，但是您确定也要把数据库也部署的容器中吗？ 这个问题不是子虚乌有，因为在网上能够找到很多各种操作手册和视频教程，小编整理了一些数据库不适合容器化的原因供大家参考，同时也希望大家在使用时能够谨慎一点。 目前 阅读全文
posted @ 2021-11-15 15:33 技术改变命运Andy 阅读(1273) 评论(0) 推荐(0)
pipreqs（找当前项目依赖的包）
摘要：许多教程使用的是pip freeze > requirements.txt指令，但是这个指令只能检索当前虚拟环境中安装的包。要想自动检索项目文件中的依赖包要使用pipreqs， 使用方法如下: 1.首先安装pipreqs, pip install pipreqs 2.执行pipreqs ./ --f 阅读全文
posted @ 2021-11-15 07:37 技术改变命运Andy 阅读(604) 评论(1) 推荐(0)
centos ERROR: Couldn't connect to Docker daemon at http+docker://localhost - is it running?
摘要：ERROR: Couldn't connect to Docker daemon at http+docker://localhost - is it running? 主要原因是docker不是系统服务方式启动。 解决方法： 1、启动docker服务 service docker start2、生 阅读全文
posted @ 2021-11-15 02:48 技术改变命运Andy 阅读(1562) 评论(0) 推荐(0)
Liunx/centOS7 上安装好 Jenkins 后无法访问的问题--防火墙的问题
摘要：Liunx/centOS7 上安装好 Jenkins 后无法访问的问题问题：在liunx宿主机上安装了jenkins后，使用linux的ip加端口（我的：http://192.168.3.208:8080）在Windows上的浏览器中访问不到 问题排查：1.第一步检查jenkins是否启动了，可以通 阅读全文
posted @ 2021-11-15 02:16 技术改变命运Andy 阅读(856) 评论(0) 推荐(0)
docker-compose 挂载的深刻理解，只能挂载文件夹，不能挂载文件啊！！！
摘要：docker-compose 挂载的深刻理解，只能挂载文件夹，不能挂载文件啊！！！ Docker mounting rootfs caused not a directory error You can't mount a file into a directory in docker. That' 阅读全文
posted @ 2021-11-14 23:17 技术改变命运Andy 阅读(1082) 评论(0) 推荐(0)
1-1-docker 方式安装 gitlab 以及使用
摘要：# 前言 Glitlab 比较占用内存，官方建议最低配置为 2核4G。我的服务器刚刚好是2核4G，但是还装了 Docker 跑一些其他服务，所以以防万一，还是选择在本地的虚拟机中进行安装。 虚拟机的安装， CentOS 系统的安装以及 Docker 环境的配置就不再演示，网上有很多非常详细的教程。我 阅读全文
posted @ 2021-11-14 04:01 技术改变命运Andy 阅读(615) 评论(0) 推荐(0)
docker + jenkins + flask 部署，持续化集成
摘要：### Flask 项目文件 $ tree flask_docker_jenkins_demo/flask_docker_jenkins_demo/├── Dockerfile├── README.md└── app.py from flask import Flask, jsonify app = 阅读全文
posted @ 2021-11-14 03:59 技术改变命运Andy 阅读(332) 评论(0) 推荐(0)
centos docker 安装 Jenkins 报错： No such plugin: cloudbees-folder！！！排查
摘要：### 我在mac上面使用docker安装Jenkins是没有问题的， 但是我到我本地的虚拟机，centos，安装就有问题，排查了2个小时才找到原因 先说网上的， 1，这是因为缺少 cloudbees-folder 插件，我们下载即可：cloudbees-folder下载地址 下载后得到 cloud 阅读全文
posted @ 2021-11-14 02:08 技术改变命运Andy 阅读(3903) 评论(2) 推荐(0)
Docker版本Jenkins的使用
摘要：##### 创建项目 #### 1、新建item 选择freestyle project ### 进入下面的配置 #### 我们最需要关注的就是源码管理，以及环境的构建，暂且不管项目的配置。我们先看一下gitee或者github的配置。 ### 2、github上的公私钥配置 源码管理方面我们是从g 阅读全文
posted @ 2021-11-13 18:48 技术改变命运Andy 阅读(408) 评论(0) 推荐(0)
Docker版本Jenkins的安装
摘要：# 一. Jenkins介绍 Jenkins是当前非常流行的一款持续集成工具，可以帮助大家把更新后的代码自动部署到服务器上运行。 # 二. 为什么用docker版的Jenkins Jenkins主要有三种安装方式 方式一： 下载官方war包，放到tomcat中直接运行。 方式二：yum安装， 在li 阅读全文
posted @ 2021-11-13 17:14 技术改变命运Andy 阅读(1137) 评论(0) 推荐(0)
Scrapy：pipeline管道的open_spider、close_spider
摘要：### 设置scrapy爬虫开启和关闭时的动作。 pipelines.py ### class DemoPipeline(object): # 开启爬虫时执行，只执行一次 def open_spider(self, spider): # 为spider对象动态添加属性，可以在spider模块中获取该 阅读全文
posted @ 2021-11-12 19:33 技术改变命运Andy 阅读(863) 评论(0) 推荐(0)
2-4-flask框架-扩展-数据库迁移-使用flask-migrate进行数据库的管理，非常方便！！！
摘要：# flask数据库迁移 ## 使用flaskSQLAlchemy的问题 - 如果数据库里已经有A表了，然后在A类中添加字段，是不会更新添加到A表中的。 ## 怎么更新字段 - 因此我们需要进行数据库的更新，可以使用flask的扩展包migrate ## 安装 - pip install Flask 阅读全文
posted @ 2021-11-08 19:55 技术改变命运Andy 阅读(1013) 评论(0) 推荐(1)
scrapy发送qq邮件，使用python模块和使用scrapy自带方法
摘要：scrapy发送qq邮件 发送邮件的意义 给scrapy加入发送邮件功能，其目的旨在报错预警，这对运维现有爬虫有着很大的积极意义 或者爬虫爬取结束后，发邮件告诉开发者，hi，任务已经完成了. 我不纠结于是否使用scrapy自带的发送邮件功能，我的目的只是去实现它，用简单直接的方式 发送邮件的方法很多 阅读全文
posted @ 2021-11-02 08:37 技术改变命运Andy 阅读(227) 评论(0) 推荐(0)
scrapy把数据保存到mongodb
摘要：scrapy数据存进mongodb 第一步，settings.py添加 ITEM_PIPELINES = { # 'scrapy_runklist.pipelines.ScrapyRunklistPipeline': 300, 'scrapy_runklist.pipelines.ScrapyWei 阅读全文
posted @ 2021-11-02 04:44 技术改变命运Andy 阅读(356) 评论(0) 推荐(0)
scrapy添加headers
摘要：scrapy添加header 第一种，setting里面有一个默认的请求头 USER_AGENT = 'scrapy_runklist (+http://www.yourdomain.com)' DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,app 阅读全文
posted @ 2021-11-02 03:36 技术改变命运Andy 阅读(2203) 评论(0) 推荐(0)