Python分布式爬虫打造搜索引擎(四)
摘要:Python分布式爬虫打造搜索引擎 一、scrapy进阶开发 1、selenium相关学习:https://www.cnblogs.com/Eric15/p/9884309.html 2、selenium集成到scrapy中 下载中间件的process_request和process_respons
阅读全文
posted @
2018-11-15 00:15
Eric_nan
阅读(386)
推荐(0)
Python分布式爬虫打造搜索引擎(三)
摘要:Python分布式爬虫打造搜索引擎 一、通过CrawlSpider对招聘网站进行整站爬取 1、创建拉勾网爬虫项目 - CrawlSpider的使用 推荐工具:cmder , 下载地址:http://cmder.net/ → 下载full版本,使我们在windows环境下也可以使用linux部分命令
阅读全文
posted @
2018-11-09 23:00
Eric_nan
阅读(931)
推荐(0)
python + selenium 实战
摘要:* 项目目标 对百度登录页面(https://passport.baidu.com/v2/?login)进行登录测试 * 功能实现 自动运行用例 自动生成测试报告 自动断言与测试截图 自动将最新测试报告发送到指定邮箱 PageObject + Unittest + 数据驱动 * 工程目录 base:
阅读全文
posted @
2018-11-02 15:58
Eric_nan
阅读(888)
推荐(0)
Selenium3与Python3实战 Web自动化测试框架(五)
摘要:Selenium3与Python3实战 Web自动化测试框架 po模型 + 数据驱动 ,完整代码 1、setting.py: import os base_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) # 项目首路
阅读全文
posted @
2018-10-29 22:14
Eric_nan
阅读(784)
推荐(0)
Selenium3与Python3实战 Web自动化测试框架(四)
摘要:Selenium3与Python3实战 Web自动化测试框架 一、行为驱动 1、行为驱动环境搭建: 行为驱动:Behavie 断言:Pyhamcrest 环境语言:Python 框架:Selenium 安装: 我们需要新建features包,在该包下要包含至少一个.feature文件和steps包,
阅读全文
posted @
2018-10-27 02:43
Eric_nan
阅读(774)
推荐(1)
Selenium3与Python3实战 Web自动化测试框架(三)
摘要:Selenium3与Python3实战 Web自动化测试框架 一、关键字模型 excel表: 关键字模型 通过代码实现:读取excel表中上述数据,进行一系列操作,实现自动打开网页、输入信息并跳转 1、excel_operation.py: excel表基本读写操作: 2、excel_cell_va
阅读全文
posted @
2018-10-26 02:20
Eric_nan
阅读(1129)
推荐(1)
Selenium3与Python3实战 Web自动化测试框架(二)
摘要:Selenium3与Python3实战 Web自动化测试框架 一、项目实战中PO模型的设计与封装 一般将所有的元素、数据都放在代码中,并不利于自动化代码的维护。最好的方式是尽量把数据、页面、操作进行分离开:PO设计模式 PO设计模式的优势: 1、使用PO模式实现注册页面封装 1)关于配置文件 Loc
阅读全文
posted @
2018-10-25 01:43
Eric_nan
阅读(2422)
推荐(0)
Selenium3与Python3实战 Web自动化测试框架(一)
摘要:Selenium3与Python3实战 Web自动化测试框架 一、环境搭建 1、selenium环境搭建 Client: pycharm python3.6 Driver: Chrome → ChromeDriver Firefox → FirefoxDriver IE → InternetExpl
阅读全文
posted @
2018-10-23 23:34
Eric_nan
阅读(5735)
推荐(2)
Python+Django+Ansible Playbook自动化运维项目实战(二)
摘要:Python+Django+Ansible Playbook自动化运维项目实战 一、资产管理,自动化发现、扫描 1、服务端资产探测、扫描发现 1)资产管理的资产: 2)抽象与约定: 2、探测协议和模块 1)探测协议 2)探测模块和工具 3)nmap工具探测使用 4)python-nmap模块的使用
阅读全文
posted @
2018-10-16 01:36
Eric_nan
阅读(1592)
推荐(0)
Python+Django+Ansible Playbook自动化运维项目实战(一)
摘要:Python+Django+Ansible Playbook自动化运维项目实战 一、入门引导 DevOPS DevOps(英文Development和Operations的组合)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。它
阅读全文
posted @
2018-10-14 01:20
Eric_nan
阅读(5647)
推荐(0)
阿里云 线上项目部署
摘要:阿里云 项目部署 - 生鲜超市 环境:Ubuntu 16.04 1、虚拟环境安装 参考:https://www.cnblogs.com/Eric15/articles/9593662.html 1.1、安装虚拟环境virtualenv: 1.2、安装virtualenvwrapper: 1.3、配置
阅读全文
posted @
2018-09-26 02:14
Eric_nan
阅读(365)
推荐(0)
Python分布式爬虫打造搜索引擎(二)
摘要:Python分布式爬虫打造搜索引擎-scrapy爬取知名技术文章网站 一、项目基础环境 python3.6.0 pycharm2018.2 mysql+navicat 二、scrapy爬取知名技术文章网站 1、使用虚拟环境 ,创建虚拟环境: 2、进入articlespider目录,安装scrapy:
阅读全文
posted @
2018-09-21 00:59
Eric_nan
阅读(423)
推荐(0)
Python分布式爬虫打造搜索引擎(一)
摘要:Python分布式爬虫打造搜索引擎 一、虚拟机linux下安装并运行pycharm: 注意:此次项目中用到的pycharm必须是professional版的 即可启动pycharm 将pycharm启动路径加到用户目录下的.bashrc文件中,打开.bashrc: 设置pycharm.sh启动路径:
阅读全文
posted @
2018-09-20 16:30
Eric_nan
阅读(887)
推荐(0)
vue+django2.0.2-rest-framework 生鲜项目(十)
摘要:vue+django2.0.2-rest-framework 生鲜项目(九) 一、social_django 集成第三方登录 1、测试: 注册新浪微博开放平台:http://open.weibo.com/authentication 注册成功后,创建应用: 正常需要审核通过,才能允许第三方登录调试,
阅读全文
posted @
2018-09-16 00:33
Eric_nan
阅读(526)
推荐(0)
vue+django2.0.2-rest-framework 生鲜项目(九)
摘要:vue+django2.0.2-rest-framework 生鲜项目 一、首页相关-细节完善 1、首页轮播图 1)goods/serializers.py:新增轮播图序列化 2)goods/views.py:新增首页轮播图view 3)url配置: 2、首页-新品模块 使用的是url是goods(
阅读全文
posted @
2018-09-15 01:41
Eric_nan
阅读(388)
推荐(0)
vue+django2.0.2-rest-framework 生鲜项目(八)
摘要:vue+django2.0.2-rest-framework 生鲜项目 一、支付宝沙河环境配置 线上正式: 进入蚂蚁金服开放平台(https://open.alipay.com/platform/home.htm),登录后进入管理中心-->>应用列表 创建应用 创建应用后会有一个appid。还需要提
阅读全文
posted @
2018-09-15 00:34
Eric_nan
阅读(303)
推荐(0)
vue+django2.0.2-rest-framework 生鲜项目(七)
摘要:vue+django2.0.2-rest-framework 生鲜项目 一、购物车功能 1、实现购物车获取购物车商品列表信息、添加购物车商品数量、删除购物车商品 1)trade/serializer.py:序列化购物车数据 几点说明: 2)trade/views.py: 重载 get_queryse
阅读全文
posted @
2018-09-14 02:05
Eric_nan
阅读(780)
推荐(0)
vue+django2.0.2-rest-framework 生鲜项目(六)
摘要:vue+django2.0.2-rest-framework 生鲜项目 一、商品详情功能开发 上一章中已经完成了用户注册登录认证, 商品分类、商品列表页等功能,接下来我们完成商品的详情页功能。 1、商品详情页很简单,首先,在goods/views.py中的GoodsListViewSet,添加继承:
阅读全文
posted @
2018-09-13 22:40
Eric_nan
阅读(512)
推荐(0)
Django+xadmin 打造线上教育平台 Django + Uwsgi + Nginx部署上线
摘要:Django+xadmin 打造线上教育平台 Django + Uwsgi + Nginx部署上线 参考链接:https://www.cnblogs.com/Eric15/articles/9484762.html 1、将mxonline项目复制放到linux系统用户目录下: 打包成.zip格式,传
阅读全文
posted @
2018-09-05 18:05
Eric_nan
阅读(392)
推荐(0)
Django+xadmin 打造线上教育平台 知识点拾遗(三)
摘要:Django+xadmin 打造线上教育平台 一、关于静态文件配置 1)在一开始设计表类型结构时,有部分表字段定义的是文件或图片类型,会有一个上传路径,如: 上传路径upload_to:org/%Y/%m是个相对路径,意思是上传到后台的图片/文件,放到org文件夹/Y(年份)文件夹/m文件夹下 ,
阅读全文
posted @
2018-09-01 02:07
Eric_nan
阅读(830)
推荐(0)