摘要:
一、NumPy 1、简介: 官网链接:http://www.numpy.org/ NumPy是Python语言的一个扩充程序库。支持高级大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库 2、基本功能: 快速高效的多维数组对象ndarray 用于对数组执行元素级计算以及直接对数组执行数
阅读全文
posted @ 2018-11-26 16:56
Eric_nan
阅读(1197)
推荐(0)
摘要:
python --数据可视化 一、python -- pyecharts库的使用 pyecharts--> 生成Echarts图标的类库 1、安装: 2、入门test 首先,测试绘制个图表 add() 主要方法,用于添加图表的数据和设置各种配置项 show_config() 打印输出图表的所有配置项
阅读全文
posted @ 2018-11-25 18:18
Eric_nan
阅读(8056)
推荐(0)
摘要:
1、爬取豆瓣正热映电影 xpath应用 import requests from scrapy.selector import Selector headers = { "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537
阅读全文
posted @ 2018-11-21 16:57
Eric_nan
阅读(2259)
推荐(0)
摘要:
Python分布式爬虫打造搜索引擎 一、scrapy进阶开发 1、selenium相关学习:https://www.cnblogs.com/Eric15/p/9884309.html 2、selenium集成到scrapy中 下载中间件的process_request和process_respons
阅读全文
posted @ 2018-11-15 00:15
Eric_nan
阅读(375)
推荐(0)
摘要:
scrapy -->CrawlSpider 介绍 1、首先,通过crawl 模板新建爬虫: 创建出来的爬虫文件lagou.py: # -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor
阅读全文
posted @ 2018-11-11 01:11
Eric_nan
阅读(540)
推荐(0)
摘要:
Python分布式爬虫打造搜索引擎 一、通过CrawlSpider对招聘网站进行整站爬取 1、创建拉勾网爬虫项目 - CrawlSpider的使用 推荐工具:cmder , 下载地址:http://cmder.net/ → 下载full版本,使我们在windows环境下也可以使用linux部分命令
阅读全文
posted @ 2018-11-09 23:00
Eric_nan
阅读(915)
推荐(0)
posted @ 2018-11-03 01:20
Eric_nan
阅读(1)
推荐(0)
摘要:
* 项目目标 对百度登录页面(https://passport.baidu.com/v2/?login)进行登录测试 * 功能实现 自动运行用例 自动生成测试报告 自动断言与测试截图 自动将最新测试报告发送到指定邮箱 PageObject + Unittest + 数据驱动 * 工程目录 base:
阅读全文
posted @ 2018-11-02 15:58
Eric_nan
阅读(882)
推荐(0)
摘要:
一、浏览器操作相关 二、元素定位 三、xpath 、 css适用定位 3.1、xpath定位 3.2、css常用定位 selenium 极力推荐使用css定位,而不是xpath来定位元素,原因是css定位比xpath定位速度快,语法也更加简洁 四、下拉菜单列表选项定位 1、使用上述xpath、css
阅读全文
posted @ 2018-10-31 17:04
Eric_nan
阅读(599)
推荐(0)
摘要:
一、发送请求与传递参数 简单demo: 1、带参数的请求 2、post发送json数据: 3、定制header: 二、response对象 使用requests方法后,会返回一个response对象,其存储了服务器响应的内容,如上实例中已经提到的 r.text、r.status_code……获取文本
阅读全文
posted @ 2018-10-31 11:59
Eric_nan
阅读(621)
推荐(0)