摘要：
selenium 处理下拉框 下拉框是我们最常见的一种页面元素，对于一般的元素，我们只需要一次就定位，但下拉框里的内容需要进行两次定位，先定位到下拉框，再定位到下拉框内里的选项。 drop_down.html <html> <body> <select id="ShippingMethod" onc 阅读全文
posted @ 2022-02-26 19:43
齐天_大圣
阅读(120)
评论(0)
推荐(0)
摘要：
1. 窗口的定位 对于一个现代的web应用，经常会出现框架（frame） 或窗口（window）的应用，这也就给我们的定位带来了一个难题。 有时候我们定位一个元素，定位器没有问题，但一直定位不了，这时候就要检查这个元素是否在一个frame中，seelnium webdriver 提供了一个switc 阅读全文
posted @ 2022-02-26 19:42
齐天_大圣
阅读(173)
评论(0)
推荐(0)
摘要：
对象的定位应该是自动化的核心，要想操作一个对象，首先应该识别这个对象。 一个对象就是一个人一样，他会有各种的特征（属性），如比我们可以通过一个人的身份证号，姓名，或者他住在哪个街道、楼层、门牌找到这个人。 1.1 对象定位 webdriver提供了一系列的对象定位方法，常用的有以下几种 单个元素选取 阅读全文
posted @ 2022-02-26 19:41
齐天_大圣
阅读(95)
评论(0)
推荐(0)
摘要：
1. Selenium 控制浏览器 1.1 最大化窗口 我们知道调用启动的浏览器不是全屏的，这样不会影响脚本的执行，但是有时候会影响我们“观看”脚本的执行。 browser = webdriver.Chrome() url= 'http://www.baidu.com' browser.get(ur 阅读全文
posted @ 2022-02-26 19:41
齐天_大圣
阅读(125)
评论(0)
推荐(0)
摘要：
1. Selenium 安装与测试 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Seleni 阅读全文
posted @ 2022-02-26 19:40
齐天_大圣
阅读(123)
评论(0)
推荐(0)
摘要：
1 协程 首先我们需要知道的是requests是同步的方法。而我们若想使用协程，写的方法都尽量不是使用同步的方法。 因些我们，选择使用一个新的模块库`aiohttp 官网 https://docs.aiohttp.org/en/stable/ 1.1 安装 pip install aiohttp 1 阅读全文
posted @ 2022-02-26 19:39
齐天_大圣
阅读(138)
评论(0)
推荐(0)
摘要：
1. 引入 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 不建议你用这个，不过还是介绍下了，如果想看可以看看下面，不想浪费时间直接看 2. 如何使用 爬虫使用多线程来处理网络请求，使用线程来处理URL队列中的url， 阅读全文
posted @ 2022-02-26 19:38
齐天_大圣
阅读(98)
评论(0)
推荐(0)
摘要：
1 多进程 multiprocessing是python的多进程管理包，和threading.Thread类似 1.1 multiprocessing模块 直接从侧面用subprocesses替换线程使用GIL的方式，由于这一点，multiprocessing模块可以让程序员在给定的机器上充分的利用 阅读全文
posted @ 2022-02-26 19:38
齐天_大圣
阅读(68)
评论(0)
推荐(0)
摘要：
1. JSON与JsonPATH JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Pyt 阅读全文
posted @ 2022-02-26 19:37
齐天_大圣
阅读(199)
评论(0)
推荐(0)
摘要：
1. 介绍 之前 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath 官网 http://lxml.de/ 阅读全文
posted @ 2022-02-26 19:36
齐天_大圣
阅读(69)
评论(0)
推荐(0)
浙公网安备 33010602011771号