Juno3550

摘要： 元素定位 获取页面元素属性 元素判断 元素操作 操作输入框/单击 双击 下拉框操作 键盘操作 鼠标操作 单选框操作 多选框操作 拖动窗口 操作 JS 框 切换 frame 使用 JS 操作页面对象 操作滚动条 浮动(联想)选项选择 更改页面对象的属性值 文件下载 文件上传 操作日期控件 操作富文本框 阅读全文

摘要： 若不设置进行下述配置，那么 webdriver 每次启动火狐浏览器，默认都是一个不太有任何插件的浏览器被启动。 通过配置的方式，指定一个浏览器设置来启动，就可以使用以前安装的插件或配置信息了。 步骤一：打开火狐配置窗口 cmd 执行下述命令，会弹出火狐配置窗口： firefox.exe -Profi 阅读全文

摘要： 读取ini配置文件 配置项 读取API 写入API 实战：UI 对象库 读取ini配置文件 配置项 在每个 ini 配置文件中，配置数据会被分组（比如下述配置文件中的“config”和“cmd”），每个分组中又可以指定对应的变量值。 示例：test.ini # 定义config分组 [config] 阅读全文

摘要： 实现方法 find_all_file(queue, path, file_type=None)：统计文件个数。 all_file_code_count(queue, path, file_type=None)：使用多进程来统计队列中的代码总行数。 single_file_code_count(que 阅读全文

摘要： 1. Scrapy 简介 2. Scrapy 项目开发介绍 3. Scrapy 项目代码示例 3.1 setting.py：爬虫基本配置 3.2 items.py：定义您想抓取的数据 3.3 spider目录下的sohu.py：编写提取数据的Spider 3.4 pipelines.py：将爬取后的 阅读全文

摘要： 1. 多进程访问 1000 个 url 2. 多线程访问 1000 个 url 3. 协程访问 1000 个 url 4. 多进程+协程访问 1000 个 url 5. 多线程+协程访问 1000 个 url 6. 总结 代码下载：https://github.com/juno3550/Multit 阅读全文

摘要： 许多网站针对爬虫的访问都设置了一定的障碍，这里介绍防反爬虫机制的 3 大技巧。 1）设定程序休止时间 2）设定代理 3）设定 User-Agent 1）设定程序休止时间 1 import time 2 3 time.sleep(n) 2）设定代理 代理服务器的存在，可以应对网站禁止某个 IP 访问的 阅读全文

摘要： 1. Xpath 1.1 Xpath 简介 1.2 Xpath 使用案例 2. BeautifulSoup 2.1 BeautifulSoup 简介 2.2 BeautifulSoup 使用案例 1）爬取“NATIONAL WEATHER”的天气数据 2）爬取豆瓣电影 TOP 250 的电影名与链接 阅读全文

摘要： 1. 爬虫简介 2. requests 基础用法 3. urlretrieve() 1. 爬虫简介 爬虫的定义 网络爬虫（又被称为网页蜘蛛、网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 爬虫有什么用 市场分析：电商分析、商圈分析、一二级市场分析等 市场监控：电商、新闻、房 阅读全文

摘要： 0. 概述 1. 循环版实现多连接 2. threading.Thread 多线程 3. SockerServer 实现多任务 3.1 ForkingMixIn - 多进程（限 linux） 3.2 ThreadingMixIn - 多线程 3.3 ThreadingTCPServer - 线程池 阅读全文