创客未来

2022年5月26日

摘要： 1.基本使用 1.1 文档官方文档： http://cn.python-requests.org/zh_CN/latest/ 快速上手： http://cn.python-requests.org/zh_CN/latest/user/quickstart.html 1.2.安装 pip insta 阅读全文

posted @ 2022-05-26 16:53 创客未来阅读(39) 评论(0) 推荐(0)

爬虫_selenium_Chrome handless

摘要： Chrome-headless 模式，Google针对Chrome浏览器59版本新增加的一种模式，可以让你不打开UI界面的情况下使用Chrome浏览器，所以运行效果于Chrome保持完美一致。 from selenium import webdriver from selenium.webdrive 阅读全文

posted @ 2022-05-26 16:08 创客未来阅读(180) 评论(0) 推荐(0)

爬虫_selenium_Phantomjs(停更了)

摘要： 1.什么是Phantomjs？（1）是一个无界面的浏览器（2）支持页面元素查找，js的执行等（3）由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多 2.如何使用Phantomjs? 获取PhantomJS.exe文件路径path browser=webdriver.Phantom 阅读全文

posted @ 2022-05-26 15:54 创客未来阅读(51) 评论(0) 推荐(0)

爬虫_selenium_访问元素信息及交互

摘要： 1.访问元素信息获取元素属性 .get_attribute('class') 获取元素文本 .text 获取标签名 .tag_name from selenium import webdriver from selenium.webdriver.common.by import By path = 阅读全文

posted @ 2022-05-26 15:43 创客未来阅读(59) 评论(0) 推荐(0)

爬虫_selenium_元素定位

摘要：元素定位：自动化要做的就是模拟鼠标和键盘来操作这些元素，点击、输入等等。操作这些元素前首先要找到它们，webDriver提供很多定位元素的方法方法： 1. find_element_by_id # 根据id来找到对象 button = browser.find_element_by_id('su' 阅读全文

posted @ 2022-05-26 11:18 创客未来阅读(82) 评论(0) 推荐(0)

2022年5月25日

爬虫_selenium_基本使用

摘要： 1.什么是selenium？（1）selenium是一个用于web应用程序测试工具（2）selenium测试直接运行在浏览器中，就像真正的用户在操作一样（3）支持通过各种driver（FirfoxDirver,IternetExploreDriver,OperaDriver,ChromeDri 阅读全文

posted @ 2022-05-25 16:17 创客未来阅读(61) 评论(0) 推荐(0)

爬虫_解析_BeautifulSoup

摘要： 1.基本简介 BeautifulSoup简称：bs4 BeautifulSoup，和lxml一样，是一个html的解析器，主要功能也是解析和提取数据优缺点：效率没有lxml的效率高，接口设计人性化，使用方便 2.安装以及创建 2.1安装 pip install bs4 2.2导入 from bs4 阅读全文

posted @ 2022-05-25 15:45 创客未来阅读(77) 评论(0) 推荐(0)

爬虫_解析_JsonPath

摘要： 1.Json Path介绍看它的名字你就能知道，这Json Path和JSON文档有关系，正如XPath之于XML文档一样，JsonPath为Json文档提供了解析能力，通过使用JsonPath，你可以方便的查找节点、获取想要的数据，JsonPath是Json版的XPath。 JsonPath只能阅读全文

posted @ 2022-05-25 13:10 创客未来阅读(181) 评论(0) 推荐(0)

2022年5月24日

爬虫_解析_xpath

摘要： 1.xpath插件安装（1) 打开chrome浏览器（2）点击右上角小圆点（3）更多工具（4）扩展程序（5）拖拽xpath插件到扩展程序中（6）如果crx文件失效，需要将后缀修改为zip （7）再次拖拽（8）关闭浏览器重新打开（9）Ctrl + shift + x （10）出现小黑框阅读全文

posted @ 2022-05-24 16:37 创客未来阅读(101) 评论(0) 推荐(0)

爬虫_urllib_handler处理器

摘要：为什么要学习handler？如果定制更高级的请求头，随着业务逻辑的复杂请求对象的定制已经满足不了我们的需求（动态cookie和代理不能使用请求对象的定制） 1.Handler处理器的基本使用 #Handler的基本使用 import urllib.request url = 'http://www 阅读全文

posted @ 2022-05-24 13:21 创客未来阅读(71) 评论(0) 推荐(0)

公告