随笔分类 -  python学习 / 爬虫基础

爬取拉勾网职位信息
摘要：https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=py https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=fa 阅读全文
posted @ 2024-03-20 16:09 人生努力努力努力就好 阅读(63) 评论(0) 推荐(0)
使用CrawlSpider类抓取纵横小说网页内容
摘要：第一节课： 一：根据page页面解析出book_url 二： 解析来的response (book_url) 并不是交给parse_item方法，而是交给了上面的rules处理,然后通过LinkExtractor提取静态页面数据url,url形成一个新的请求交给引擎，引擎一顿操作给到callback 阅读全文
posted @ 2024-01-25 19:00 人生努力努力努力就好 阅读(72) 评论(0) 推荐(0)
Scrapy框架的运用，获取豆瓣电影信息-02
摘要：第一节：豆瓣电影信息的爬取 1.分析源码 page页面：https://www.douban.com/doulist/3936288/ 关键源码截图： 外部div: <div class="bd doulist-subject"> <div class="doulist-video-items"> 阅读全文
posted @ 2023-12-12 20:06 人生努力努力努力就好 阅读(190) 评论(0) 推荐(0)
scrapy 框架的安装及流程-01
摘要：一、简介 scrapy的优势： 1、为了更利于我们将精力集中在请求与解析上 2、企业级的要求，效率高 二、模块安装 scrapy支持Python2.7和python3.4以上版本 1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的 阅读全文
posted @ 2023-11-28 21:12 人生努力努力努力就好 阅读(136) 评论(0) 推荐(0)
豆瓣电影top250爬取
摘要：第一部分：实现方法 通过requests+xpath实现豆瓣电影top250一些信息的爬取 第二部分：思路、分析过程 1.浏览器输入豆瓣电影top250 2.打开主页面，显示有20条电影信息数据 page_url=https://m.baidu.com/sf?pd=topone_multi&top= 阅读全文
posted @ 2023-11-24 09:42 人生努力努力努力就好 阅读(247) 评论(0) 推荐(0)
网页解析_xpath-02
摘要：第一部分：简介 原理跟soup一样，都是把html字符串转换成标签对象,像选择路径一样选择标签。 第二部分：代码块 1：公共代码部分 from lxml import etree # 导包 <html> <head> <title>爬虫</title> <meta charset="utf-8"> 阅读全文
posted @ 2023-11-17 14:20 人生努力努力努力就好 阅读(57) 评论(0) 推荐(0)
网页解析_bs4-01
摘要：一：简介 1.BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，它的使用方式相对于正则来说更加的简单方便，常常能够节省我们大量的时间。 2.BeautifulSoup的安装也是非常方便的，pip安装即可。 pip install beautifulsoup4 3 阅读全文
posted @ 2023-11-15 19:26 人生努力努力努力就好 阅读(88) 评论(0) 推荐(0)
selenium 安装及使用
摘要：一：序言 selenium 是一个web自动化工具 1.自动化测试 通过它，我们可以写出自动化程序，模拟浏览器里操作web界面。 比如点击界面按钮，在文本框中输入文字 等操作。 2.获取信息(就是爬虫) 而且还能从web界面获取信息。 比如招聘网站职位信息，财经网站股票价格信息 等等，然后用程序进行 阅读全文
posted @ 2023-11-09 19:18 人生努力努力努力就好 阅读(146) 评论(0) 推荐(0)