随笔分类 -  爬虫

【爬虫】必应图片按关键词进行图片下载
摘要：1 """ 2 关键是找到正确的url，然后判断组成url的参数的规律，多观察几个url即可得出规律 3 """ 4 5 import requests 6 from fake_useragent import UserAgent 7 import os 8 from lxml import etr 阅读全文
posted @ 2021-02-27 17:44 止一 阅读(200) 评论(0) 推荐(0)
Scrapy_糗事百科
摘要：1.进入桌面 1 cd C:\Users\Mr_wa\Desktop 2.新建项目 scrapy startproject qsbk 3.新建爬虫 cd qsbk scrapy genspider qsbk_spider qiushibaike.com 4.修改settings.py 1 ROBOT 阅读全文
posted @ 2021-02-27 17:42 止一 阅读(85) 评论(0) 推荐(0)
scrapy 运行逻辑
摘要：爬虫的步骤：发送请求获得响应→解析并提取数据→保存数据 我们沿用这个朴素的逻辑去理解scrapy 一、发送请求获得响应 1、爬虫发送请求request到引擎 2、引擎将请求request传递给调度器scheduler队列 3、调度器scheduler从请求队列中向引擎输送request 4、引擎将r 阅读全文
posted @ 2021-01-26 18:57 止一 阅读(252) 评论(0) 推荐(0)
Python爬虫_qq音乐示例代码
摘要：import requests url = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp' for x in range(5): headers = { 'origin':'https://y.qq.com', 'referer':'https 阅读全文
posted @ 2020-11-09 14:42 止一 阅读(1886) 评论(0) 推荐(0)
Scrapy项目_苏宁图书信息
摘要：苏宁图书（https://book.suning.com/） 目标： 1、图书一级分类 2、图书二级分类 3、图书三级分类 4、图书名字 5、图书作者 6、图书价格 7、通过Scrapy获取以上数据并存储在MongoDB中 步骤： 1、创建项目 2、编写爬虫 发送主页请求，获取响应 利用xpath提 阅读全文
posted @ 2020-11-08 07:35 止一 阅读(199) 评论(0) 推荐(0)
Scrapy项目_阳光热线问政平台
摘要：目的： 爬取阳光热线问政平台问题中每个帖子的标题、详情URL、详情内容、图片以及发布时间 步骤： 1、创建爬虫项目 1 scrapy startproject yangguang 2 cd yangguang 3 scrapy genspider yangguang sun0769.com 2、设置 阅读全文
posted @ 2020-11-06 02:30 止一 阅读(223) 评论(0) 推荐(0)
Scrapy 项目：腾讯招聘
摘要：【项目目标】 通过爬取腾讯招聘网站的招聘信息（https://careers.tencent.com/search.html）练习Scrapy框架的使用 【项目过程】 1、通过抓包确认要抓取的内容是否在当前url地址中，测试发现内容不在当前url中并且数据格式为json字符串 2、请求url地址过长 阅读全文
posted @ 2020-11-05 19:23 止一 阅读(268) 评论(0) 推荐(0)
Python爬虫_糗事百科
摘要：本爬虫任务： 爬虫糗事百科网站（https://www.qiushibaike.com/）——段子版块中所有的【段子】、【投票数】、【神回复】等内容 步骤： 通过翻页寻找url规律，构造url列表 查看审查元素，发现网页内容均在elements中，可以直接请求 通过xpath提取需要的内容 保存数据 阅读全文
posted @ 2020-11-04 09:47 止一 阅读(157) 评论(0) 推荐(0)
Python爬虫_百度贴吧（title、url、image_url）
摘要：本爬虫以百度贴吧为例，爬取某个贴吧的【所有发言】以及对应发言详情中的【图片链接】 涉及： request 发送请求获取响应 html 取消注释 通过xpath提取数据 数据保存 思路： 由于各贴吧发言的数量不一，因此通过观察url规律统一构造url列表进行遍历爬取，不具有可推广性，因此通过先找到【下 阅读全文
posted @ 2020-11-04 03:16 止一 阅读(864) 评论(0) 推荐(0)
Python爬虫_百度贴吧
摘要：# 本爬虫为爬取百度贴吧并存储HTMLimport requests class TiebaSpider: def __init__(self, tieba_name): self.tieba_name = tieba_name self.url = "https://tieba.baidu.com 阅读全文
posted @ 2020-10-30 04:46 止一 阅读(189) 评论(0) 推荐(0)
Python爬虫_豆瓣电视剧
摘要：1 import requests 2 import json 3 import csv 4 5 6 class DoubantvSpider: 7 def __init__(self): 8 # self.proxies = {"http":"http://125.123.152.81:3000" 阅读全文
posted @ 2020-10-30 04:43 止一 阅读(262) 评论(0) 推荐(0)
Scrapy 项目：QuotesBot
摘要：QuotesBot This is a Scrapy project to scrape quotes from famous people from http://quotes.toscrape.com (github repo). This project is only meant for e 阅读全文
posted @ 2020-10-27 22:43 止一 阅读(244) 评论(0) 推荐(0)