随笔分类 -  爬虫

python爬虫之爬取音频
摘要：抓取“xmly”鬼故事音频 import json # 在这个url，音频链接为JSON动态生成，所以用到了json模块 import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebK 阅读全文
posted @ 2020-09-27 18:08 天选牛马打工人、 阅读(1340) 评论(0) 推荐(0)
python爬虫之爬取猫眼榜单
摘要：抓取“猫眼”TOP100榜 import requests from bs4 import BeautifulSoup headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, 阅读全文
posted @ 2020-09-23 10:14 天选牛马打工人、 阅读(278) 评论(0) 推荐(0)
python爬虫之爬取music
摘要：爬取bdvip（自己体会）音乐 #!/usr/bin/env python # -*- coding: utf-8 -*- # Created by Fzy on 2018/12/30 21:05 import requests import json # import pprint # 此方法只适 阅读全文
posted @ 2020-09-23 10:13 天选牛马打工人、 阅读(307) 评论(0) 推荐(0)
python爬虫之爬取笑话（二）
摘要：爬取“糗事百科”笑话2 import sys import requests from bs4 import BeautifulSoup # 需要爬取数据的URL url = 'https://www.qiushibaike.com/text/page/' # 循环查找第1-13页的笑话 for n 阅读全文
posted @ 2020-09-23 10:12 天选牛马打工人、 阅读(226) 评论(0) 推荐(0)
python爬虫之爬取笑话（一）
摘要：爬取“糗事百科”笑话 import sys import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 阅读全文
posted @ 2020-09-23 10:11 天选牛马打工人、 阅读(328) 评论(0) 推荐(0)
python爬虫之爬取漫画（二）
摘要：爬取”漫画岛“《鬼抬轿》 # 导入第三方库 import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 阅读全文
posted @ 2020-09-23 10:10 天选牛马打工人、 阅读(237) 评论(0) 推荐(0)
python爬虫之爬取漫画（一）
摘要：爬取“快看漫画”《百怪夜谭》 import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 \ (KHT 阅读全文
posted @ 2020-09-23 10:09 天选牛马打工人、 阅读(1218) 评论(0) 推荐(0)
python爬虫之爬取小说（四）
摘要：爬取《坏蛋是怎样练成的》 # 导入第三方库 import requests from bs4 import BeautifulSoup # 模拟反爬 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit 阅读全文
posted @ 2020-09-23 10:08 天选牛马打工人、 阅读(470) 评论(0) 推荐(0)
python爬虫之爬取小说（三）
摘要：爬取”顶点小说网“《纯阳剑尊》 import requests from bs4 import BeautifulSoup # 反爬 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 阅读全文
posted @ 2020-09-23 10:07 天选牛马打工人、 阅读(231) 评论(0) 推荐(0)
python爬虫之爬取小说（二）
摘要：爬取“全书网”《斗罗大陆》小说 #!/usr/bin/env python # -*- coding: utf-8 -*- # Created by Fzy on 2018/12/27 17:14 import requests import re headers = { 'User-Agent': 阅读全文
posted @ 2020-09-23 10:06 天选牛马打工人、 阅读(250) 评论(0) 推荐(0)
python爬虫之爬取小说（一）
摘要：爬取“盗墓笔记”小说 import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, li 阅读全文
posted @ 2020-09-23 10:05 天选牛马打工人、 阅读(1534) 评论(0) 推荐(0)
python爬虫之爬取图片（五）
摘要：爬取“无聊哦”《姜文，你太皮了！》 import requests from bs4 import BeautifulSoup # 模拟反爬 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537 阅读全文
posted @ 2020-09-23 10:04 天选牛马打工人、 阅读(170) 评论(0) 推荐(0)