随笔分类 -  python网络爬虫

python网络爬虫（14）使用Scrapy搭建爬虫框架
摘要：目的意义 爬虫框架也许能简化工作量，提高效率等。scrapy是一款方便好用，拓展方便的框架。 本文将使用scrapy框架，示例爬取自己博客中的文章内容。 说明 学习和模仿来源：https://book.douban.com/subject/27061630/。 创建scrapy工程 首先当然要确定好 阅读全文
posted @ 2019-07-27 15:13 大浪淘沙、 阅读(471) 评论(0) 推荐(0)
python网络爬虫（13）博客园用户信息爬取
摘要：说明 这里只放代码，方案技术没有更变 代码说明 需要cookies绕过登录，使用selenium在Firefox下模拟。需要安装geck...？插件，另外，数据存储在sqlite，需要安装。 Spider.py import HtmlDownloader import HtmlParser impo 阅读全文
posted @ 2019-07-20 23:41 大浪淘沙、 阅读(405) 评论(0) 推荐(0)
python网络爬虫（12）去哪网酒店信息爬取
摘要：目的意义 爬取某地的酒店价格信息，示例使用selenium在Firefox中的使用。 来源 少部分来源于书。python爬虫开发与项目实战 构造 本次使用简易的方案，模拟浏览器访问，然后输入字段，查找，然后抓取网页中的信息。存储csv中。然后再转换为Excel，并对其中的数据进行二次处理。 代码 整 阅读全文
posted @ 2019-07-16 18:58 大浪淘沙、 阅读(910) 评论(0) 推荐(0)
python网络爬虫（11）近期电影票房或热度信息爬取
摘要：目标意义 为了理解动态网站中一些数据如何获取，做一个简单的分析。 说明 思路，原始代码来源于：https://book.douban.com/subject/27061630/。 构造-下载器 构造分下载器，下载原始网页，用于原始网页的获取，动态网页中，js部分的响应获取。 通过浏览器模仿，合理制作 阅读全文
posted @ 2019-07-12 17:12 大浪淘沙、 阅读(1249) 评论(3) 推荐(1)
python网络爬虫（10）分布式爬虫爬取静态数据
摘要：目的意义 爬虫应该能够快速高效的完成数据爬取和分析任务。使用多个进程协同完成一个任务，提高了数据爬取的效率。 以百度百科的一条为起点，抓取百度百科2000左右词条数据。 说明 参阅模仿了：https://book.douban.com/subject/27061630/。 作者说是简单的分布式爬虫（ 阅读全文
posted @ 2019-06-27 17:32 大浪淘沙、 阅读(587) 评论(0) 推荐(1)
python网络爬虫（9）构建基础爬虫思路
摘要：目的意义 基础爬虫分5个模块，使用多个文件相互配合，实现一个相对完善的数据爬取方案，便于以后更完善的爬虫做准备。 这里目的是爬取200条百度百科信息，并生成一个html文件，存储爬取的站点，词条，解释。 本文思路来源书籍。其代码部分来源书籍。https://book.douban.com/subje 阅读全文
posted @ 2019-06-09 20:40 大浪淘沙、 阅读(653) 评论(0) 推荐(0)
python的Email提醒
摘要：目的意义 使用Email自动发送，有利于实时获取爬取信息，更方便的掌握要闻。 导入相关库 MINEText库定义了发送信息， Header定义了发送的主题 formate定义了收件人和发件人的格式信息。 smtplib定义了发送邮件的方案 time用于延时发送 from email.mime.tex 阅读全文
posted @ 2019-06-07 23:07 大浪淘沙、 阅读(320) 评论(0) 推荐(0)
python网络爬虫（8）多媒体文件抽取
摘要：目的 批量下载网页图片 导入库 urllib中的request中的urlretrieve方法，可以下载图片 lxml用于解析网页 requests用于获取网站信息 import urllib from lxml import etree import requests 定义回调函数 回调函数中，co 阅读全文
posted @ 2019-06-07 21:57 大浪淘沙、 阅读(233) 评论(0) 推荐(0)
python网络爬虫（7）爬取静态数据详解
摘要：目的 爬取http://seputu.com/数据并存储csv文件 导入库 lxml用于解析解析网页HTML等源码，提取数据。一些参考：https://www.cnblogs.com/zhangxinqi/p/9210211.html requests请求网页 chardet用于判断网页中的字符编码 阅读全文
posted @ 2019-06-07 17:53 大浪淘沙、 阅读(762) 评论(0) 推荐(0)
python网络爬虫（6）爬取数据静态
摘要：爬取静态数据并存储json import requests import chardet from bs4 import BeautifulSoup import json user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/53 阅读全文
posted @ 2019-06-04 13:26 大浪淘沙、 阅读(219) 评论(0) 推荐(0)
python网络爬虫（5）BeautifulSoup的使用示范
摘要：创建并显示原始内容 其中的lxml第三方解释器加快解析速度 import bs4 from bs4 import BeautifulSoup html_str = """ <html><head><title>The Dormouse's story</title></head> <body> <p 阅读全文
posted @ 2019-06-02 22:12 大浪淘沙、 阅读(349) 评论(0) 推荐(0)
python网络爬虫（4）结构与基本概念
摘要：基本模型 请求与响应 import urllib.request as urllib2 request=urllib2.Request('http://www.zhihu.com') response=urllib2.urlopen(request) html=response.read() pri 阅读全文
posted @ 2019-06-02 19:18 大浪淘沙、 阅读(304) 评论(0) 推荐(0)
python网络爬虫（3）python爬虫遇到的各种问题（python版本、进程等）
摘要：import urllib2 源地址 在python3.3里面，用urllib.request代替urllib2 import urllib.request as urllib2 import cookielib 源地址 Python3中，import cookielib改成 import http 阅读全文
posted @ 2019-06-02 17:28 大浪淘沙、 阅读(806) 评论(1) 推荐(0)
python网络爬虫（2）回顾Python编程
摘要：文件写入 def storFile(data,fileName,method='a'): with open(fileName,method,newline ='') as f: f.write(data) pass pass storFile('123', '1.txt') 文件读取 with o 阅读全文
posted @ 2019-06-01 19:05 大浪淘沙、 阅读(284) 评论(0) 推荐(0)
python网络爬虫（1）静态网页抓取
摘要：获取响应内容： import requests r=requests.get('http://www.santostang.com/') print(r.encoding) print(r.status_code) print(r.text) 获取编码，状态（200成功，4xx客户端错误，5xx服务 阅读全文
posted @ 2019-05-31 22:10 大浪淘沙、 阅读(475) 评论(0) 推荐(0)