随笔分类 - python之爬虫
python
Python爬虫小白入门（十四）Python 爬虫 – 提取数据到Pandas DataFrame
摘要：Pandas 是一个开放源码、BSD许可的库，为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。把抓取到的数据存储到Pandas DataFrame中，可以进一步对数据进行分析，是一种常见做法。 本章例子，将从豆瓣网站上抓取北美电影排行榜，并放进DataFrame中。 抓取网页数据
阅读全文
Python爬虫小白入门（十三）Python 爬虫 – 使用CSS选择器
摘要：BeautifulSoup对象支持使用CSS选择器查找标签。这些选择器是CSS语言中使用的指定HTML Tag样式的方式。 下面是一些例子: p a — 在p标记中找到所有的a标签。 body p a — 在body标记内的p标记内查找所有a标签。 html body — 查找html标记内的bod
阅读全文
Python爬虫小白入门（十二）Python 爬虫 – 根据id与class查找标签
摘要：本章介绍怎么根据id与class查找标签。假设有下面的HTML文档： <html> <head> <title>A simple example page</title> </head> <body> <div> <p class="inner-text first-item" id="first"
阅读全文
Python爬虫小白入门（十一）Python 爬虫 – 根据类型查找标签
摘要：find_all 如要查找全部同类标签，可以使用find_all方法。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python-scraping
阅读全文
Python爬虫小白入门（十）Python 爬虫 – BeautifulSoup分析页面
摘要：我们已经抓取了一个HTML页面，接下来，我们使用BeautifulSoup来分析页面。 import requests from bs4 import BeautifulSoup page = requests.get("https://kevinhwu.github.io/demo/python-
阅读全文
Python爬虫小白入门（九）Python 爬虫 – 使用requests抓取网页
摘要：Python中，requests库可用于向web服务器发出http请求，http请求有多种方式，例如，GET/POST/PUT/DELETE 等等。 这里将使用GET请求抓取页面： import requests page = requests.get("https://kevinhwu.githu
阅读全文
Python爬虫小白入门（八）Python 爬虫 – 搭建环境
摘要：安装 requests 与 BeautifulSoup4 搭建Python爬虫环境，需要安装下面2个软件包: requests 用于执行HTTP请求 BeautifulSoup4 分析HTML页面 可以使用pip安装这些依赖项: pip install requests BeautifulSoup4
阅读全文
Python爬虫小白入门（十五）Python常用模块大全
摘要：OS 模块 #os模块就是对操作系统进行操作，使用该模块必须先导入模块： import os #getcwd() 获取当前工作目录(当前工作目录默认都是当前文件所在的文件夹) result = os.getcwd() print(result) #chdir()改变当前工作目录 os.chdir('
阅读全文
Python爬虫小白入门（七）爬取豆瓣音乐top250
摘要：抓取目标： 豆瓣音乐top250的歌名、作者（专辑）、评分和歌曲链接 使用工具： requests + lxml + xpath。 我认为这种工具组合是最适合初学者的，requests比python自带的urllib库好用，功能更强大。关于requests的使用方法，建议看它的官方文档： http:
阅读全文
Python爬虫小白入门（六）爬取披头士乐队历年专辑封面-网易云音乐
摘要：一、前言 前文说过我的设计师小伙伴的设计需求，他想做一个披头士乐队历年专辑的瀑布图。 通过搜索，发现网易云音乐上有比较全的历年专辑信息加配图，图片质量还可以，虽然有大有小。 我的例子怎么都是爬取图片？（谁让你总是跟设计师小伙伴一起玩耍。。。）看来图片对于设计师来说还是有着很深的情节，那就看他用这些图
阅读全文
Python爬虫小白入门（五）PhatomJS+Selenium第二篇
摘要：一、前言 前文介绍了PhatomJS 和Selenium 的用法，工具准备完毕，我们来看看如何使用它们来改造我们之前写的小爬虫。 我们的目的是模拟页面下拉到底部，然后页面会刷出新的内容，每次会加载10张新图片。 大体思路是，用Selenium + PhatomJS 来请求网页，页面加载后模拟下拉操作
阅读全文
Python爬虫小白入门（四）PhatomJS+Selenium第一篇
摘要：一、前言 在上一篇博文中，我们的爬虫面临着一个问题，在爬取Unsplash网站的时候，由于网站是下拉刷新，并没有分页。所以不能够通过页码获取页面的url来分别发送网络请求。我也尝试了其他方式，比如下拉的时候监控http请求，看看请求是否有规律可以模拟。后来发现请求并没有规律，也就是不能够模拟http
阅读全文
Python爬虫小白入门（三）BeautifulSoup库
摘要：一、前言 上一篇演示了如何使用requests模块向网站发送http请求，获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。 update on 2016-12-28：之前忘记给BeautifulSoup的官网了，今天补上，顺便再补点Be
阅读全文
Python爬虫小白入门（二）requests库
摘要：一、前言 为什么要先说Requests库呢，因为这是个功能很强大的网络请求库，可以实现跟浏览器一样发送各种HTTP请求来获取网站的数据。网络上的模块、库、包指的都是同一种东西，所以后文中可能会在不同地方使用不同称谓，不要迷惑哦。 结合一个实例来讲解吧。我的一个设计师小伙伴常去一些设计类网站收集素材，
阅读全文
Python爬虫小白入门（一）入门介绍
摘要：一、前言 你是不是在为想收集数据而不知道如何收集而着急？ 你是不是在为想学习爬虫而找不到一个专门为小白写的教程而烦恼？ Bingo! 你没有看错，这就是专门面向小白学习爬虫而写的！我会采用实例的方式，把每个部分都跟实际的例子结合起来帮助小伙伴儿们理解。最后再写几个实战的例子。 我们使用Python来
阅读全文