随笔分类 -  python爬虫

上一页 1 2
python爬虫之Phantomjs安装和使用
摘要：phantomjs： PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。 phantomjs： 1、无UI界面的网站测试 2、屏幕快照 3、页面操作自动化 官方文档：http://phan 阅读全文
posted @ 2017-10-18 22:38 Charles.L 阅读(4842) 评论(0) 推荐(0)
python爬虫之PyQuery的基本使用
摘要：PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。官网地址：http 阅读全文
posted @ 2017-10-16 11:40 Charles.L 阅读(53591) 评论(1) 推荐(8)
python爬虫之xpath的基本使用
摘要：一、简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 参照 二、安装 三、使用 1、导入 2、基本使用 从下 阅读全文
posted @ 2017-09-11 17:43 Charles.L 阅读(233623) 评论(9) 推荐(20)
python爬虫之初始Selenium
摘要：1、初始 Selenium[1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包 阅读全文
posted @ 2017-08-17 10:38 Charles.L 阅读(592) 评论(0) 推荐(0)
python爬虫之pandas
摘要：一、简介： Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方 阅读全文
posted @ 2017-06-20 15:58 Charles.L 阅读(2499) 评论(0) 推荐(0)
python爬虫之正则表达式
摘要：一、简介 正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式 阅读全文
posted @ 2017-06-13 13:49 Charles.L 阅读(6275) 评论(0) 推荐(1)
python爬虫之Beautiful Soup的基本使用
摘要：1、简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代 阅读全文
posted @ 2017-06-09 17:15 Charles.L 阅读(13447) 评论(0) 推荐(2)
python爬虫之requests的基本使用
摘要：简介 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。 一、安装 pip快速安装 二、使用 1、先上一串代码 response.text返回的是Unicode 阅读全文
posted @ 2017-06-07 15:55 Charles.L 阅读(124876) 评论(0) 推荐(15)

上一页 1 2