上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 44 下一页
摘要: JSON和JSONPath JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的数据交互。注意:光理论是不够的。这里顺便免费送大家一套2020 阅读全文
posted @ 2020-06-01 12:14 程序员的人生A 阅读(637) 评论(0) 推荐(0) 编辑
摘要: 作为一个概念而言,正则表达式对于Python来说并不是独有的。但是,Python中的正则表达式在实际使用过程中还是有一些细小的差别。 本文是一系列关于Python正则表达式文章的其中一部分。在这个系列的第一篇文章中,我们将重点讨论如何使用Python中的正则表达式并突出Python中一些独有的特性。 阅读全文
posted @ 2020-06-01 11:39 程序员的人生A 阅读(1117) 评论(0) 推荐(0) 编辑
摘要: 浏览器打开网页的过程就是爬虫获取数据的过程,两者是一样一样的。浏览器渲染的网页是丰富多彩的数据集合,而爬虫得到的是网页的源代码htm有时候,我们不能在网页的html代码里面找到想要的数据,但是浏览器打开的网页上面却有这些数据。这就是浏览器通过ajax技术异步加载(偷偷下载)了这些数据。 大家禁不住要 阅读全文
posted @ 2020-06-01 11:05 程序员的人生A 阅读(2646) 评论(0) 推荐(0) 编辑
摘要: Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪,而储存在用户浏览器上的文本文件,Cookie可以保持登录信息到用户下次与服务器的会话。 HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制。Cookie是http消息头中的一种属性,包括: Cook 阅读全文
posted @ 2020-06-01 10:41 程序员的人生A 阅读(1314) 评论(0) 推荐(1) 编辑
摘要: python应用最多的场景还是web快速开发、爬虫、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。另外要注意:光理论是不够的。这里顺便送大家一套2020最新python入门到高级项目实战视频 阅读全文
posted @ 2020-05-29 10:43 程序员的人生A 阅读(584) 评论(1) 推荐(0) 编辑
摘要: 先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样,是必不可少的神兵利器。 一、 正则表达式基础 1.1.概念介绍 正则表达式是用于处理字符串的强大工具,它并不是Python的一部分。 其他编程语言中也有正则表达式的概念,区别只在 阅读全文
posted @ 2020-05-28 15:45 程序员的人生A 阅读(742) 评论(0) 推荐(0) 编辑
摘要: Selector 的用法 我们之前介绍了利用 Beautiful Soup、pyquery 以及正则表达式来提取网页数据,这确实非常方便。而 Scrapy 还提供了自己的数据提取方法,即 Selector(选择器)。Selector 是基于 lxml 来构建的,支持 XPath 选择器、CSS 选择 阅读全文
posted @ 2020-05-28 15:37 程序员的人生A 阅读(10524) 评论(0) 推荐(0) 编辑
摘要: 遍历文档树 1.直接子节点:.contents .children属性 .content Tag的.content属性可以将Tag的子节点以列表的方式输出 #!/usr/bin/python3 # -*- coding:utf-8 -*- from bs4 import BeautifulSoup 阅读全文
posted @ 2020-05-28 15:21 程序员的人生A 阅读(612) 评论(0) 推荐(0) 编辑
摘要: Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些JavaScript动态渲染的页面来说,此种抓取方式非常有效。本节中,就让我们来感受一下它的强大之处吧。 1. 准备工作 本节以Chrom 阅读全文
posted @ 2020-05-28 15:16 程序员的人生A 阅读(1734) 评论(0) 推荐(0) 编辑
摘要: 简单而言,单例模式就是保证某个实例在项目的整个生命周期中只存在一个,在项目的任意位置使用,都是同一个实例。 单例模式虽然简单,但还是有些门道的,而少有人知道这些门道。 边界情况 Python中实现单例模式的方法很多,我以前最常使用的应该是下面这种写法。 class Singleton(object) 阅读全文
posted @ 2020-05-28 09:33 程序员的人生A 阅读(929) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 44 下一页