运维家

摘要： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。json作为流传广泛的数据格式，我们必须得知道使用python是如何处理的，毕竟json的本质也是字符串嘛。 1、json支持的数据格式 （1）对象（字典），使用花括号{}； （2）数组（ 阅读全文

摘要： 老话说得好：世界上分为两种人，一种是会正则的，一种是不会正则的。 1、介绍 又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 许多程序设计语言都支持利用 阅读全文

摘要： 这里我们主要梳理下思路，整理下和BeautifulSoup有关的内容。 1、find和find_all 相同点 在提取数据的时候，第一个参数是标签的名字，如果后面还想有其他参数作为过滤的方式而存在，可以通过关键字的形式来传输，比如'class_'=red，如果你的关键字不是python关键字的话，后 阅读全文

摘要： 上一篇中我们写了一半了，本文在上一篇的基础上继续进行。 1、特殊处理点 需要注意一个问题，之前我们取值的时候，都是一行一行读取的，然后从中获取关键字，那么如果是下面的情况呢？ 可以看到一个电影里面往往有很多个演员，这种时候我们如果再根据关键字演员来筛选的话，肯定是不合适的，那么我们采取下面的方式来进 阅读全文

摘要： 学以致用，我们使用前面的知识，来爬取一下豆瓣上正在上映的电影，由于我们还没有整理存储相关的资料，那么我们就先打印出来，不做存储示例。 1、爬取流程梳理 计划获取内容为：名字、年份、时长、地区、演员、封面等信息。 （1）整体定位 首先我们要知道爬取的哪个页面的哪些内容，如下图： （2）范围定位 然后我 阅读全文

摘要： 当我们爬取网页的时候，里面的数据是杂乱的，我们实际上只需要对应页面中的某些内容，那么我们如何将其筛选出来呢？我们使用xpath就可以准确的采集到我们需要的数据，从而摒弃那些对我们“无用”的数据。 1、安装xpath 推荐主流浏览器：Google浏览器 点击Google浏览器的扩展程序，然后再点击左上 阅读全文

摘要： 1、python爬虫代理 使用python爬虫高频率的访问一个固定的网站的话，容易触发该目的网站的反爬机制，将你对应的IP地址进行封禁，那么这个时候我们可以通过代理的方式，让目的网站无法识别到是哪一个IP地址访问的。 （1）检测网站 我们在测试的时候，如何知道我们是通过代理访问的呢？这个时候我们需要 阅读全文

摘要： 接上文，续写urilib模块在python爬虫中的一些使用方法。 1、urlencode函数 用来将汉字或者其他内容变成浏览器中url的访问方式，就是乱码（百分号加16进制的编码组成的内容）； 示例： from urllib import parse jier = {'wd': '刘亦菲', 'ag 阅读全文

摘要： 1、什么是http和https协议 HTTP协议：全称是HyperText Transfer Protocol，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法。服务器端口号是80端口。 HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口号是443端口。 2 阅读全文

摘要： 此文档旨在为业务系统，提供数据库mysql高可用方案，此方案在基于mysql双主模式下，采用keepalive漂移VIP地址的方式，实现高可用。 一、架构思路 1、在两台服务器上，分别搭建mysql数据库，这两台数据库都可读写，互为主从，下文统称mysql_A，mysql_B； 2、默认情况下，只使 阅读全文