摘要：
docker docker介绍，与传统虚拟机比较： docker不需要虚拟硬件和操作系统，轻量级，占用体积小，启动快。 VMware，kvm:底层是在一个很强健的操作系统上虚拟出很多操作系统。 现在使用的很多与服务器就是通过vm或kvm虚拟化出，阿里云，腾讯云再使用opensatck(开源)，阿里飞 阅读全文
摘要：
selenium使用-->可以使用代码控制模拟人操作浏览器 # 如果使用requests模块，发送请求获取的数据不全，它不能执行js # selenium:可以使用代码控制模拟人操作浏览器 ## 操作某个浏览器，就需要有浏览器驱动 # http://npm.taobao.org/mirrors/ch 阅读全文
摘要：
爬取汽车之家新闻： 地址:https://www.autohome.com.cn/news/ 目的：爬取文章的标题，图片，简介。 在这之前，学习以下bs4：https://www.cnblogs.com/liuqingzheng/p/16005875.html 代码： import requests 阅读全文
摘要：
长链接转短连接，本质重定向，前提有一个短域名。 前端用户发送请求生成短连接，服务端收到post请求，将长链接存入数据库，返回一个随机字符串拼接在短域名后面给用户，用户下次那个短连接来登录，发送get请求，服务端收到用户输入地址，拿着长链接到后端比较取到长链接地址并重定向。 requests高级用法： 阅读全文
摘要：
爬虫： 根本就是模拟发送http请求(浏览器需什么，我们携带什么)，浏览器响应请求并返回数据，我们再对数据进行清洗即为摘选需要的数据，最后入库。 爬虫协议：robots.txt 举例： https://www.baidu.com/robots.txt https://www.cnblogs.com/ 阅读全文
摘要：
爬虫01: 基本介绍，基本使用 爬虫02: 图片，视频 requestsgao高级使用 bs4 selenium,验证码破解，自动登录 阅读全文
摘要：
获取二进制数据content或者iter_content 用于下载图片，视频。 爬取图片： import requests header = { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/53 阅读全文
摘要：
python @property的介绍与使用 python的@property是python的一种装饰器，是用来修饰方法的。 作用： 我们可以使用@property装饰器来创建只读属性，@property装饰器会将方法转换为相同名称的只读属性,可以与所定义的属性配合使用，这样可以防止属性被修改。 举 阅读全文
摘要：
celery Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html Celery 官方文档中文版：http://docs.jinkan.org 阅读全文
摘要：
redis 什么是Redis Redis(Remote Dictionary Server) 是一个使用 C 语言编写的，开源的（BSD许可）高性能非关系型（NoSQL）的键值对数据库。 Redis 可以存储键和五种不同类型的值之间的映射。键的类型只能为字符串，值支持五种数据类型：字符串、列表、集合 阅读全文