摘要： 目录： 一、ansible的下载安装 二、ssh的认证方式 三、ansible的命令格式 四、查看ansible生成的文件的方法 五、ansible-doc 查看模块的帮助信息 六、模块 1. 命令相关模块 2. 文件相关模块 3. 软件相关模块 4. 计划任务模块cron 5. 用户相关模块 6. 阅读全文

摘要： 目录： 1、什么是celery 2、celery简单示例 3、celery结合flask模拟抢购系统 4、celery项目目录 5、celery定时任务 6、celery周期任务 1.什么是Celery? Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其 阅读全文

摘要： 问题：Flask支持 makemigration / migrate 吗? 答案：如果你同时拥有两个三方组件 Flask-Script 和 Flask-Migrate 那么就支持这样的动作 首先你要有几个准备工作 项目下载 1.安装 Flask-Migrate pip install Flask-M 阅读全文

摘要： Flask-Script 从字面意思上来看就是 Flask 的脚本 Django的启动命令 python manage.py runserver 其实Flask也可以做到,基于 Flask-Script 就可以了 - 但是你还是得有一个干净的项目 点击下载 1.安装 Flask-Script pip 阅读全文

摘要： 首先要先安装一下Flask-SQLAlchemy这个模块 pip install Flask-SQLAlchemy 然后你要下载一个干净的Flask项目 点击下载 接下来基于这个Flask项目,我们要加入Flask-SQLAlchemy让项目变得生动起来 1.加入Flask-SQLAlchemy第三 阅读全文

摘要： pip3 install sqlalchemy SQLAlchemy 与 Django 的 Models 区别： Models 只是配置和使用比较简单,因为他是Django自带的ORM框架,也正是因为是Django原生的,所以兼容性远远不如SQLAlchemy 真正算得上全面的ORM框架必然是我们的 阅读全文

摘要： K-近邻算法（KNN） 引入 如何进行电影分类 众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问 题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影 阅读全文

摘要： 目录： TuShare简介和环境安装 TuShare的应用 一.TuShare简介和环境安装 TuShare是一个著名的免费、开源的python财经数据接口包。其官网主页为：TuShare -财经数据接口包。该接口包如今提供了大量的金融数据，涵盖了股票、基本面、宏观、新闻等诸多类别数据（具体请自行查 阅读全文

摘要： 目录： 一、Matplotlib基础知识 1. 包含单条曲线的图 2. 包含多个曲线的图 3. 将多个曲线图绘制在一个table区域中：对象形式创建表图 4. 网格线 plt.grid(XXX) 5. 坐标轴界限 6. 坐标轴标签 7. 图例(legend方法) 二、保存图片 三、2D图形 1. 直 阅读全文

摘要： 目录： 一、Pandas的数据结构 （一）Series 1. Series的创建 2. Series的索引和切片 3. Series的基本概念 4. Series的运算 （二）DataFrame 1. DataFrame的创建 2. DataFrame属性：values、columns、index、 阅读全文

摘要： 目录： 一、创建ndarray 二、ndarray的属性 三、ndarray的基本操作 四、ndarray的聚合操作 五、ndarray的排序 数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 数据分析三剑客：Numpy,Pandas,Matplotlib N 阅读全文

摘要： 中国空气质量在线监测平台加密数据爬取 - 中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、AQI 等数据，链接为：https://www.aqistudy.cn/html/city_detail.html,网站显示为： 该网站所有的空气质量数据都是基于 阅读全文

摘要： 引言 Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是不是很方便，另外如果要做大规模部署的话，环境配置的一些问题也是个 阅读全文

摘要： 爬虫中使用异步实现高性能的数据爬取操作。 背景 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N 阅读全文

摘要： 目录： 一、scrapy框架简介 二、环境安装及基本使用 三、scrapy框架持久化存储 四、scrapy框架之递归解析、五大核心组件工作流程、post请求 五、scrapy框架之日志等级、请求传参、提高scrapy工作效率的方法 六、scrapy框架之scrapy下载中间件、UA池、代理池 七、s 阅读全文

摘要： 线程池爬取梨视频 简单示例： #爬取梨视频数据 import requests import re from lxml import etree from multiprocessing.dummy import Pool import random def getVideoData(url): r 阅读全文

摘要： 反爬机制： robots.txt协议 UA检测、referer检测 数据加密 图片懒加载 ip检测 验证码识别 字体反爬虫 可以使用Python的urllib模块查看robots.txt from urllib import robotparser rp = robotparser.RobotFil 阅读全文

摘要： 引入 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 目录： 使用超级鹰打码平台识别验证码 知识点回顾 session的创建方式 session的作用 proxies参数的作用 高匿，透明代理的区别 超级鹰 阅读全文

摘要： 目录： 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- codin 阅读全文

摘要： 引入 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而 阅读全文