随笔分类 - Python
摘要：页面加载闪白 今天遇到一个问题，写了一个使用深色背景图的网页，发现访问/刷新时，会出现短暂的闪白现象。 之前使用浅色背景时没有发现过这个问题，搜索半天也没有找到特别直白有效的回答。 找到的几个答案，有说预加载的，有说降低背景图片的分辨率的，使用js加载背景的。试过之后感觉效果都不理想。 后来又重新观
阅读全文
摘要：工作流程 Django 自带的开发服务器性能太差，用到线上环境不合适。所以线上部署时，我们还要安装 Nginx 和 Gunicorn，工作流程如下： 客户端发来 http 请求，Nginx 作为直接对外的服务器接口，对 http 请求进行分析 如果是静态资源请求，则由Nginx自己处理（效率极高）
阅读全文
摘要：K-NN k-近邻算法（K-Nearest Neighbors）- 机器学习 算法步骤 计算已知类别数据集中的点与当前点之间的距离（KNN算法中使用的是欧式距离） 按照距离递增次序排序； 选取与当前点距离最小的 k 个点； 确定前 k 个点所在类别的出现频率； 返回前 k 个点所出现频率最高的类别作
阅读全文
摘要：归一化与标准化 归一化和标准化本质上都是一种线性变换。线性变换保持线性组合与线性关系式不变，这保证了特定模型不会失效。 归一化 Normalization 归一化一般是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位。 常见的映射范围有 [0, 1] 和 [-1, 1] ，最常见的归一
阅读全文
摘要：什么是TF-IDF算法? **TF-IDF(term frequency–inverse document frequency)**是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。 TF-IDF有两层意思： TF："词频"（T
阅读全文
摘要：导入 from django.shortcuts import render, render_to_response 作用 两者均是用来展示模板页面的。 参数区别 最明显的一个，render的第一个参数是request,后面的参数则和render_to_response相同 区别 由于传入参数的不同
阅读全文
摘要：安装 python3 -m pip install motor 创建客户端 指定主机和端口号 import motor.motor_asyncio client = motor.motor_asyncio.AsyncIOMotorClient('localhost', 27017) 使用用户名和密码
阅读全文
摘要：1. 准备工作 在开始之前，请确保已经安装好了MongoDB并启动了其服务，并且安装好了Python的PyMongo库。 2. 连接MongoDB 连接MongoDB时，我们需要使用PyMongo库里面的MongoClient。一般来说，传入MongoDB的IP及端口即可，其中第一个参数为地址hos
阅读全文
摘要：反爬虫，非标准的json格式解析 今天写爬虫的时候，发现有一些数据都是通过非标准的 json 格式进行传输的，标准的 json 我们可以将其转化为 Python 中的数据类型，进行查询，但对于一些类似于 json 但又非标准 json 格式的字符，就会比较头疼了。 例如下面这样 hxbase_jso
阅读全文
摘要：Scrapy+selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要的数据 异步存储数据到M
阅读全文
摘要：回调函数callback不执行 大概率是被过滤了 两种方法: 在 allowed_domains 中加入目标url 在 scrapy.Request() 函数中将参数 dont_filter=True 设置为 True
阅读全文
摘要："帮助目录" "检查conda版本" "升级当前版本的conda" "创建一个新环境" "激活新环境" "Linux，Mac:" "Windows：" "列出所有的环境" "切换环境(activate/deactivate)" "Linux，OS X:" "Windows：" "从当前工作环境的路径
阅读全文
摘要："re 模块的引入" "re 模块的使用" "re.compile()" "re.match()与re.search()" "re.match" "re.search()" "区别" "re.findall()与re.finditer()" "re.findall()" "re.finditer()
阅读全文
摘要：什么是贪婪模式 正则在进行匹配时,从开始位置查找最远的结束位置,这种模式称之为贪婪模式。 在进行HTML标签类似内容获取时,贪婪模式会导致整个内容的返回,需要使用非贪婪模式。 固定的书写规则 : 这种方式就是非贪婪模式，或者说是惰性模式 Python中默认使用贪婪模式 例子
阅读全文
摘要：什么是协程 协程的优势 Python3中的协程 生成器 yield/send yield + send（利用生成器实现协程） 协程的四个状态 协程终止 @asyncio.coroutine和yield from asyncio.coroutione yield from 为什么要用yield fro
阅读全文
摘要：可迭代对象（Iterable） 迭代器（Iterator） 定义 迭代器和可迭代对象的区别 创建一个迭代器 创建一个迭代器类 使用内置iter()函数 StopIteration异常 生成器（generator） 定义 Python有两种不同的方式提供生成器 生成器函数： 生成器表达式： 特点 语法
阅读全文
摘要：Python3 多进程编程(Multiprocess programming) 为什么使用多进程 具体用法 Python多线程的通信 进程对列Queue 生产者消费者问题 JoinableQueue Queue实例 管道Pipe Python3 多进程编程(Multiprocess programm
阅读全文
摘要：线程 什么是线程 特点 线程与进程的关系 Python3中的多线程 全局解释器锁（GIL） GIL是啥？ GIL对Python程序有啥影响？ 改善GIL产生的问题 Python3关于多线程的模块 多线程使用 共享变量 线程 什么是线程 官方定义： 线程（thread）是操作系统能够进行运算调度的最小
阅读全文
浙公网安备 33010602011771号