随笔分类 - Python
摘要：使用 python matplotlib 将 LaTex 公式转为 svg，从而方便插入无法打出所需公式的ppt中。 import matplotlib.pyplot as plt plt.rcParams['text.usetex'] = True plt.rcParams['text.latex
阅读全文
摘要：在python的多继承中，父类的初始化顺序遵循所谓方法解析顺序（Method Resolution Order，MRO）的机制。python使用C3线性化算法来确定多继承类的MRO： 1. 目标：创建一个一致的线性继承顺序，同时保持父类的相对顺序和子类优先原则。 2. 子类优先：子类总是在其父类之前
阅读全文
摘要：以下 import filecmp, os def compare_folders(folder1, folder2): dcmp = filecmp.dircmp(folder1, folder2) for name in dcmp.left_only: print(f"{folder1}单独存在
阅读全文
摘要：python模块可以相对导入和绝对导入，但这两者是不能随意替换使用的。本文主要讨论工作目录下模块之间的导入规则。其中相对导入前面有一个'.'，表示从该脚本所在目录开始索引，而绝对导入前面没有'.'，表示从根目录开始索引。首先明确一点，python认为的根目录为当前运行的脚本所在的目录，而不是vsco
阅读全文
摘要：Transformers是著名的深度学习预训练模型集成库，包含NLP模型最多，CV等其他领域也有，支持预训练模型的快速使用和魔改，并且模型可以快速在不同的深度学习框架间（Pytorch/Tensorflow/Jax）无缝转移。以下记录基于HuggingFace官网教程：https://github.
阅读全文
摘要：Docker方便一键构建项目所需的运行环境：首先构建镜像（Image）。然后镜像实例化成为容器（Container），构成项目的运行环境。最后Vscode连接容器，方便我们在本地进行开发。下面以一个简单的例子介绍在win10中实现：Docker安装、构建镜像、创建容器、Vscode连接使用。 Doc
阅读全文
摘要：github上的项目总喜欢使用argparse + bash来运行，这对于快速运行一个项目来说可能有好处，但在debug的时候是很难受的。因为我们需要在.sh文件中修改传入参数，并且不能使用jupyter。 以下是把parser转换成显式class命名空间的一个代码示例： #%% import ar
阅读全文
摘要：
参考自《数据挖掘概念与技术》。 对于有$m$个特征，$n$个样本的数据，平行坐标可视化图中，横轴均匀列出$m$个特征，每个特征生成一个纵轴，其中每个样本就表示为穿越这些纵轴的折线。实现代码如下： import numpy as np import matplotlib.pyplot as plt d
阅读全文
参考自《数据挖掘概念与技术》。 对于有$m$个特征，$n$个样本的数据，平行坐标可视化图中，横轴均匀列出$m$个特征，每个特征生成一个纵轴，其中每个样本就表示为穿越这些纵轴的折线。实现代码如下： import numpy as np import matplotlib.pyplot as plt d
阅读全文
摘要：
$\Gamma$函数 $\Gamma$函数（Gamma函数）是阶乘函数在实数和复数域的扩展。对于正整数$n$，阶乘函数表示为$n! = 1 \times 2 \times ... \times n$。然而，这个定义仅适用于正整数。Gamma函数的目的是将阶乘扩展到实数和复数域，从而计算实数和复数的“
阅读全文
$\Gamma$函数 $\Gamma$函数（Gamma函数）是阶乘函数在实数和复数域的扩展。对于正整数$n$，阶乘函数表示为$n! = 1 \times 2 \times ... \times n$。然而，这个定义仅适用于正整数。Gamma函数的目的是将阶乘扩展到实数和复数域，从而计算实数和复数的“
阅读全文
摘要：
孤立森林（Isolation Forest）是经典的异常检测算法（论文网址）。本文用python对其进行实现，以及与常用的异常检测包PyOD进行效果对比。 简单来说，孤立森林（IForest）中包含若干孤立树（ITree），每颗树的创建是独立的，与其它树无关。假设数据集包含$n$个样本，每个样本都包
阅读全文
孤立森林（Isolation Forest）是经典的异常检测算法（论文网址）。本文用python对其进行实现，以及与常用的异常检测包PyOD进行效果对比。 简单来说，孤立森林（IForest）中包含若干孤立树（ITree），每颗树的创建是独立的，与其它树无关。假设数据集包含$n$个样本，每个样本都包
阅读全文
摘要：深度学习中，当一块GPU不够用时，我们就需要使用多卡进行并行训练。其中多卡并行可分为数据并行和模型并行。具体区别如下图所示： 由于模型并行比较少用，这里只对数据并行进行记录。对于pytorch，有两种方式可以进行数据并行：数据并行（DataParallel, DP）和分布式数据并行（Distribu
阅读全文
摘要：NLTK和SpaCy是NLP的Python应用，提供了一些现成的处理工具和数据接口。下面介绍它们的一些常用功能和特性，便于对NLP研究的组成形式有一个基本的了解。 NLTK Natural Language Toolkit (NLTK) 由宾夕法尼亚大学开发，提供了超过50种语料库，以及一些常用的文
阅读全文
摘要：Pyecharts是百度开源的移植到Python上的可视化工具，里面方法调用起来像是标记性语言，因此代码的可读性很强，一目了然。下面是一个绘制散点图的例子： #%% import pyecharts.options as opts from pyecharts.charts import Scatt
阅读全文
摘要：PIL全称Python Image Library，是python官方的图像处理库，包含各种图像处理模块。Pillow是PIL的一个派生分支，包含与PIL相同的功能，并且更灵活。python3.0之后，PIL不再更新，pillow代替了它原有的地位。Pillow的官方文档： https://pill
阅读全文
摘要：在炼丹时，数据的读取与预处理是关键一步。不同的模型所需要的数据以及预处理方式各不相同，如果每个轮子都我们自己写的话，是很浪费时间和精力的。Pytorch帮我们实现了方便的数据读取与预处理方法，下面记录两个DEMO，便于加快以后的代码效率。 根据数据是否一次性读取完，将DEMO分为： 1、串行式读取。
阅读全文
摘要：在命令行中运行python代码是很常见的，下面介绍如何定义命令后面跟的参数。 常规用法 Python代码中主要使用下面几行代码来定义并获取需要在命令行中赋值的参数： import argparse parser = argparse.ArgumentParser("Description.") #
阅读全文
摘要：训练视觉相关的神经网络模型时，总是要用到图像的读写。方法有很多，比如matplotlib、cv2、PIL等。下面比较几种读写方式，旨在选出一个最快的方式，提升训练速度。 实验标准 因为训练使用的框架是Pytorch，因此读取的实验标准如下： 1、读取分辨率都为1920x1080的5张图片（png格式
阅读全文
摘要：pydotplus是别的语言嫁接到python里面的，所以绘制要传入字符串形式表示的结构，而没有python的结构对象直接用来画。代码如下： import pydotplus as pdp graph = pdp.graph_from_dot_data('digraph demo1{ a -> b
阅读全文
摘要：Python 中矩阵运算主要使用numpy库。NumPy的主要对象是同种元素的多维数组。这是一个所有的元素都是一种类型、通过一个正整数索引的元素表格(通常是元素是数字）。因此对于随机查找来说，比python自带的list快很多。 在numpy里面通常使用两个变量：array和matrix。其实pyt
阅读全文
摘要：python绘图库有很多，底层的就是matplotlib，另外还有基于matplotlib的更方便，代码可读性更强的库，比如seaborn、plotnine等。各个库之间的对比： https://www.zhihu.com/question/39684179 matplotlib 在python下一
阅读全文
浙公网安备 33010602011771号