思念殇千寻

摘要： 参考资料： https://zhuanlan.zhihu.com/p/425630076 写的非常明白，直接替换网址url就行。 阅读全文

摘要： 参考资料： https://docs.conda.io/projects/conda-build/en/stable/resources/compiler-tools.html 随着不断地发展，Anaconda/miniconda早已不是一个单纯For Python的包管理器了，它已经提供了支持跨平 阅读全文

摘要： 参考资料： 正则表达式语法 众所周知，在人工智能领域经常会有权重继承的需求。因为继承一个好的预训练模型的权重，能够极大程度地加快模型的收敛速度。很多时候，能否很好地继承（魔改）已有的预训练好的模型，直接决定了最终模型的效果。然而，这一过程并不是一目了然、有手就行的，如果你想大改、自己实现一个算法框架 阅读全文

摘要： 参考资料： https://segmentfault.com/q/1010000043269162 （翻译而来非原贴） 简单来说setattr和getattr只支持对对象的直接属性进行复制，如果是嵌套的多层属性就需要递归地改变每一层的attr，这个过程我理解实际上等价于直接用小数点连接的赋值，但是因 阅读全文

摘要： 参考资料： https://github.com/pytorch/pytorch/issues/73515 https://www.cnblogs.com/X1OO/articles/18171700 由于业务原因，需要在Pytorch代码中使用分布式通讯来把计算负载平均到多张显卡上。在无数次确认我 阅读全文

摘要： 参考资料： [Pytorch-lightning的setup.py文件] [知乎上的打包文章] 为什么我要写这个随笔呢？因为我想修改pytorch-lightning的源码并对其进行魔改，然后在公司的分布式训练集群上进行训练。 具体的工作流如下： 1. 开发机上git clone pytorch-l 阅读全文

摘要： 参考资料： GPT的回答 简而言之就是GROUP BY会减少行数，将多行归并到一起，等待使用聚合函数来处理。没有在GROUP BY后面紧跟的键都必须使用聚合函数处理才能得到最终的结果。 而PARTITION BY则仅仅起到了一个划分的作用，它会根据“某个值相同”把数据在行的维度划分成不同的块。结合O 阅读全文

摘要： 参考资料： 自己Debug 不知道是因为开发机之前重装过系统还是什么原因，使用ipykernel这个包，安装虚拟环境的时候报了这个错：ImportError: /lib64/libc.so.6: version `GLIBC_2.25' not found。网上差了一堆资料一头雾水，但是我这边报错的 阅读全文

摘要： 参考资料： https://github.com/dmlc/decord 由于最近部门业务调整，让我过去做视频相关的研究了。这篇随笔是为了辨析一下在深度学习的语境下如何规范地去读取视频，如果不注意的话还是容易踩坑的。 首先，我们需要用到decord这个软件，使用pip就可以直接安装，链接在参考资料中 阅读全文

摘要： 参考资料： https://github.com/Lightning-AI/pytorch-lightning/issues/11902 最主要的参数是devices和num_nodes。 其中devices如果输入一个正整数的话，表示使用多少张卡来训练。如果输入的是一个列表，则和从零开始的devi 阅读全文

摘要： 参考资料： https://github.com/jupyter-server/jupyter_server/issues/1338 今天在使用自己部署的jupyterlab删除文件的时候出现了一个奇怪的报错：send2trash failed: [Errno 13] Permission deni 阅读全文

摘要： 参考资料： GPT的回答 错误处理是每一个编程语言中都必不可少的一部分，而在Python中使用的语言规范正是try except代码块。别看使用上非常简单，能够规范的用上它，并且很好地处理错误、抛出错误也不是一件容易的事情。下面简单讲解一下python种try except的使用规范： 1. 什么时 阅读全文

摘要： 参考资料： GPT的回答 自己的实验结果 之前自己在用Pytorch跑模型训练的时候产生了如下一系列问题：1）Pytorch使用的cuda显存什么时候释放 2）什么时候会导致显存堆积 3）如何监控显存的使用。经过查找资料后找到了这些问题的答案，现在记录在此： 1. Pytorch使用的cuda显存什 阅读全文

摘要： 参考资料： GPT的回答 在 Python 中，函数的变量解析遵循特定的顺序，通常称为 "LEGB" 规则。LEGB 分别代表四个作用域： Local (本地): 函数内部定义的变量。 Enclosing (闭包): 嵌套函数中外层函数的变量。 Global (全局): 模块（文件）级别定义的变量。 阅读全文

摘要： 参考资料： torchvision文档 众所周知OpenCV/CV2和PIL是Python领域最常使用的图像处理库，而Pytorch Tensor则是我们在深度学习领域接触最多的张量数据结构，知道这几种格式之间的相互转化方式是非常有必要的。三类，一共6种相互转化的链路，下面一一道来： 1. Open 阅读全文

摘要： 参考资料： GPT-4o mini的回答 第一种方法是使用md5sum这个命令（Linux上），但是由于环境的不同，哪怕是load之后转存似乎都会有差，所以效果不大。 第二种方法是使用代码比较，这段代码是我找GPT要的，感觉非常不错。 from safetensors.torch import lo 阅读全文

摘要： 参考资料： Diffusers中DiffusionPipeline基类的[源码] 众所周知Pipeline是Diffusers中最重要的一个API接口，一直以来我都对这个接口数据结构的获取一知半解，今天看了下源码终于知道了这个API结构的数据类型是如何设置的。直接看代码： @property def 阅读全文

摘要： 参考资料： https://github.com/AUTOMATIC1111/stable-diffusion-webui https://razeen.me/posts/the-ultimate-programmers-guide-to-bash-scripting/ 众所周知.sh文件是Linu 阅读全文

摘要： 参考资料： https://stackoverflow.com/questions/47092247/how-to-setup-working-directory-in-vs-code-for-pylint 参考资料给出了一个行之有效的方法，就是在当前的根目录下新建一个.env文件，然后加上这段话： 阅读全文

摘要： 参考资料： [实现本地镜像的导入、导出] 我们知道docker高手制作docker镜像都是通过Dockfile去“编译”一个镜像的，但是由于种花家的网络状况，使用Dockerfile很难一步把docker里的环境给一步配好，所以更多的时候我会选择以一个base镜像为基础，装好环境后导出。就我的理解这 阅读全文