2018年12月11日

数据归一化(标准化)

摘要: 数据归一化 数据预处理中,标准的第一步是数据归一化。虽然这里有一系列可行的方法,但是这一步通常是根据数据的具体情况而明确选择的。特征归一化常用的方法包含如下几种: min-max标准化 逐样本均值消减(也称为移除直流分量) Z-score 标准化(使数据集中所有特征都具有零均值和单位方差) Z-sc 阅读全文

posted @ 2018-12-11 17:25 那抹阳光1994 阅读(1101) 评论(0) 推荐(0)

python concurrent.futures 实现并行计算

摘要: python因为其全局解释器锁GIL而无法通过线程实现真正的并行计算。这个论断我们不展开,但是有个概念我们要说明,IO密集型 vs. 计算密集型。 IO密集型:读取文件,读取网络套接字频繁。 计算密集型:大量消耗CPU的数学与逻辑运算,也就是我们这里说的并行计算。 而concurrent.futur 阅读全文

posted @ 2018-12-11 15:26 那抹阳光1994 阅读(729) 评论(0) 推荐(0)

python全局解释器锁(GIL)

摘要: 什么是全局解释器锁GIL 首先需要明确的一点是GIL并不是Python的特性,它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言(语法)标准,但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC,INTEL C++,Visual C++等。Pytho 阅读全文

posted @ 2018-12-11 11:22 那抹阳光1994 阅读(553) 评论(0) 推荐(0)

残差的正态性检验——概率图和QQ-plot图

摘要: 数据的正态性检验 检查数据是否满足正态分布,一个很直观的方法是考察数据的正态概率图和QQ图。在MATLAB中可以很容易实现。 正态概率图(normal probability plot) 用于检查一组数据是否服从正态分布。是实数与正态分布数据之间函数关系的散点图。如果这组实数服从正态分布,正态概率图 阅读全文

posted @ 2018-12-11 09:55 那抹阳光1994 阅读(40418) 评论(0) 推荐(2)

2018年12月10日

https://oldpan.me/深度学习博客

摘要: https://oldpan.me/ 阅读全文

posted @ 2018-12-10 20:46 那抹阳光1994 阅读(171) 评论(0) 推荐(0)

深度学习的内存消耗在哪里?

摘要: 参考博客: 如何计算模型以及中间变量的显存占用大小: https://oldpan.me/archives/how-to-calculate-gpu-memory 如何在Pytorch中精细化利用显存 https://oldpan.me/archives/how-to-use-memory-pyto 阅读全文

posted @ 2018-12-10 20:45 那抹阳光1994 阅读(754) 评论(0) 推荐(0)

图片缩放

摘要: Python 中使用PIL中的resize 进行缩放 二维卷积网络内存占用真的大,将图片缩小。。。 缩小后信息会丢失吧。。。 加入抗锯齿选项Image.ANTIALIAS 阅读全文

posted @ 2018-12-10 17:00 那抹阳光1994 阅读(183) 评论(0) 推荐(0)

2018年12月8日

随机梯度下降批尺寸的影响

摘要: 随机梯度下降批尺寸有什么影响呢??? 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大,内存不够。但盲目减少会导致无法收敛,batch_size=1时为在线学习, 也是标准的SGD,这样学习,如果数据量不大,noise数据存在时,模型容易被noise带偏,如果数据量足够大,no 阅读全文

posted @ 2018-12-08 20:24 那抹阳光1994 阅读(392) 评论(0) 推荐(0)

2018年12月7日

利用PIL.ImageOps.invert实现二值图像黑白反转

摘要: 利用PIL.ImageOps.invert实现二值图像黑白反转 import PIL.ImageOps from PIL import Image img = Image.open('D:\\Desktop\\计算机视觉\\image\\0.png') img = img.convert('1') 阅读全文

posted @ 2018-12-07 16:08 那抹阳光1994 阅读(1789) 评论(1) 推荐(0)

内存单位换算

摘要: 1 byte (B 字节) = 8 bits (b 比特位,0或1) 1 KB = 1024 (2^10) byte 1MB = 1024 KB 1GB = 1024 MB 1TB = 1024 GB 阅读全文

posted @ 2018-12-07 15:27 那抹阳光1994 阅读(3508) 评论(0) 推荐(0)

导航