随笔分类 -  深度学习

批标准化BN和层标准化LN
摘要：BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分 阅读全文
posted @ 2020-08-28 16:48 littlepai 阅读(923) 评论(0) 推荐(0)
faiss 没有提供余弦距离怎么办
摘要：参考：https://zhuanlan.zhihu.com/p/40236865 faiss是Facebook开源的用于快速计算海量向量距离的库，但是没有提供余弦距离，而余弦距离的使用率还是很高的，那怎么解决呢 答案说在前面 knowledge_embedding = np.random.rando 阅读全文
posted @ 2019-12-31 12:47 littlepai 阅读(3957) 评论(0) 推荐(0)
深度学习与爬虫实例教学--深度学习模型构建和训练
摘要：敲黑板，敲黑板，知乎验证码除了上面的实体，还有艺术字体的空心字体,空心字体要不要也模仿呢，不用，为啥啊，因为我们只是需要一个“别的类似的场景训练好的模型”，不需要包括那么全，只需要在迁移学习的时候少量包含空心字体的训练样本进行迁移学习就可以了，这也是迁移学习的强大体现 阅读全文
posted @ 2018-02-24 16:31 littlepai 阅读(3904) 评论(2) 推荐(2)
深度学习与爬虫实例教学--项目基本介绍和体验
摘要：对于没有足够已标记验证码的情况下，你可以想到GANs，迁移学习，甚至是打通内部工作人员给你足够的已标记验证码或者规则...，这里，我们就迁移学习来解决这个问题 　　对于爬虫对抗验证码，我们只要拥有上面验证码识别的深度学习模型就可以了，而其他反爬虫对抗手段，我们在扩展部分结合scrapy进行实战演练 阅读全文
posted @ 2018-02-23 16:41 littlepai 阅读(2787) 评论(0) 推荐(1)
最小二乘法-公式推导
摘要：基本思想 求出这样一些未知参数使得样本点和拟合线的总误差（距离）最小 最直观的感受如下图（图引用自知乎某作者） 而这个误差（距离）可以直接相减，但是直接相减会有正有负，相互抵消了，所以就用差的平方 推导过程 1 写出拟合方程 $y = a+bx$ 2 现有样本$(x_1, y_1),(x_2, y_ 阅读全文
posted @ 2017-11-16 16:11 littlepai 阅读(51713) 评论(3) 推荐(6)
极大似然估计（MLE)
摘要：基本思想 模型已定，参数未知 根据已存在的样本，挑选（求出）能让样本以最大概率发生的参数 极大似然估计和最小二乘法最大区别之一 极大似然需要知道概率密度函数（离散型叫分布律） 若总体X属离散型，其分布律的形式是已知，为待估参数，是的取值范围 是来自的样本，的样本值为，则的联合分布律为： 似然函数就是 阅读全文
posted @ 2017-11-15 16:31 littlepai 阅读(1050) 评论(0) 推荐(0)