摘要:泰勒展开[^story] 在实际应用中对于具有复杂形式的函数我们常常希望用较为简单的函数形式表示他,而多项式就是这种简单的形式。比如对于指数函数、三角函数,我们可以使用多项式来逼近。 为了逼近(或者说是仿造)目标函数曲线f(x),首先选择一个切入点(x0,f(f0)),然后让此处的增减性相同,即一阶 阅读全文
posted @ 2019-08-27 10:05 康行天下 阅读 (39) 评论 (0) 编辑
摘要:排序模型LTR(L2R,learning to rank) Pointwise:对排序列表中的每一项,直接学习一个值,比如可以是预估点击率(Predict CTR,pCTR),然后按照预估值从大到小排序即可。常见模型有LR、FFM、GBDT、XGBoost。GBDT是LTR中应用较多的非线性模型。A 阅读全文
posted @ 2019-06-16 15:29 康行天下 阅读 (613) 评论 (0) 编辑
摘要:特征组合 人工方式的特征工程,通常有两个问题: 特征爆炸 大量重要的特征组合都隐藏在数据中,无法被专家识别和设计 针对上述两个问题,广度模型和深度模型提供了不同的解决思路。 1. 广度模型包括FM/FFM等大规模低秩(Low Rank)模型,FM/FFM通过对特征的低秩展开,为每个特征构建隐式向量, 阅读全文
posted @ 2019-05-30 11:47 康行天下 阅读 (181) 评论 (0) 编辑
摘要:偏差方差分解 (误差分解) 先引入一个问题: Machine Learning 与 Curve Fitting 的区别是什么?[^curv fit] Curve Fitting 是使用所有的数据拟合一条曲线; 而 Machine Learning 是采用真实世界中采样的一小部分数据,并且我们希望我们 阅读全文
posted @ 2018-07-22 22:08 康行天下 阅读 (2621) 评论 (2) 编辑
摘要:本文介绍Softmax运算、Softmax损失函数及其反向传播梯度计算, 内容上承接前两篇博文 "损失函数" & "手推反向传播公式" 。 Softmax 梯度 设有K类, 那么期望标签y形如$[0,0,...0,1,0...0]^T$的one hot的形式. softmax层的输出为$[a_1,a 阅读全文
posted @ 2018-07-22 16:54 康行天下 阅读 (2220) 评论 (0) 编辑
摘要:Mask R CNN 论文Mask R CNN(ICCV 2017, Kaiming He,Georgia Gkioxari,Piotr Dollár,Ross Girshick, arXiv:1703.06870) 这篇论文提出了一个概念简单,灵活,通用的目标实例分割框架,能够同时检测目标并进行实 阅读全文
posted @ 2018-06-11 11:10 康行天下 阅读 (861) 评论 (0) 编辑
摘要:R FCN 原理 R FCN作者指出在图片分类网络中具有平移不变性(translation invariance),而目标在图片中的位置也并不影响分类结果;但是检测网络对目标的位置比较敏感.因此Faster R CNN将ROI的特征提取操作放在了最后分类网络中间(靠后的位置)打破分类网络的平移不变性 阅读全文
posted @ 2018-05-22 17:44 康行天下 阅读 (1095) 评论 (0) 编辑
摘要:过滤器(卷积核) 传统的图像过滤器算子有以下几种: blur kernel:减少相邻像素的差异,使图像变平滑。 sobel :显示相邻元素在特定方向上的差异。 sharpen :强化相邻像素的差异,使图片看起来更生动。 outline :也称为edge kernel,相邻像素相似亮度的像素点设成黑, 阅读全文
posted @ 2018-05-02 23:55 康行天下 阅读 (2830) 评论 (0) 编辑
摘要:本文逐步介绍YOLO v1~v3的设计历程。 YOLOv1基本思想 YOLO将输入图像分成SxS个格子,若某个物体 Ground truth 的中心位置的坐标落入到某个格子,那么这个格子就负责检测出这个物体。 每个格子预测B个bounding box及其置信度(confidence score),以 阅读全文
posted @ 2018-03-24 18:19 康行天下 阅读 (123357) 评论 (28) 编辑
摘要:生成对抗网络(Generative Adversarial Networks,GANs),由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年,GANs热潮席卷AI领域顶级会议,从ICLR到NIPS,大量高质量论文被发表和探讨。Yann LeCun曾评价GANs是 阅读全文
posted @ 2018-03-23 11:30 康行天下 阅读 (1389) 评论 (0) 编辑
摘要:Highway Networks 论文地址: "arXiv:1505.00387" "cs.LG] (ICML 2015),全文:Training Very Deep Networks( [arXiv:1507.06228" ) 基于梯度下降的算法在网络层数增加时训练越来越困难(并非是梯度消失的问题 阅读全文
posted @ 2018-03-22 09:25 康行天下 阅读 (6058) 评论 (4) 编辑
摘要:在多人协作的情况下,master通常是稳定的分支.可以再建一些"develop","testing"等名称的分支.主管master的人做开发的话最好也建立自己的分支. 命令操作 列出当前已经checkout出来的分支,当前分支前边用星号表示. 列出所有本地和远程的分支 开始一项功能的开发工作时,基于 阅读全文
posted @ 2018-03-19 15:06 康行天下 阅读 (185) 评论 (0) 编辑
摘要:为了方便各个子模块独立开发,或使用第三方不断更新的仓库,可以使用子模块来引用. 子模块对应的源码是子模块仓库的克隆. git submodule 与 subtree对比 1. git submodule 允许其他的仓库指定以一个commit嵌入仓库的子目录 仓库 clone下来需要 init 和 u 阅读全文
posted @ 2018-03-18 23:44 康行天下 阅读 (207) 评论 (2) 编辑
摘要:逻辑回归从线性回归引申而来,对回归的结果进行 logistic 函数运算,将范围限制在[0,1]区间,并更改损失函数为二值交叉熵损失,使其可用于2分类问题(通过得到的概率值与阈值比较进行分类)。逻辑回归要求输入的标签数据是01分布(伯努利分布),而线性回归则是对任意连续值的回归。出世:由统计学家 D 阅读全文
posted @ 2018-03-16 23:29 康行天下 阅读 (741) 评论 (0) 编辑
摘要:R2CNN 论文Rotational Region CNN for Orientation Robust Scene Text Detection与RRPN(Arbitrary Oriented Scene Text Detection via Rotation Proposals)均提出了检测出任 阅读全文
posted @ 2018-03-16 11:45 康行天下 阅读 (566) 评论 (0) 编辑
摘要:Rotation Proposals 论文Arbitrary Oriented Scene Text Detection via Rotation Proposals 这篇论文提出了一个基于Faster R CNN的支持任意角度旋转的场景文字检测框架.在Fast R CNN的部分与论文Rotated 阅读全文
posted @ 2018-03-15 20:29 康行天下 阅读 (1012) 评论 (0) 编辑
摘要:R CNN系列均训练了Bounding box回归器来对窗口进行校正,其目标是学习一种转换关系将预测得到的窗口P映射为真实窗口G(Ground truth). 变换方式 可以通过简单的仿射变换以及指数变换将当前预测出的Bounding box P向Ground truth纠正: $$ \begin{ 阅读全文
posted @ 2018-03-15 11:49 康行天下 阅读 (629) 评论 (0) 编辑
摘要:Deformable ConvNets 论文 Deformable Convolutional Networks(arXiv:1703.06211) CNN受限于空间结构,具有较差的旋转不变性,较弱的平移不变性.这篇论文提出了两个可替换原有组件的模块:可变形卷积和RoI pooling.均基于增加空 阅读全文
posted @ 2018-03-14 15:33 康行天下 阅读 (301) 评论 (0) 编辑
摘要:"Visual DL" 是由 "PaddlePaddle" 和 "ECharts" 合作推出的一款深度学习可视化工具,其能够可视化scalar、参数分布、模型结构、图像等。底层采用C++编写,上层SDK以python为主,也可以使用C++集成到其它平台。 如果你正在寻求深度学习任务设计的可视化工具, 阅读全文
posted @ 2018-01-25 16:46 康行天下 阅读 (701) 评论 (2) 编辑
摘要:一些caffe错误 1. 训练时很快梯度爆炸,loss猛增至nan 如果找不到数据上的原因的话,可以怀疑caffe框架有问题,换用其它版本试试。比如我遇到的问题是在训练时使用了Accuracy层,而该层的实现代码在某次更新中GPU代码存在bug,复用了其它层的变量导致对loss的计算产生了影响。训练 阅读全文
posted @ 2018-01-10 11:00 康行天下 阅读 (399) 评论 (0) 编辑