摘要: Highway Networks 论文地址: "arXiv:1505.00387" "cs.LG] (ICML 2015),全文:Training Very Deep Networks( [arXiv:1507.06228" ) 基于梯度下降的算法在网络层数增加时训练越来越困难(并非是梯度消失的问题 阅读全文
posted @ 2018-03-22 09:25 康行天下 阅读(10012) 评论(4) 推荐(5) 编辑
摘要: 在多人协作的情况下,master通常是稳定的分支.可以再建一些"develop","testing"等名称的分支.主管master的人做开发的话最好也建立自己的分支. 命令操作 列出当前已经checkout出来的分支,当前分支前边用星号表示. 列出所有本地和远程的分支 开始一项功能的开发工作时,基于 阅读全文
posted @ 2018-03-19 15:06 康行天下 阅读(1336) 评论(0) 推荐(0) 编辑
摘要: 为了方便各个子模块独立开发,或使用第三方不断更新的仓库,可以使用子模块来引用. 子模块对应的源码是子模块仓库的克隆. git submodule 与 subtree对比 1. git submodule 允许其他的仓库指定以一个commit嵌入仓库的子目录 仓库 clone下来需要 init 和 u 阅读全文
posted @ 2018-03-18 23:44 康行天下 阅读(712) 评论(2) 推荐(0) 编辑
摘要: 逻辑回归从线性回归引申而来,对回归的结果进行 logistic 函数运算,将范围限制在[0,1]区间,并更改损失函数为二值交叉熵损失,使其可用于2分类问题(通过得到的概率值与阈值比较进行分类)。逻辑回归要求输入的标签数据是01分布(伯努利分布),而线性回归则是对任意连续值的回归。出世:由统计学家 D 阅读全文
posted @ 2018-03-16 23:29 康行天下 阅读(3895) 评论(0) 推荐(1) 编辑
摘要: R2CNN 论文Rotational Region CNN for Orientation Robust Scene Text Detection与RRPN(Arbitrary Oriented Scene Text Detection via Rotation Proposals)均提出了检测出任 阅读全文
posted @ 2018-03-16 11:45 康行天下 阅读(1179) 评论(0) 推荐(0) 编辑
摘要: Rotation Proposals 论文Arbitrary Oriented Scene Text Detection via Rotation Proposals 这篇论文提出了一个基于Faster R CNN的支持任意角度旋转的场景文字检测框架.在Fast R CNN的部分与论文Rotated 阅读全文
posted @ 2018-03-15 20:29 康行天下 阅读(2089) 评论(0) 推荐(1) 编辑
摘要: R CNN系列均训练了Bounding box回归器来对窗口进行校正,其目标是学习一种转换关系将预测得到的窗口P映射为真实窗口G(Ground truth). 变换方式 可以通过简单的仿射变换以及指数变换将当前预测出的Bounding box P向Ground truth纠正: $$ \begin{ 阅读全文
posted @ 2018-03-15 11:49 康行天下 阅读(1759) 评论(0) 推荐(0) 编辑
摘要: Deformable ConvNets 论文 Deformable Convolutional Networks(arXiv:1703.06211) CNN受限于空间结构,具有较差的旋转不变性,较弱的平移不变性.这篇论文提出了两个可替换原有组件的模块:可变形卷积和RoI pooling.均基于增加空 阅读全文
posted @ 2018-03-14 15:33 康行天下 阅读(897) 评论(0) 推荐(0) 编辑
摘要: Visual DL是由 PaddlePaddle 和 ECharts 合作推出的一款深度学习可视化工具,其能够可视化scalar、参数分布、模型结构、图像等。底层采用C编写,上层SDK以python为主,也可以使用C集成到其它平台。 如果你正在寻求深度学习任务设计的可视化工具,可以考虑Visual 阅读全文
posted @ 2018-01-25 16:46 康行天下 阅读(1339) 评论(2) 推荐(0) 编辑
摘要: 一些caffe错误 训练时很快梯度爆炸,loss猛增至nan 如果找不到数据上的原因的话,可以怀疑caffe框架有问题,换用其它版本试试。比如我遇到的问题是在训练时使用了Accuracy层,而该层的实现代码在某次更新中GPU代码存在bug,复用了其它层的变量导致对loss的计算产生了影响。训练时去掉 阅读全文
posted @ 2018-01-10 11:00 康行天下 阅读(979) 评论(0) 推荐(0) 编辑
摘要: "User Mode Linux" 是可以在用户态启动的 Linux版本,最新版linux内核已提供了支持。这使我们能在类似 OpenVZ 虚拟化技术的系统上,使用最新的 Linux 内核;并且可以在非 root 用户下启动。 用途 调试内核模块,网络实验,体验最新功能。。。 工具代码准备 安装内核 阅读全文
posted @ 2017-12-31 17:31 康行天下 阅读(1693) 评论(0) 推荐(0) 编辑
摘要: SpaceNet 数据集 "SpaceNet" 是DigitalGlobe商业卫星公司提供的遥感图像集合,包含一些标记信息可用作机器学习研究. SpaceNet Challenge主页: https://spacenetchallenge.github.io/ 数据集下载命令: https://gi 阅读全文
posted @ 2017-12-29 16:58 康行天下 阅读(6584) 评论(0) 推荐(0) 编辑
摘要: Java调用Python的一种简单、灵活地方式。 阅读全文
posted @ 2017-12-26 14:59 康行天下 阅读(752) 评论(0) 推荐(0) 编辑
摘要: Caffe在1.0版本仅支持两种信号的处理: 1) SIGHUP 2) SIGINT SIGHUP:caffe接收到此信号后进行snapshot,并不会中断caffe的训练. SIGINT:caffe接收到此信号后进行snapshot,并退出. 参考 "issue 2012" 对这个问题的讨论.在 阅读全文
posted @ 2017-11-30 14:20 康行天下 阅读(856) 评论(0) 推荐(0) 编辑
摘要: 参数正则化方法 Dropout 受人类繁衍后代时男女各一半基因进行组合产生下一代的启发,论文( "Dropout: A Simple Way to Prevent Neural Networks from Overfitting" )提出了Dropout。 Dropout是一种在深度学习环境中应用的 阅读全文
posted @ 2017-10-30 22:28 康行天下 阅读(33545) 评论(2) 推荐(1) 编辑
摘要: 本文介绍两种方便获取主机动态IP的方式(DDNS,IP报告网页),并给出相应的代码实现. shell脚本获取本机IP,执行上传操作和更新DNS操作.定期执行通过crontab或者systemd等服务. 应用场景 远程访问具有动态IP的公网或内网主机时,如果通过ip进行访问,由于公网IP总是在变化,我 阅读全文
posted @ 2017-10-13 22:56 康行天下 阅读(4719) 评论(1) 推荐(0) 编辑
摘要: 线性回归 用$X=(x_1, x_2, ...,x_n)T \in \mathbb{R}{n\times p}$表示数据,用$y=(y_1, y_2, ...,y_n)T \in \mathbb{R}{n}$表示标签。对于一个样本$x_i$,它的输出值是其特征的线性组合: \[ \begin{equ 阅读全文
posted @ 2017-10-12 11:12 康行天下 阅读(1075) 评论(0) 推荐(0) 编辑
摘要: Network In Network 论文 "Network In Network" (Min Lin, ICLR2014). 传统CNN使用的线性滤波器是一种广义线性模型(Generalized linear model,GLM)。所以用CNN进行特征提取时,其实就隐含地假设了特征是线性可分的,可 阅读全文
posted @ 2017-10-11 10:44 康行天下 阅读(10299) 评论(0) 推荐(1) 编辑
摘要: pooling 是仿照人的视觉系统进行降维(降采样),用更高层的抽象表示图像特征,这一部分内容从Hubel&wiesel视觉神经研究到Fukushima提出,再到LeCun的LeNet5首次采用并使用BP进行求解,是一条线上的内容,原始推动力其实就是仿生,仿照真正的神经网络构建人工网络。 至于poo 阅读全文
posted @ 2017-09-27 23:38 康行天下 阅读(14349) 评论(0) 推荐(2) 编辑
摘要: Batch Normalization Ioffe 和 C. Szegedy 在2015年《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》论文中提出此方法来减缓 阅读全文
posted @ 2017-09-22 19:55 康行天下 阅读(17350) 评论(11) 推荐(0) 编辑