摘要：
快来关注！入股不亏！ 阅读全文
摘要：
主成分分析即Principal Component Analysis，PCA，它是一种线性降维方法。 主成分分析(1) PCA即主成分分析(Principe Component Analysis)。PCA假设降维函数是一个linear function，即输入$x$和输出$z$之间是linear t 阅读全文
摘要：
无监督学习(Unsupervised Learning)可以分为两类： 化繁为简 聚类(Clustering) 降维(Dimension Reduction) 无中生有 生成(Generation) 在无监督学习(Unsupervised Learning)中，数据集中通常只有$(x,\hat y) 阅读全文
摘要：
Boundary Aware PoolNet = PoolNet + BASNet，即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 前面两篇文章分别介绍了PoolNet的模型及其代码、BASNet中的深度监督策略和混合损失函数，现在让我们看向P 阅读全文
摘要：
Boundary Aware PoolNet = PoolNet + BASNet，即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 为理解Boundary Aware PoolNet，我们并不需要学习整个BASNet，只需要了解其中的Deep 阅读全文
摘要：
Boundary Aware PoolNet = PoolNet + BASNet，即使用BASNet中的Deep Supervision策略和Hybrid Loss改进PoolNet。 为理解Boundary Aware PoolNet还是需要全面理解PoolNet的，因此本文将对PoolNet的 阅读全文
摘要：
Boundary-Aware-PoolNet Boundary Aware PoolNet = PoolNet + BASNet : Deeply supervised PoolNet using the hybrid loss in BASNet for Salient Object Detect 阅读全文
摘要：
transformer最知名的应用就是BERT，BERT就是无监督训练的transformer，transformer就是具有Self-attention的Seq2Seq模型。 RNN常用于处理输入和输出都是sequence的任务，因为RNN是通过遍历输入的sequence而逐步输出一个sequen 阅读全文
摘要：
在训练一个可以产生句子的网络时，有哪些技巧呢？ Bad Attention 假如要做video的caption generation，某视频有4个frame，即有4个时刻的图片。 用$\alpha^i_t$表示attention weight，其上标表示frame的索引、下标表示时刻的索引。在第1个 阅读全文
摘要：
输入和输出都是sequence的任务都是一种Sequence-to-sequence Learning，简称Seq2Seq。 Attention其实是一种Dynamic Conditional Generation。在前文描述的Conditional Generation中，我们在每个时间点都将En 阅读全文
摘要：
基于RNN的Generation 可以用RNN生成一个word、sentence、图片等等。 一个word有多个character组成，因此RNN每次生成一个character。一个sentence由多个word组成，因此RNN每次生成一个word。一张图片由多个像素组成，因此RNN每次生成一个像素 阅读全文
摘要：
本文为作者学习李宏毅机器学习课程时参照样例完成homework7的记录。 代码仓库：chouxianyu/LHY_ML2020_Codes，里面除了代码还有数据、PPT、笔记等资源喔~ 任务描述 通过Architecture Design、Knowledge Distillation、Network 阅读全文
摘要：
动态计算（Dynamic Computation）就是资源充足时就做到最好，资源不足时就减少运算量、先求有再求好(但也不要太差)。 一种方法是训练多个从小到大的model，然后选择合适的模型，这样的问题是需要存储很多个model。 另外一种方法是，训练一个在中间层就可以得到最终结果的model。因为 阅读全文
摘要：
调整Network的架构设计（Architecture Design），让它变得只需要比较少的参数，这是在实际操作中最有效的做法。 Low Rank Approximation 如果是Fully Connected Network，前一层和后一层分别有N、M个neuron则需要$N\times M$ 阅读全文
摘要：
参数量化就是Parameter Quantization。 用更少的bit表示一个value 比如说本来用32位表示一个weight，现在用16位表示一个weight，这样就缩小了一半。 Weight Clustering 根据weight的值对weight进行聚类，每个类中的weight都用同一个 阅读全文