一周论文阅读20200424

  • FaceNet: A Unified Embedding for Face Recognition and Clustering
    在相关性中遇到了triple loss ,所以看下这篇论文。这是人脸识别领域的重要论文。该论文的方法是将人脸的图片经过cnn编码成向量,每次训练有三个向量Anchor、Positive、Negative,其中anchor和positive是同一张脸,而anchor和negative不是同一张脸,triple loss 让anchor和positive的欧式距离尽可能接近,让anchor和negative的欧式距离尽可能远离。论文讨论了怎么组训练的向量、模型结构的影响、维度的影响、图片质量的影响等。了解到这种将信号映射到某个隐空间的进行度量方法叫做度量学习(Metric Learning)
  • Deep Learning Face Representation by Joint Identification-Verification
    读第一篇文章的时候顺便看了一眼这篇文章,与第一篇文章不同的是作者将人脸识别问题看作一个分类问题,为了让相同类别之际向量相似,不同类别之间向量不同,作者加了一个与正则项。或许就是这个正则项启发了第一篇文章的工作。
  • SPECTER: Document-level Representation Learning using Citation-informed Transformers
    是做论文的embeding,思路是采用论文的题目和摘要过scibert得到cls向量,再通过论文间的引用做triple loss 正例是论文有引用的其它论文,负例是没有引用的论文,为了加大任务的难度负例采用的是这篇论文没有引用,但是这篇论文引用的论文引用了的论文。感觉思路跟w2v很像,就是利用的文章的相互引用为纽带,并且用了bert这个强大的特征提取器。
  • SCIBERT: A Pretrained Language Model for Scientific Text
    用sci论文预训练的bert
  • VL-BERT: PRE-TRAINING OF GENERIC VISUALLINGUISTIC REPRESENTATIONS
    图像和文本的多模态预训练
posted @ 2020-04-26 22:28  kangheng  阅读(245)  评论(0编辑  收藏  举报