论文阅读-CVPR2017:Photo-Realistic Single Image Super-Resolution Using a Generative AdversarialNetwork

论文下载地址： https://arxiv.org/abs/1609.04802
摘要： 이 눈문은 전통적인 image super-resolutio방법에서 존재하는 지나치게 스무드한 （texture detail absent）문제에 대해서 최신 대항 네트워크에 맞서는 방법을 제기했습니다. (a generative adversarial network)그리고 이 네트워크 구조를 위해 a perceptual loss function을 구축했습니다.

ng)

前置基础概念

single Image 用到的原理：

1.Self-similarity in natural images 自然界中图片的自相似性

2.高斯金字塔中不同层间的相似查找
Looking for similar blocks among different scales

Abstract

이 논문은 전통적인 image super-resolution방법에서 존제하는 지나치게 texture detail absent문제에 대해서 최신대항 network에 맞서는 방밥을 제안합니다.(GANs)
그리고 이 network structure를 위해 a perceptual loss function을 구축했습니다.

Contributions

1.GANs는강력한 틀을 제공하기 때문에 고품질 plausible-looking natural images을 만들수 있습니다.
2.논문은 very deep ResNet 을 제공하고, GANs의 개념을 이용해 perceptual loss function을 만들어 human perception에 접근하고 photo-현실적인 시시 r을 그린다
3.이 논문는 very deep ResNet 아키텍처를 제공합니다. GAN의 개념을 사용하여 photo-realistic SISR 에 대한 human prception에 접근하기 위해 지각 손실 함수 를 형성했습니다.

具体性的

Image SR에게는 네 배의 해상도를 줄이는 새로운 최고 효과를 얻을 수 있습니다.평가기준은:PSNR 峰值信噪比和 structure similarity （SSIM结构相似度）
구체적으로, fast feature learning in LR space and batch-normalization을 이용해서 Resnet을 훈련합니다.
a perceptual loss function을 구축했습니다. 이 함수에는 content loss 과 adversarial loss 가 포함되어 있습니다.

Method

Adversarial Network Architecture ：

생산 대결 네트워크의 훈련 학습 목표는 최소 문제입니다.

이미지 초 고해상도를 이러한 프로세스로 간주합니다. Generator network을 통해서 고해상도 이미지가 생성되어 판별기(discriminator)를 구별하기 어렵습니다.

Perceptual Loss Function

이 논문에서 설계된 지각 손실 함수(Perceptual Loss Functions)는이 알고리즘의 성능을 보장합니다.
이 함수에는 content loss 과 adversarial loss 가 포함되어 있습니다.
content loss에 adversarial loss 을 （weight sum） 더 하면 Perceptual Loss Functions

Content Loss

픽셀 수준 MSE 손실은 다음과 같이 계산됩니다.
그러나 이러한 방식으로 더 높은 PSNR을 달성하는 동안 MSE 최적화 문제로 인해 고주파 콘텐츠가 부족하여 결과가 너무 매끄럽게됩니다

平滑效果如图2

改善训练VGG
이를 개선하고 사전 훈련 된 pre-trained 19-layer VGG network 의ReLU activation layers 을기반으로 VGG loss을 정의했습니다 .
그런 다음 VGG loss 을 재구성 된 이미지와 참조 이미지 사이의 유클리드 거리로 정의 합니다 .（the enclidean distance）
는 VGG19 network에서 i-th max pooling layer후 의 j번째 컨볼 루션에서 얻은 feature map입니다.