全连接网络的类Resnet结构

最初设想

因为最近在学习深度学习框架，并且在做一个DQN的自寻路问题。题目中输入就两个特征维度，输出也只有八个特征维度，那肯定就是使用全连接网络来做。之后再搭建网络时突发奇想，把Resnet网络结构应用在全连接神经网络上。

我选择了网络结构简单且效果好的Resnet V2网络结构，并以此为基础改动了一下输入侧，原Resnet V2的skip部分在处理输入输出维度不一致的情况下，是会有一个权重层和BN层，而skip的前端没有BN层规约作用，而主线部分是由开始就有一个BN层。由此我就想把主线的第一个BN层结果分给主线和skip线一起用，这样两条线就都有规约效果，由于每一个block前端都会有BN层规约，这样就可以省去skip线的BN层，简化网络。运用leaky relu主要是避免relu神经元坏死问题。

网络头部 and 输入输出特征维度一致

输入输出特征维度不一致