残差网络结构

① resnet的F究竟长什么样子

resnet最初的想法是在训练集上，深层网络不应该比浅层网络差，因为只需要深层网络多的那些版层做恒等映射就简权化为了浅层网络。所以从学习恒等映射这点出发，考虑到网络要学习一个F(x)=x的映射比学习F(x)=0的映射更难，所以可以把网络结构设计成H(x) = F(x) + x，这样就即完成了恒等映射的学习，又降低了学习难度。这里的x是残差结构的输入，F是该层网络学习的映射，H是整个残差结构的输出。

② 深度残差网络是卷积网络的一种吗

是的，深度残差网络在传统的卷积神经网络上加入了残差模块，
再看看别人怎么说的。

③ 什么是skip connection

skip connection 就是一种跳跃式复传递。在ResNet中引入制了一种叫resial network残差网络结构，其和普通的CNN的区别在于从输入源直接向输出源多连接了一条传递线，这是一种identity mapping，也就是所谓的恒等映射，用来进行残差计算。这叫是shortcut connection,也叫skip connection。其效果是为了防止网络层数增加而导致的梯度弥散问题与退化问题。

④ edsr是怎么实现scale为1.25的

与残差网络不同，这里对其进行了改进。如下图所示：

去除了BN层，原文的解释是由于归一化特征之后，导致去除了这个网络范围的灵活性，并且减少了GPU的使用。原文的英文为：Since batch normalization layers normalize the features, they get rid of range flexibility from networks by normalizing the features, it is better to remove them. 补充一下，在知乎上贾杨清的解释是，补充一个直观的理解，BN在classification当中的效果较好，主要原因是因为classification对于scale不敏感。但是superresolution这样图片到图片的变换，per image的scale还是一个有效信息。类似的一个情形是style transfer，同样也是图片到图片的变换，Ulyanov et al.提出用instance normalization的方法，IN可以理解成为每个图片自己做BN，这样比BN能保留更多scale信息。更新的研究表明如果训练收敛不是问题的话，进一步去掉IN的效果也会更好。总的来说BN对于简化调参有好处（更容易收敛），但是并不一定真的适合所有应用。
首先提出了单比例模型

单尺度网络（single-scale SR network —— EDSR）结构
结构类似于 SRResNet ，但是模型在残差模块之外并没有设置 ReLU 激活层。而且，我们的基准模型也没有残差缩放层（resial scaling layers），因为我们仅仅为每一个卷积层使用了64维的特征映射。在我们最终的单尺度模型中，我们通过设置B = 32（深度，层数） ，F= 256（宽度，特征通道数），比例因数（scaling factor）为0.1对基准模型进行了扩展。模型结构如上图所示。
当在升采样因子（upsampling factor）为 ×3 和 ×4 的时候，我们用预训练的 ×2 网络初始化了模型参数。这一预训练方法加速了训练进程，也提升了最终的性能表现。对于升采样 ×4 的情况，如果我们使用了一个预训练的 scale×2 模型（蓝线），训练就会比随机初始化的训练（绿线）收敛的更快。如下图所示：

通过上面的分析，可知超分辨率在不同的尺度是有内在关系的。结构如下图所示。其中中间有16层残差块作为主要共享部分。这里还提出特定尺寸处理模块（scale-specific processing moles）。网络开头有预处理模块用来减少来自不同尺寸图像的方差。每个预处理模块都有两个残差块（5*5的卷积核），在网络最后有unsample模块用来多尺度重建，类似于单比例模块。

多尺度 SR 网络（multi-scale SR network —— MDSR）结构
实验效果图：

⑤ 残差网络适用于多少层以上的网络

残差网络使用于多少层以上的网络？参茶网络适应你。四层以上的网络。

⑥ 新息与残差有什么区别

新息与残差的区别在于：二者指代不同、二者特征不同、二者代表相关分析不同。

1、特征不同：

（1）由于其也是序列，所以也被称为新息序列：x(t)=x(t)+e(t)，此式表明，x(t)可表达为两项之和：第一项，x(t)它是被序列历史所确定的；第二项e(t)，根据历史数对其预报为零。

直观而言，在无偏预报意义下，原序列历史不包含对e(t)的信息，故此时称为它对原序列的新息。对极特殊的情况下，e(t)恒等于0时，此序列无新息，这样的序列称为纯确定型。

（2）在回归分析中，测定值与按回归方程预测的值之差，以δ表示。残差δ遵从正态分布N(0，σ2)。（δ-残差的均值）/残差的标准差，称为标准化残差，以δ*表示。δ*遵从标准正态分布N(0，1)。实验点的标准化残差落在(-2，2)区间以外的概率≤0.05。

若某一实验点的标准化残差落在(-2，2)区间以外，可在95%置信度将其判为异常实验点，不参与回归直线拟合。显然，有多少对数据，就有多少个残差。残差分析就是通过残差所提供的信息，分析出数据的可靠性、周期性或其它干扰。

2、指代不同：

（1）考察时间序列{x(t)},根据历史数据对x(n+1)的无偏预报x(n+1)，且用斜体代表x尖，即x的估计值，预报误差e(n+1)=x(n+1)-x(n+1)，e(n+1)被称为新息。

（2）残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。

3、代表相关分析不同：

（1）新息定理是新息预报的基础。新息预报虽然公式较复杂，但占用的内存是有限的，并不随t而增长，而且每步预报是用递推计算，特别是MA序列，由新息预报公式可以看出，只要能判断出MA模型的阶数，不必计算出滑动平均参数就可以递推进行新息预报。

由新息定理可以看出，时刻t的新息et是随着样本数据xt的输入经过递推而得到的。

可以证明，无论是AR、MA或ARMA序列，当k充分大后，新息适时预报都与平稳预报渐近趋于一致。因此，在实际应用时，对于连续预报问题如果要求从较少的数据开始预报，并希望尽可能给出精确的预报值，那么，在开始一个阶段，可以进行新息适时预报。

（2）残差中残差图的分布趋势可以帮助判明所拟合的线性模型是否满足有关假设。如残差是否近似正态分布、是否方差齐次，变量间是否有其它非线性关系及是否还有重要自变量未进入模型等。

当判明有某种假设条件欠缺时， 进一步的问题就是加以校正或补救。需分析具体情况，探索合适的校正方案，如非线性处理，引入新自变量，或考察误差是否有自相关性。

(6)残差网络结构扩展阅读：

残差应用——残差网络：

深度残差网络。如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那当前要解决的就是学习恒等映射函数了。 但是直接让一些层去拟合一个潜在的恒等映射函数H(x)=x，比较困难，这可能就是深层网络难以训练的原因。

但是，如果把网络设计为H(x)=F(x)+x，可以转换为学习一个残差函数F(x)=H(x)-x。只要F(x)=0，就构成了一个恒等映射H(X)=x。 而且，拟合残差肯定更加容易。

F是求和前网络映射，H是从输入到求和后的网络映射。比如把5映射到5.1，那么引入残差前是：F'(5)=5.1，引入残差后是H(5)=5.1，H(5)=F(5)+5，F(5)=0.1。这里的F'和F都表示网络参数映射，引入残差后的映射对输出的变化更敏感。

比如s输出从5.1变到5.2，映射的输出增加了2%，而对于残差结构输出从5.1到5.2，映射F是从0.1到0.2，增加了100%。明显后者输出变化对权重的调整作用更大，所以效果更好。残差的思想都是去掉相同的主体部分，从而突出微小的变化。

参考资料来源：网络-残差

参考资料来源：网络-新息

参考资料来源：网络-新息定理

⑦ 残差网络模型命名方式

在命令栏输入 genr 新变量=resid 新变量名字你自己定 另外由于每做完一次回归估计，残差都会发生变化，所以如果你想保留残差，每做完一次回归你都要用上面的命令重新命名残差才行。希望能帮到你

⑧ 如何评价Dual Path Networks

1、针对视觉识别任务的“网络工程”一直是研究的重点，其重在设计更为高效的网络拓扑结构，一方面考虑更好的特征表示学习，另一方面尽可能减少计算复杂度和内存消耗。比如之前的典型代表AlexNet,VGGnet,GoogLeNet，ResNet，ResNeXt，Inception-ResNet，WRNnet，DenseNet，SqueezeNet等。
2、DPN是一种结合了ResNet和DenseNet优势的新型卷积网络结构。深度残差网络通过残差旁支通路再利用特征，但残差通道不善于探索新特征。密集连接网络通过密集连接通路探索新特征，但有高冗余度。

⑨ 深度残差网络是卷积网络的一种吗

深度残差网络Resnet实际上就是卷积神经网络的一种，只不过其结构比较特殊，对于非常深的网络优化的比较好

⑩ matlab中怎么用rbf建立残差网络模型求大侠指点

标准差：std(x) 方差：var(x)