殘差網路結構

① resnet的F究竟長什麼樣子

resnet最初的想法是在訓練集上，深層網路不應該比淺層網路差，因為只需要深層網路多的那些版層做恆等映射就簡權化為了淺層網路。所以從學習恆等映射這點出發，考慮到網路要學習一個F(x)=x的映射比學習F(x)=0的映射更難，所以可以把網路結構設計成H(x) = F(x) + x，這樣就即完成了恆等映射的學習，又降低了學習難度。這里的x是殘差結構的輸入，F是該層網路學習的映射，H是整個殘差結構的輸出。

② 深度殘差網路是卷積網路的一種嗎

是的，深度殘差網路在傳統的卷積神經網路上加入了殘差模塊，
再看看別人怎麼說的。

③ 什麼是skip connection

skip connection 就是一種跳躍式復傳遞。在ResNet中引入制了一種叫resial network殘差網路結構，其和普通的CNN的區別在於從輸入源直接向輸出源多連接了一條傳遞線，這是一種identity mapping，也就是所謂的恆等映射，用來進行殘差計算。這叫是shortcut connection,也叫skip connection。其效果是為了防止網路層數增加而導致的梯度彌散問題與退化問題。

④ edsr是怎麼實現scale為1.25的

與殘差網路不同，這里對其進行了改進。如下圖所示：

去除了BN層，原文的解釋是由於歸一化特徵之後，導致去除了這個網路范圍的靈活性，並且減少了GPU的使用。原文的英文為：Since batch normalization layers normalize the features, they get rid of range flexibility from networks by normalizing the features, it is better to remove them. 補充一下，在知乎上賈楊清的解釋是，補充一個直觀的理解，BN在classification當中的效果較好，主要原因是因為classification對於scale不敏感。但是superresolution這樣圖片到圖片的變換，per image的scale還是一個有效信息。類似的一個情形是style transfer，同樣也是圖片到圖片的變換，Ulyanov et al.提出用instance normalization的方法，IN可以理解成為每個圖片自己做BN，這樣比BN能保留更多scale信息。更新的研究表明如果訓練收斂不是問題的話，進一步去掉IN的效果也會更好。總的來說BN對於簡化調參有好處（更容易收斂），但是並不一定真的適合所有應用。
首先提出了單比例模型

單尺度網路（single-scale SR network —— EDSR）結構
結構類似於 SRResNet ，但是模型在殘差模塊之外並沒有設置 ReLU 激活層。而且，我們的基準模型也沒有殘差縮放層（resial scaling layers），因為我們僅僅為每一個卷積層使用了64維的特徵映射。在我們最終的單尺度模型中，我們通過設置B = 32（深度，層數） ，F= 256（寬度，特徵通道數），比例因數（scaling factor）為0.1對基準模型進行了擴展。模型結構如上圖所示。
當在升采樣因子（upsampling factor）為 ×3 和 ×4 的時候，我們用預訓練的 ×2 網路初始化了模型參數。這一預訓練方法加速了訓練進程，也提升了最終的性能表現。對於升采樣 ×4 的情況，如果我們使用了一個預訓練的 scale×2 模型（藍線），訓練就會比隨機初始化的訓練（綠線）收斂的更快。如下圖所示：

通過上面的分析，可知超解析度在不同的尺度是有內在關系的。結構如下圖所示。其中中間有16層殘差塊作為主要共享部分。這里還提出特定尺寸處理模塊（scale-specific processing moles）。網路開頭有預處理模塊用來減少來自不同尺寸圖像的方差。每個預處理模塊都有兩個殘差塊（5*5的卷積核），在網路最後有unsample模塊用來多尺度重建，類似於單比例模塊。

多尺度 SR 網路（multi-scale SR network —— MDSR）結構
實驗效果圖：

⑤ 殘差網路適用於多少層以上的網路

殘差網路使用於多少層以上的網路？參茶網路適應你。四層以上的網路。

⑥ 新息與殘差有什麼區別

新息與殘差的區別在於：二者指代不同、二者特徵不同、二者代表相關分析不同。

1、特徵不同：

（1）由於其也是序列，所以也被稱為新息序列：x(t)=x(t)+e(t)，此式表明，x(t)可表達為兩項之和：第一項，x(t)它是被序列歷史所確定的；第二項e(t)，根據歷史數對其預報為零。

直觀而言，在無偏預報意義下，原序列歷史不包含對e(t)的信息，故此時稱為它對原序列的新息。對極特殊的情況下，e(t)恆等於0時，此序列無新息，這樣的序列稱為純確定型。

（2）在回歸分析中，測定值與按回歸方程預測的值之差，以δ表示。殘差δ遵從正態分布N(0，σ2)。（δ-殘差的均值）/殘差的標准差，稱為標准化殘差，以δ*表示。δ*遵從標准正態分布N(0，1)。實驗點的標准化殘差落在(-2，2)區間以外的概率≤0.05。

若某一實驗點的標准化殘差落在(-2，2)區間以外，可在95%置信度將其判為異常實驗點，不參與回歸直線擬合。顯然，有多少對數據，就有多少個殘差。殘差分析就是通過殘差所提供的信息，分析出數據的可靠性、周期性或其它干擾。

2、指代不同：

（1）考察時間序列{x(t)},根據歷史數據對x(n+1)的無偏預報x(n+1)，且用斜體代表x尖，即x的估計值，預報誤差e(n+1)=x(n+1)-x(n+1)，e(n+1)被稱為新息。

（2）殘差在數理統計中是指實際觀察值與估計值（擬合值）之間的差。

3、代表相關分析不同：

（1）新息定理是新息預報的基礎。新息預報雖然公式較復雜，但佔用的內存是有限的，並不隨t而增長，而且每步預報是用遞推計算，特別是MA序列，由新息預報公式可以看出，只要能判斷出MA模型的階數，不必計算出滑動平均參數就可以遞推進行新息預報。

由新息定理可以看出，時刻t的新息et是隨著樣本數據xt的輸入經過遞推而得到的。

可以證明，無論是AR、MA或ARMA序列，當k充分大後，新息適時預報都與平穩預報漸近趨於一致。因此，在實際應用時，對於連續預報問題如果要求從較少的數據開始預報，並希望盡可能給出精確的預報值，那麼，在開始一個階段，可以進行新息適時預報。

（2）殘差中殘差圖的分布趨勢可以幫助判明所擬合的線性模型是否滿足有關假設。如殘差是否近似正態分布、是否方差齊次，變數間是否有其它非線性關系及是否還有重要自變數未進入模型等。

當判明有某種假設條件欠缺時， 進一步的問題就是加以校正或補救。需分析具體情況，探索合適的校正方案，如非線性處理，引入新自變數，或考察誤差是否有自相關性。

(6)殘差網路結構擴展閱讀：

殘差應用——殘差網路：

深度殘差網路。如果深層網路的後面那些層是恆等映射，那麼模型就退化為一個淺層網路。那當前要解決的就是學習恆等映射函數了。 但是直接讓一些層去擬合一個潛在的恆等映射函數H(x)=x，比較困難，這可能就是深層網路難以訓練的原因。

但是，如果把網路設計為H(x)=F(x)+x，可以轉換為學習一個殘差函數F(x)=H(x)-x。只要F(x)=0，就構成了一個恆等映射H(X)=x。 而且，擬合殘差肯定更加容易。

F是求和前網路映射，H是從輸入到求和後的網路映射。比如把5映射到5.1，那麼引入殘差前是：F'(5)=5.1，引入殘差後是H(5)=5.1，H(5)=F(5)+5，F(5)=0.1。這里的F'和F都表示網路參數映射，引入殘差後的映射對輸出的變化更敏感。

比如s輸出從5.1變到5.2，映射的輸出增加了2%，而對於殘差結構輸出從5.1到5.2，映射F是從0.1到0.2，增加了100%。明顯後者輸出變化對權重的調整作用更大，所以效果更好。殘差的思想都是去掉相同的主體部分，從而突出微小的變化。

參考資料來源：網路-殘差

參考資料來源：網路-新息

參考資料來源：網路-新息定理

⑦ 殘差網路模型命名方式

在命令欄輸入 genr 新變數=resid 新變數名字你自己定 另外由於每做完一次回歸估計，殘差都會發生變化，所以如果你想保留殘差，每做完一次回歸你都要用上面的命令重新命名殘差才行。希望能幫到你

⑧ 如何評價Dual Path Networks

1、針對視覺識別任務的「網路工程」一直是研究的重點，其重在設計更為高效的網路拓撲結構，一方面考慮更好的特徵表示學習，另一方面盡可能減少計算復雜度和內存消耗。比如之前的典型代表AlexNet,VGGnet,GoogLeNet，ResNet，ResNeXt，Inception-ResNet，WRNnet，DenseNet，SqueezeNet等。
2、DPN是一種結合了ResNet和DenseNet優勢的新型卷積網路結構。深度殘差網路通過殘差旁支通路再利用特徵，但殘差通道不善於探索新特徵。密集連接網路通過密集連接通路探索新特徵，但有高冗餘度。

⑨ 深度殘差網路是卷積網路的一種嗎

深度殘差網路Resnet實際上就是卷積神經網路的一種，只不過其結構比較特殊，對於非常深的網路優化的比較好

⑩ matlab中怎麼用rbf建立殘差網路模型求大俠指點

標准差：std(x) 方差：var(x)