前饋神經網路

『壹』 前饋神經網路的介紹

前饋神經網來絡（feedforward neural network），簡自稱前饋網路，是人工神經網路的一種。在此種神經網路中，各神經元從輸入層開始，接收前一級輸入，並輸入到下一級，直至輸出層。整個網路中無反饋，可用一個有向無環圖表示。前饋神經網路是最早被提出的人工神經網路，也是最簡單的人工神經網路類型。按照前饋神經網路的層數不同，可以將其劃分為單層前饋神經網路和多層前饋神經網路。常見的前饋神經網路有感知機（Perceptrons）、BP（Back Propagation）網路、RBF（Radial Basis Function）網路等。

『貳』 前饋網路和遞歸網路有什麼本質區別

遞歸復網路與前饋網路有所不制同，遞歸網路中節點間連接方式存在反饋，即神經元之間存在著反饋迴路。因此在遞歸網路中，輸入也可以由同一層的各節點通過反饋迴路輸入，還可以由下一層的各節點通過反饋迴路輸入。遞歸網路中至少存在一個反饋環，反饋環對整個神經網路的學習、「記憶」等性能有較深的影響。前饋網路的輸出由源節點的輸入、網路結構及參數來決定，與過去的輸出無關，因而不具有「記憶」能力；由於反饋迴路的作用，反饋網路的輸出不僅與源節點的輸入、網路結構及參數有關，還與網路過去的輸出有關，因而反饋網路具備「記憶」的能力。
從效果上看，前饋網路主要是函數的映射，可用作函數逼近和模式識別；而遞歸網路按能力函數的極小點可分為全部極小點起作用和局部極小點起作用兩類，前者可用於各種聯想存儲器，後者主要用於各種優化問題。

『叄』 前向神經是什麼類型的神經網路是前反饋神經網路嗎

神經網路有前饋神經網路和反饋神經網路，前向神經網路也就是前饋回神經網路。
前饋答型網路
各神經元接收前一層的輸入，並輸出給下一層，沒有反饋。節點分為兩類，即輸入節點和計算節點，每一個計算節點可有多個輸入，但只有一個輸出，通常前饋型網路可分為不同的層，第i層的輸入只與第i-1層的輸出相連，輸入與輸出節點與外界相連，而其他中間層則稱為隱層。
反饋型網路
所有節點都是計算節點，同時可接收輸入，並向外界輸出。

常見的前饋神經網路有BP網路，RBF網路等.

『肆』 前饋神經網路的常見前饋神經網路

RBF網路是指隱含層神經元由RBF神經元組成的前饋網路。RBF神經元是指神經元的變換函數內為容RBF（Radial Basis Function，徑向基函數）的神經元。典型的RBF網路由三層組成：一個輸入層，一個或多個由RBF神經元組成的RBF層（隱含層），一個由線性神經元組成的輸出層。

『伍』 前饋神經網路的分類

單層前饋神經網路是最簡單的一種人工神經網路，其只包含一個輸出層，輸出層上節點的值（輸出值）通過輸入值乘以權重值直接得到。取出其中一個元進行討論，其輸入到輸出的變換關系為
上式中， 是輸入特徵向量， 是 到 的連接權，輸出量 是按照不同特徵的分類結果。 多層前饋神經網路有一個輸入層，中間有一個或多個隱含層，有一個輸出層。多層感知器網路中的輸入與輸出變換關系為


這時每一層相當於一個單層前饋神經網路，如對第層，它形成一個維的超平面。它對於該層的輸入模式進行線性分類，但是由於多層的組合，最終可以實現對輸入模式的較復雜的分類。

『陸』 多層前饋網路模型及BP演算法

多層前饋網中,以單隱層網的應用最為普遍,如圖6.1所示。習慣上將其稱為三層前饋網或三層感知器,所謂三層即輸入層、隱層和輸出層。

圖6.1 三層前饋神經網路結構

Fig.6.1 BP neural network structure

三層前饋網中,輸入向量為X=(x₁,x₂,…,x_i,…,x_n)^T,如加入x₀=-1,可為輸出層神經元引入閾值；隱層輸出向量為Y=(y₁,y₂,…,y_l,…,y_m)^T,如加入y₀=-1,可為輸出層神經元引入閾值；輸出層輸出向量為O=(o₁,o₂,…,o_k,…,o_l)^T。輸入層到隱層之間的權值陣用V表示,V=(V₁,V₂,…,V_j,…,V_m),其中列向量V_j為隱層第j個神經元對應的權向量；隱層到輸出層之間的權值矩陣用W 表示,W=(W₁,W₂,…,W_k,…,W_l),其中列向量W_k為輸出層第k個神經元對應的權向量。下面分析各層信號之間的數學關系。

輸出層：

o_k=f(net_k)k=1,2,…,ι(6-1)

煤層開采頂板導水裂隙帶高度預測理論與方法

隱層：

y_j=f(net_j)j=1,2,…,m(6-3)

煤層開采頂板導水裂隙帶高度預測理論與方法

以上兩式中,轉移函數f(x)均為單極性Sigmoid函數

煤層開采頂板導水裂隙帶高度預測理論與方法

f(x)具有連續、可導的特點,且有

煤層開采頂板導水裂隙帶高度預測理論與方法

根據應用需要,也可以採用雙極性Sigmoid函數(或稱雙曲線正切函數)

煤層開采頂板導水裂隙帶高度預測理論與方法

式6-1～式6-6共同構成了三層前饋網的數學模型。

BP學習演算法中按以下方法調整其權重與誤差：

當網路輸出與期望輸出不相等時,存在輸出誤差E,定義如下：

煤層開采頂板導水裂隙帶高度預測理論與方法

將以上誤差定義式展開到隱層,

煤層開采頂板導水裂隙帶高度預測理論與方法

進一步展開到輸入層,

煤層開采頂板導水裂隙帶高度預測理論與方法

由上式可以看出,網路輸入誤差是各層權值ω_jk、υ_ij的函數,因此調整權值可改變誤差E。

顯然,調整權值的原則是使誤差不斷減小,因此權值的調整量與誤差的負梯度成正比,即

煤層開采頂板導水裂隙帶高度預測理論與方法

煤層開采頂板導水裂隙帶高度預測理論與方法

式中負號表示梯度下降,常數η∈(0,1)表示比例系數,在訓練中反映了學習速率。可以看出BP法屬於δ學習規則類,這類演算法常被稱為誤差的梯度下降(GradientDescent)演算法。

『柒』 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(7)前饋神經網路擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

『捌』 前饋神經網路和BP演算法是一個意思嗎

前饋網路來是一種神經網路自結構，比如多層感知器，rbf網路。bp是一種神經網路的學習演算法。通常，前饋網路用的都是bp演算法。
但是，前饋網路不一定用bp演算法，也可以用別的比如hebb演算法進行訓練。bp演算法也可以用在其他類型網路的訓練。

『玖』 簡要說明前饋神經網路的BP演算法學習過程，並指出其具有什麼缺點及其原因

計算步驟
1.確定最大誤差和最大學習次數。
2.計算當前輸入下的輸出。
3.判斷輸出誤差是否版滿權足要求，滿足則退出，不滿足則開始學習。
4.計算廣義誤差，連接權系數更新。
6.次數加1，繼續迭代計算直到滿足要求。
缺點：
1.計算速度慢（計算量大，學習演算法不成熟，不同的演算法針對不同的問題收斂才快些）
2.輸入信號與訓練信號相差加大時，可能導致結果完全錯誤（不同的區域可能有不同的極值）