第四章神經網絡基本理論
典型人工神經網絡
人工神經網絡是對人腦或自然神經網絡若干基本特性的抽象和模擬,以大腦的生理研究成果為基礎,一般由簡單的神經網絡分層次組織成大規模的網絡。
從神經網絡結構、數學模型、學****算法、網絡功能等方面介紹幾種典型的人工神經網絡,包括:
多層前向神經網絡
徑向基函數神經網絡
神經網絡
感知器(),它是一個具有單層計算單元的神經網絡,并由線性閾值元件組成。
激發函數為閾值型函數,當其輸入的加權和大于或等于閾值時,輸出為1,否則為0或-1。
它的權系W可變,這樣它就可以學****br/>感知器的結構
感知器的數學模型
感知器模型
感知器的學****算法
為方便起見,將閾值θ(它也同樣需要學****并入W中,令Wn+1=-θ,X向量也相應地增加一個分量xn+1=1,則
學****算法:
①給定初始值:賦給Wi(0)各一個較小的隨機非零值,這里Wi(t)為t時刻第i個輸入的權(1≤i≤n),Wn+1(t)為t時刻的閾值;
②輸入一樣本X=(xi,…,xn,1)和它的希望輸出d;
③計算實際輸出
④修正權W : Wi(t+1)=Wi(t)+η[d-Y(t)]xi,i=1人工神經網絡理論·模型·算法與應用,2,…,n+1
⑤轉到②直到W對一切樣本均穩定不變為止。
感知器模型
感知器的功能
看作模式識別器
看作邏輯函數
(1)實現模式識別:
①對于單神經元感知器,其輸入向量為x=(x1,x2,…,xn)T,n個輸入分量在集合上構成一個n維空間,不同的輸入樣本則為該空間上不同的點;
②將該空間上不同的點x帶入中,若存在一些樣本使該式
大于零,則認為這些樣本的屬性值為“1”;否則,其屬性值為“0”;
一個單神經元感知器可以解決具有“1”和“0”屬性的兩類模式的識別問題
具有線性邊界
感知器模型
舉例:
設輸入向量X=(x1 ,x2)T
則由方程 w1jx1+w2jx2-Tj=0
確定了二維平面上的一條分界線。
oj
x1
-1
x2
w1jx1+w2jx2-Tj=0
輸出:
感知器模型
舉例:
設輸入向量X=(x1人工神經網絡理論·模型·算法與應用, x2, x3)T
輸出:
則由方程 w1jx1+w2jx2+w3j –Tj=0
確定了三維空間上的一個分界平面。
x2
oj
x1
x3
-1
w1jx1+w2jx2+w3j –Tj=0
感知器模型
感知器的功能
看作模式識別器
看作邏輯函數
(2)實現邏輯函數:
可以將單計算節點神經元感知器看作一個二值邏輯元,能實現布爾代數的某些基本運算:與運算、或運算、非運算
思考:單計算節點感知器能否實現異或運算?
感知器模型
“異或”的真值表
x1x2y
000
011
101
110
問題:能否用單計算節點感知器實現“異或”功能?