在上式(1—30)，式(1—31)中，μ是權(quán)重變化率，它視情況不同而取值不同，一般取0-1之間的小數(shù)。
很明顯bp神經(jīng)網(wǎng)絡(luò)有工具箱嗎，梯度法比原來感知器的學(xué)習(xí)算法進了一大步。其關(guān)鍵在于兩點：
1．神經(jīng)元的傳遞函數(shù)采用連續(xù)的s型函數(shù)，而不是階躍函數(shù)；
2．對權(quán)系數(shù)的修改采用誤差的梯度去控制，而不是采用誤差去控制。故而有更好的動態(tài)特能，即加強了收斂進程。
但是梯度法對于實際學(xué)習(xí)來說，仍然是感覺太慢；所以，這種算法仍然是不理想的。
1．2．3 反向傳播學(xué)習(xí)的BP算法
反向傳播算法也稱BP算法。由于這種算法在本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的數(shù)學(xué)模型，所以，有時也稱為BP模型。
BP算法是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的；所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是一種無反饋的多層前向網(wǎng)絡(luò)。故而．有時也稱無反饋多層前向網(wǎng)絡(luò)為BP模型。
在這里，并不要求過于嚴(yán)格去爭論和區(qū)分算法和模型兩者的有關(guān)異同。感知機學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中．它只能改變最后權(quán)系數(shù)。因此，感知機學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。1986年bp神經(jīng)網(wǎng)絡(luò)有工具箱嗎，提出了反向傳播學(xué)習(xí)算法，即BP()算法。這 種算法可以對網(wǎng)絡(luò)中各層的權(quán)系數(shù)進行修正，故適用于多層網(wǎng)絡(luò)的學(xué)習(xí)。BP算法是目前最廣泛用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一，在自動控制中是最有用的學(xué)習(xí)算法。
一、BP算法的原理
BP算法是用于前饋多層網(wǎng)絡(luò)的學(xué)習(xí)算法，前饋多層網(wǎng)絡(luò)的結(jié)構(gòu)一般如圖1—12所示