導(dǎo)語(yǔ)：如何才能寫(xiě)好一篇神經(jīng)網(wǎng)絡(luò)反向傳播過(guò)程，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

[關(guān)鍵詞]有機(jī)碳含量評(píng)價(jià) 神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2015）45-0356-01

1 BP神經(jīng)網(wǎng)絡(luò)基本原理

BP神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過(guò)程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過(guò)輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過(guò)程，是各層權(quán)值不斷調(diào)整的過(guò)程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過(guò)程，此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

2 BP神經(jīng)網(wǎng)絡(luò)工作機(jī)理

2.1 正向傳播

圖中，表示神經(jīng)元的輸入，表示輸入層與隱含層之間權(quán)值，為隱含層與輸出層之間的權(quán)值，f（）為傳遞函數(shù)，為第k個(gè)神經(jīng)元輸出。假設(shè)BP神經(jīng)網(wǎng)絡(luò)輸入層有n個(gè)節(jié)點(diǎn)，隱含層有q個(gè)節(jié)點(diǎn)，輸出層m個(gè)節(jié)點(diǎn)。

隱含層第k個(gè)神經(jīng)元的輸入：

經(jīng)過(guò)傳遞函數(shù)f（）后，則隱含層第k個(gè)神經(jīng)元的輸出：

其中f（）為單調(diào)遞增且有界，所以一定有最大值。

輸出層第j個(gè)神經(jīng)元輸出：

2.2 反向傳播

輸入P個(gè)學(xué)習(xí)樣本，通過(guò)傳入網(wǎng)絡(luò)后，輸出，第P個(gè)樣本誤差：

式中：期望

全局誤差E：

輸出層權(quán)值的變化，通過(guò)調(diào)整，使得全局誤差E最小，得出輸出層神經(jīng)元權(quán)值調(diào)整公式：

隱含層神經(jīng)元的調(diào)整公式：

3 應(yīng)用實(shí)例

選擇AC，DEN，CNL，GR，PE，RD作為輸入曲線(xiàn)。XX井的53個(gè)點(diǎn)的巖心數(shù)據(jù)，從中選出30個(gè)點(diǎn)作為訓(xùn)練樣本，23個(gè)點(diǎn)作為預(yù)測(cè)，構(gòu)建網(wǎng)絡(luò)，對(duì)全井段處理。結(jié)果對(duì)比（如圖3-1），發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算的TOC比傳統(tǒng)的法計(jì)算的TOC效果好。其中TOC_NN為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)TOC，TOC_DaltalogR_AC為法計(jì)算的TOC。

4 結(jié)論

BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)TOC克服了常規(guī)解釋模型的缺陷，不用選擇解釋參數(shù)，計(jì)算結(jié)果與解釋人員經(jīng)驗(yàn)無(wú)關(guān)，預(yù)測(cè)結(jié)果精度有較大幅度的提高。利用多種測(cè)井解釋數(shù)據(jù)及巖心分析資料作為網(wǎng)絡(luò)訓(xùn)練樣本，通過(guò)網(wǎng)絡(luò)的訓(xùn)練、學(xué)習(xí)，建立了BP網(wǎng)絡(luò)TOC模型，并利用該模型預(yù)測(cè)該地區(qū)新井的TOC值，實(shí)驗(yàn)證明用該模型進(jìn)行TOC預(yù)測(cè)是可行的。

參考文獻(xiàn)

[1]楊斌.神經(jīng)網(wǎng)絡(luò)及其在石油測(cè)井中的應(yīng)用[M].北京：石油工業(yè)出版，2005：111-115.

[2]羅利，姚聲賢.神經(jīng)網(wǎng)絡(luò)及模式識(shí)別技術(shù)在測(cè)井解釋中的應(yīng)用[J].測(cè)井技術(shù)，2002.

篇2

關(guān)鍵詞： Matlab； 串聯(lián)BP； 多函數(shù)擬合； 自定義網(wǎng)絡(luò)

中圖分類(lèi)號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2013）22?0014?03

0 引 言

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland提出的，它是一種誤差按反向傳播的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)的非線(xiàn)性映射能力，能以任意精度逼近任意連續(xù)函數(shù)，因此在人工智能的許多領(lǐng)域都得到了廣泛的應(yīng)用，如函數(shù)逼近、模式識(shí)別、分類(lèi)和數(shù)據(jù)壓縮等領(lǐng)域[1?2]。由于目前一個(gè)神經(jīng)網(wǎng)絡(luò)只能同時(shí)對(duì)一個(gè)函數(shù)進(jìn)行擬合，針對(duì)此本文提出了一直串聯(lián)BP網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)兩個(gè)函數(shù)的擬合。

1 BP網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的拓?fù)浣Y(jié)構(gòu)。BP模型是一種多層前向網(wǎng)絡(luò)，這里采用的是三層BP神經(jīng)網(wǎng)絡(luò)模型，它由輸入層、隱層和輸出層組成，其結(jié)構(gòu)如圖1所示，分別為：

（1）輸入層節(jié)點(diǎn)，其輸出等于[xi]（[i]=1，2，…，n），將控制變量值傳輸?shù)诫[含層；

（2）隱層節(jié)點(diǎn)[j]，其輸入[hj]，輸出[oj] 分別為：

[hj=i=1nwjxi-θj=i=1n+1wjxi]

[oj=f（hj）]

（3）輸出節(jié)點(diǎn)[k]，其輸入[hk]，輸出[ok] 分別為：

[hk=j=1m+1wjkoj]

[ok=f（hk）]

式中：[k]=1，2，…，[l]；[f]為傳輸函數(shù)。

BP算法分兩步進(jìn)行，即正向傳播和反向傳播[3]。

（1）正向傳播

輸入的樣本從輸入層經(jīng)過(guò)隱單元逐層進(jìn)行處理，通過(guò)所有的隱層之后，在傳向輸出層。在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。

（2）反向傳播

反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小[4]。

2 BP網(wǎng)絡(luò)的串聯(lián)模型

神經(jīng)網(wǎng)絡(luò)串聯(lián)即由兩個(gè)或兩個(gè)以上的神經(jīng)網(wǎng)絡(luò)串聯(lián)所組成的新型網(wǎng)絡(luò)模型，用于串聯(lián)的各神經(jīng)網(wǎng)絡(luò)稱(chēng)為子神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)串聯(lián)模型中的各子神經(jīng)網(wǎng)絡(luò)首尾相連，如圖2所示。

假設(shè)總的神經(jīng)網(wǎng)絡(luò)由k個(gè)子神經(jīng)網(wǎng)絡(luò)串聯(lián)而成，即第一個(gè)神經(jīng)網(wǎng)絡(luò)的輸出作為第二個(gè)神經(jīng)網(wǎng)絡(luò)的輸入，第二個(gè)神經(jīng)網(wǎng)絡(luò)的輸出做為第三個(gè)神經(jīng)網(wǎng)絡(luò)的輸入，以此類(lèi)推下去。每一個(gè)子神經(jīng)網(wǎng)絡(luò)均由同類(lèi)型的神經(jīng)網(wǎng)絡(luò)構(gòu)成，在本文中，每一個(gè)子網(wǎng)絡(luò)都采用最常用的BP神經(jīng)網(wǎng)絡(luò)，其子網(wǎng)絡(luò)的構(gòu)建都遵循現(xiàn)有的BP網(wǎng)絡(luò)的構(gòu)建形式，其基本的子網(wǎng)絡(luò)結(jié)構(gòu)采用三層模式，一個(gè)輸入層，一個(gè)隱含層和一個(gè)輸出層[5?6]。

通過(guò)Matlab神經(jīng)網(wǎng)絡(luò)工具箱的自定義的方法來(lái)實(shí)現(xiàn)兩個(gè)子BP網(wǎng)絡(luò)的串聯(lián)。

部分程序如下所示：

net=network；

net.numinputs=2；

net.numlayers=6；

net.biasConnect=[1；1；1；1；1；1]；

net.inputConnect=[1 0；0 0；0 0；0 1；0 0；0 0]；

net.layerConnect=[ 0 0 0 0 0 0；1 0 0 0 0 0 ；0 1 0 0 0 0；

0 0 1 0 0 0 ；0 0 0 1 0 0；0 0 0 0 1 0]；

net.outputConnect=[ 0 0 1 0 0 1]；

網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖3所示，其中每個(gè)子網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)為20個(gè)，傳遞函數(shù)為tansig，輸出層采用線(xiàn)性函數(shù)[7]。

3 實(shí)驗(yàn)測(cè)試與分析

運(yùn)用本串聯(lián)BP網(wǎng)絡(luò)在Matlab 2011的環(huán)境中同時(shí)對(duì)兩個(gè)目標(biāo)函數(shù)進(jìn)行擬合。其目標(biāo)函數(shù)為：

目標(biāo)函數(shù)1：

[y=sin x]

目標(biāo)函數(shù)2：

[y=x（1-16x2）e-x]

訓(xùn)練樣本輸入的設(shè)置：輸入樣本p={p1’，p1’}其中p1=[-1：0.05：1]，目標(biāo)向量T={t1’；t2’}，其中t1= sin（3*pi*p1），t2= p1.*（1-1/6*p1.^2）.*exp（-p1）。并加入噪聲t3=sin（3*pi*p1）+0.15*randn（size（p1））；t4=t2+0.15*randn（size（p1））；T={[t3]’；[t4]’}；對(duì)其進(jìn)行訓(xùn)練仿真[8?10]。

網(wǎng)絡(luò)的輸出y包含了兩個(gè)待擬合函數(shù)的擬合后的數(shù)據(jù)通過(guò)下面操作：

y1=cell2mat（y）；

y2=y1’；

a=y2（1：1：41）；

b=y2（42：1：82）；

得到各自的擬合數(shù)據(jù)。

仿真結(jié)果如圖4～圖6所示。

由圖4、圖5仿真擬合曲線(xiàn)與待擬合函數(shù)曲線(xiàn)的比較可以看出此串聯(lián)網(wǎng)絡(luò)在通過(guò)加噪聲的訓(xùn)練樣本訓(xùn)練后能夠很好的對(duì)兩個(gè)待擬合函數(shù)進(jìn)行擬合。由圖6知在經(jīng)過(guò)342次訓(xùn)練后其誤差達(dá)到了0.000 978。可見(jiàn)，通過(guò)此串聯(lián)BP神經(jīng)網(wǎng)絡(luò)準(zhǔn)確地?cái)M合了待擬合函數(shù)曲線(xiàn)。

4 結(jié) 語(yǔ)

通過(guò)以上敘述可以看出本文設(shè)計(jì)的串聯(lián)神經(jīng)網(wǎng)絡(luò)能夠和好地對(duì)函數(shù)曲線(xiàn)進(jìn)行擬合，為同時(shí)實(shí)現(xiàn)多函數(shù)曲線(xiàn)的擬合提供了新的方法。

參考文獻(xiàn)

[1] 張雨濃，蔡炳煌.人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)展及過(guò)程[M].北京：電子工業(yè)出版社，2010.

[2] 蔣正金，汪曉東，端木春江.采用BP神經(jīng)網(wǎng)絡(luò)擬合光纖位移傳感器特性曲線(xiàn)[J].微型機(jī)與應(yīng)用，2012，31（4）：67?69.

[3] 郭軍.BP神經(jīng)網(wǎng)絡(luò)算法研究[D].武漢：華中科技大學(xué)，2005.

[4] 賈麗會(huì)，張修如.BP算法分析與改進(jìn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006，16（10）：102?107.

[5] 劉華，高大啟.RBF_LBF 串聯(lián)神經(jīng)網(wǎng)絡(luò)的分類(lèi)應(yīng)用及其學(xué)習(xí)算法[J].計(jì)算機(jī)應(yīng)用，2004，24（10）：100?104.

[6] 鄧秋香.神經(jīng)網(wǎng)絡(luò)串并聯(lián)學(xué)習(xí)算法在B超圖像識(shí)別中的應(yīng)用[D].武漢：武漢理工大學(xué)，2008.

[7] 張德豐.Matlab神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京：機(jī)械工業(yè)出版社，2012.

[8] 陳小宇，喬翠蘭，汪瑞祥，等.基于BP算法神經(jīng)網(wǎng)絡(luò)的物理實(shí)驗(yàn)曲線(xiàn)擬合[J].物理實(shí)驗(yàn)，2002，22（9）：10?13.

[9] 李潔.BP網(wǎng)絡(luò)的算法及在Matlab上的程序仿真[J].西安航空技術(shù)高等專(zhuān)科學(xué)校學(xué)報(bào)，2009，27（1）：42?43.

篇3

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；概算；BP

中圖分類(lèi)號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼： A

一、人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于建設(shè)項(xiàng)目概算的重要意義

（一）人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)就是由許多神經(jīng)元互連在一起所組成的神經(jīng)結(jié)構(gòu)，把神經(jīng)元之間相互作用的關(guān)系進(jìn)行數(shù)學(xué)模型化就可以得到神經(jīng)網(wǎng)絡(luò)模型。人工神經(jīng)網(wǎng)絡(luò)是一種非常復(fù)雜的非線(xiàn)性的動(dòng)態(tài)分析系統(tǒng)。它模擬人腦的神經(jīng)功能分層由單個(gè)神經(jīng)元非線(xiàn)性地、復(fù)雜地組合成一個(gè)網(wǎng)絡(luò)系統(tǒng)。當(dāng)某一問(wèn)題的求解過(guò)程可描述為若干個(gè)有一定內(nèi)在聯(lián)系，又無(wú)法用解析法表達(dá)其內(nèi)在關(guān)系的各個(gè)輸入因子與輸出因子的關(guān)系時(shí)，將輸入、輸出因子作為樣本進(jìn)入神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)系統(tǒng)會(huì)對(duì)各個(gè)輸入、輸出因子的因果關(guān)系作一番認(rèn)識(shí)和學(xué)習(xí)，建立起各神經(jīng)元之間的連接強(qiáng)度(即權(quán)值)閥值。這樣學(xué)習(xí)后生成的人工神經(jīng)元網(wǎng)絡(luò)系統(tǒng)，仿佛具有了人腦解決這一問(wèn)題的技能。當(dāng)輸入一組新的參數(shù)它可以給出這個(gè)領(lǐng)域?qū)＜艺J(rèn)為應(yīng)該輸出的數(shù)值。

（二）建設(shè)項(xiàng)目概算應(yīng)用神經(jīng)網(wǎng)絡(luò)的必要性

電網(wǎng)建設(shè)工程造價(jià)是組成電網(wǎng)的各分項(xiàng)工程的價(jià)格總和，而各分項(xiàng)工程的價(jià)格則取決于其工程量的大小和單價(jià)的高低。以往工程造價(jià)的計(jì)算是由造價(jià)編制人員算出各分項(xiàng)工程量，分別乘以其單價(jià)。由于組成電網(wǎng)的分項(xiàng)工程數(shù)量多，工程量的計(jì)算非常繁瑣，計(jì)算時(shí)間占造價(jià)計(jì)算總時(shí)間的90%以上，所以計(jì)算結(jié)果容易出現(xiàn)誤差。這表明造價(jià)計(jì)算的重點(diǎn)和難點(diǎn)在于工程量的計(jì)算。

一個(gè)有豐富經(jīng)驗(yàn)的造價(jià)師，根據(jù)工程類(lèi)型、特征及其相關(guān)情況，參照以往經(jīng)驗(yàn)和工程數(shù)據(jù)資料，就能大致概算出造價(jià)，而無(wú)需進(jìn)行大量繁雜計(jì)算，而且經(jīng)驗(yàn)越豐富，資料積累越多，格算的造價(jià)就越準(zhǔn)確，模仿這種大腦思維模式，正是人工神經(jīng)網(wǎng)絡(luò)所擅長(zhǎng)的。神經(jīng)網(wǎng)絡(luò)模型通用性、適應(yīng)性強(qiáng)，它不但不排斥新樣本，相反它會(huì)隨著樣本數(shù)的不斷增加而提高自身的概括能力和預(yù)測(cè)能力，這正好滿(mǎn)足了建立造價(jià)信息系統(tǒng)的要求--動(dòng)態(tài)地、自適應(yīng)地從眾多已完工程中提取有用信息，進(jìn)行預(yù)測(cè)并輔助決策，由于電網(wǎng)工程的單件性，一般不存在兩個(gè)完全一樣的工程，但許多工程之間存在著某種程度的相似性，造價(jià)估計(jì)分析的基本原理就是建立在電網(wǎng)工程的相似性基礎(chǔ)上，對(duì)于某個(gè)欲估工程，首先從分析電網(wǎng)類(lèi)型和工程特征入手，再?gòu)臄?shù)目眾多的同類(lèi)已竣工的工程中找出與預(yù)估項(xiàng)目最相似的若干個(gè)工程，然后利用這些相似電網(wǎng)項(xiàng)目的造價(jià)資料作為原始數(shù)據(jù)進(jìn)行推理，最后得到擬建電網(wǎng)的造價(jià)及其他有關(guān)數(shù)據(jù)。

二、BP網(wǎng)絡(luò)

（一）BP網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型，在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(白適應(yīng)共振理論)網(wǎng)絡(luò)。其中BP網(wǎng)絡(luò)是反向傳播(BackPropagation)網(wǎng)絡(luò)，它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式，這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。

BP算法的學(xué)習(xí)過(guò)程是由正向傳播和反向傳播兩個(gè)過(guò)程組成。在正傳播過(guò)程中,輸入信息從輸入層經(jīng)隱含層逐層傳遞、處理,每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望輸出,則轉(zhuǎn)入反向傳播過(guò)程,將誤差信號(hào)沿原來(lái)的連接通路返回,通過(guò)修改各層間連結(jié)權(quán)的值,逐次地向輸入層傳播,再經(jīng)過(guò)正向傳播過(guò)程,兩個(gè)過(guò)程的反復(fù)運(yùn)用使得誤差不斷減小至滿(mǎn)足要求。其模型可以表示為:

單隱層BP網(wǎng)絡(luò)有三部分組成:輸入層,輸入向量:

X=(x1x2,...,x1,...,xn)T

隱含層:

輸出層:

期望輸出向量為:

d=(d1,d2,...,dk...,dl)T

輸入層到隱含層之間的權(quán)值矩陣用V表示:V=(v1,v2,...,vj,󰀁vm)T

隱含層到輸出層之間的權(quán)值矩陣用W表示:W=(w1,w2,...,wk,...,wl)T

轉(zhuǎn)移函數(shù)采用tansig函數(shù):

F(n)=2/(1+exp(-2*))-1

準(zhǔn)則函數(shù)(誤差):

權(quán)值的調(diào)整量:�

;

反向傳播計(jì)算公式,可得如下權(quán)系數(shù)學(xué)習(xí)規(guī)律:

（二）BP神經(jīng)網(wǎng)絡(luò)的利弊分析及相關(guān)建議

BP算法樣本訓(xùn)練失敗的可能性較大，原因有以下幾點(diǎn)：

（1）從數(shù)學(xué)角度看，BP算法為一種局部搜索的優(yōu)化方法，但它要解決的問(wèn)題是求解復(fù)雜非線(xiàn)性函數(shù)的全局極值，因此，算法很有可能陷入局部極值，使訓(xùn)練失??；

（2）網(wǎng)絡(luò)的逼近、推廣能力完全取決于學(xué)習(xí)樣本的典型性。而對(duì)學(xué)習(xí)樣本的選取并組成訓(xùn)練集則是相當(dāng)困難的問(wèn)題。

（3）難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾。實(shí)例規(guī)模與網(wǎng)絡(luò)規(guī)?？偸谴嬖谥艽蟛町?，網(wǎng)絡(luò)容量也是有著自己的局限性，當(dāng)實(shí)例規(guī)模超出網(wǎng)絡(luò)容量時(shí)，BP算法會(huì)失敗。

基于前文所給出的BP網(wǎng)絡(luò)技術(shù)存在的利弊現(xiàn)象，結(jié)合工程造價(jià)實(shí)際情況，個(gè)人認(rèn)為，其弊端的解決方法可以概括為以下幾點(diǎn)：

（1）由于BP網(wǎng)絡(luò)技術(shù)在執(zhí)行較為復(fù)雜的目標(biāo)函數(shù)時(shí)會(huì)出現(xiàn)“崩潰”現(xiàn)象，即算法低效，函數(shù)圖象錯(cuò)亂、超過(guò)網(wǎng)絡(luò)容量等等。所以造價(jià)人員在選擇需要用BP算法概算的工程時(shí)應(yīng)該注意工程的復(fù)雜性，對(duì)于那些過(guò)于龐大、復(fù)雜的工程不宜采用BP算法，以免出現(xiàn)系統(tǒng)錯(cuò)亂。對(duì)于較為簡(jiǎn)單、較為精簡(jiǎn)的工程則可用BP算法進(jìn)行工程造價(jià)的概算。同時(shí)，也應(yīng)注意實(shí)例造價(jià)概算工程的規(guī)模與網(wǎng)絡(luò)實(shí)際承載規(guī)模的大小，對(duì)于網(wǎng)絡(luò)承載范圍之內(nèi)的，才宜采用BP算法。

（2）樣本數(shù)據(jù)的采集非常重要。BP算法的網(wǎng)絡(luò)預(yù)測(cè)能力是與訓(xùn)練能力呈正比的。因此，首先需要確定分解項(xiàng)目，分解項(xiàng)目應(yīng)選擇那些最能體現(xiàn)一個(gè)工程特征并且最能決定這個(gè)工程造價(jià)的關(guān)鍵因素，這樣才能正確定位這個(gè)工程的造價(jià)。其次，選擇的已建工程一定是要與待估工程有著較高的相似度。此處，可以進(jìn)行相似度估測(cè)，查看已建工程每個(gè)分項(xiàng)的隸屬度與待估工程隸屬度的差異，差異過(guò)大的樣本應(yīng)予以舍去。

（3）針對(duì)BP算法的“過(guò)擬合”現(xiàn)象，造價(jià)中需要注意的是選擇的樣本數(shù)量不宜過(guò)大。以防BP算法網(wǎng)絡(luò)學(xué)習(xí)了細(xì)節(jié)卻丟失了最重要的骨架――樣本內(nèi)部的規(guī)律，從而不能得出滿(mǎn)意的結(jié)果。

三、基于人工神經(jīng)網(wǎng)絡(luò)的送電線(xiàn)路工程造價(jià)概算

（一）送電線(xiàn)路工程造價(jià)估算模型建立

送電線(xiàn)路工程的造價(jià)受多個(gè)因素的相互影響，考慮下列因素作為影響著工程價(jià)格的主要因素，把它們列為神經(jīng)網(wǎng)絡(luò)的輸入單元，如圖l所示。設(shè)在某一電壓等級(jí)下的送電線(xiàn)路，考慮某種地形、氣象條件、架線(xiàn)回路、桿塔類(lèi)型等基本因素的影響，把實(shí)際工程項(xiàng)目投資劃分為工地運(yùn)輸、土石方工程、基礎(chǔ)工程、桿塔工程、架線(xiàn)工程、附件工程等6個(gè)部分。根據(jù)測(cè)算出的每公里建筑安裝費(fèi)用，再加上其它費(fèi)用與資金成本，得出每公里的單位靜態(tài)投資造價(jià)，將這些指標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸出單元。

圖1 圖2

（二）工神經(jīng)網(wǎng)絡(luò)模型的建立和設(shè)計(jì)

BP網(wǎng)絡(luò)模型結(jié)構(gòu)的選擇主要涉及到輸入層、輸出層、隱含層神經(jīng)元數(shù)目的確定、學(xué)習(xí)算法的確定等。

1、神經(jīng)元數(shù)目的確立

輸人層：由上面送電線(xiàn)路工程概算體系結(jié)構(gòu)的分析，按影響因素層次，可得到13項(xiàng)主要指標(biāo)，也即是下面的輸入神經(jīng)元。

輸出層：輸出節(jié)點(diǎn)對(duì)應(yīng)于評(píng)價(jià)結(jié)果，在筆者建立的模型中，產(chǎn)生了7個(gè)相關(guān)指標(biāo)，分別代表著本體工程的6項(xiàng)投資金額和單位投資金額，因此選擇7個(gè)輸出神經(jīng)元節(jié)點(diǎn)。

隱含層：隱含層神經(jīng)元單元數(shù)的選擇與輸入輸出單元的多少都有直接關(guān)系。

在實(shí)際操作中，可參考下面經(jīng)驗(yàn)公式(1)確定。

n1=(1)

其中，m為輸出神經(jīng)元數(shù)；拓為輸入神經(jīng)元數(shù)；a為1～10間的常數(shù),形成的人工神經(jīng)網(wǎng)絡(luò)示意圖見(jiàn)圖2。

2、輸入輸出向量

（1）輸入向量

1)地形因秦

送電線(xiàn)路地形可能由5種地形組合而成，所討論的某地區(qū)基本是丘陵和山地組成，因此選擇它們作為2個(gè)輸入神經(jīng)元，以所占線(xiàn)路的百分比表示。

2)線(xiàn)型因素

主要包括導(dǎo)線(xiàn)和地線(xiàn)型號(hào)的選擇，參考限額設(shè)計(jì)指標(biāo)與實(shí)際采用的導(dǎo)線(xiàn)型號(hào)，對(duì)于110 kV線(xiàn)路，有LGJ―150／20、LGJ―185／25、LGJ一240／35、LGJ一300／35四種類(lèi)型，依次選擇上述導(dǎo)線(xiàn)類(lèi)型，將對(duì)應(yīng)量化值為1、2、3和4。在地線(xiàn)型號(hào)選擇中，選取GJ一35、GJ一50，對(duì)于量化值為1和2，導(dǎo)線(xiàn)和地線(xiàn)型號(hào)量化值作為2個(gè)輸入神經(jīng)元。

3)平均檔距

反映相鄰桿塔問(wèn)的距離作為1個(gè)輸入神經(jīng)元。

4)桿塔數(shù)目

鐵塔數(shù)目和水泥桿數(shù)目對(duì)于造價(jià)影響重大，選擇鐵塔數(shù)和水泥桿數(shù)為2個(gè)輸入神經(jīng)元。

5)運(yùn)距

它包括人力運(yùn)距和汽車(chē)運(yùn)距兩部分，作為2個(gè)輸入神經(jīng)元。

6)土石方量

1個(gè)輸入神經(jīng)元。

7)金具

它包括掛線(xiàn)金具和拉線(xiàn)金具兩部分，作為2個(gè)輸入神經(jīng)元。

8)絕緣子

1個(gè)輸入神經(jīng)元。

（2）輸出向量

工地運(yùn)輸、土石方工程、基礎(chǔ)工程、桿塔工程、架線(xiàn)工程、附件工程、單位靜態(tài)投資。

參考文獻(xiàn)

篇4

（安徽理工大學(xué)測(cè)繪學(xué)院，安徽 淮南 232001）

【摘　要】神經(jīng)網(wǎng)絡(luò)算法的收斂性和穩(wěn)定性已經(jīng)得到了廣泛的證明，被應(yīng)用在許多工業(yè)監(jiān)控場(chǎng)合，在傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)基坑變形方法的基礎(chǔ)上，融入了灰色算法，生成了一種新的智能化模型，以對(duì)原有方法進(jìn)行優(yōu)化。通過(guò)實(shí)際案例證明，新的組合模型無(wú)論在計(jì)算時(shí)間還是在計(jì)算精度方面，都顯示了較為明顯的優(yōu)勢(shì)，具有一定的經(jīng)濟(jì)意義和實(shí)用價(jià)值。

關(guān)鍵詞 基坑變形；監(jiān)測(cè)；灰色模型；神經(jīng)網(wǎng)絡(luò)

0　引言

隨著我國(guó)社會(huì)經(jīng)濟(jì)的快速發(fā)展和城市規(guī)模的不斷擴(kuò)大，各項(xiàng)大型工程的建設(shè)也在蓬勃興起，從而帶動(dòng)了基坑工程的快速發(fā)展。基坑工程具有面積大、深度大、造價(jià)高及施工難度大等特點(diǎn)，其穩(wěn)定性和安全性越來(lái)越受全社會(huì)的普遍關(guān)注，因此變形預(yù)測(cè)和預(yù)報(bào)成為一項(xiàng)十分重要的工作。基于基坑的結(jié)構(gòu)類(lèi)型、組成物質(zhì)的物理學(xué)性質(zhì)、外力作用的多變性和不確定性，很難建立合適的確定性模型。目前用于變形預(yù)測(cè)模型有很多種，如回歸分析模型、灰色系統(tǒng)模型、神經(jīng)網(wǎng)絡(luò)模型等。本文針對(duì)灰色模型和神經(jīng)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，以期提高基坑變形測(cè)量的準(zhǔn)確性，更好的保障工程施工的安全。

1　灰色神經(jīng)網(wǎng)絡(luò)模型

1.1　BP神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為多種，本設(shè)計(jì)選取了BP神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，它屬于一種前饋型神經(jīng)網(wǎng)絡(luò)，目前應(yīng)用較為廣泛，已經(jīng)成為了一種成熟的優(yōu)化模型。BP神經(jīng)網(wǎng)絡(luò)不但有輸入層節(jié)點(diǎn)(單元)、輸出層節(jié)點(diǎn)，而且還有一層或多層隱含層節(jié)點(diǎn)，層與層之間多采用全連接方式，但同一層之間的節(jié)點(diǎn)不存在互相連接。該模型流程如下：

第一階段，正向傳播過(guò)程: 輸入層神經(jīng)元通過(guò)接受外界的輸入信息，并傳遞給中間層神經(jīng)元，中間層神經(jīng)元負(fù)責(zé)前后層之間的信息交換，并確定出中間層設(shè)計(jì)的隱含層的數(shù)量，最終將信息傳到輸出層并輸出顯示結(jié)果，完成一次正向傳播處理過(guò)程。

第二階段，反向傳播過(guò)程: 主要用于誤差調(diào)整，當(dāng)預(yù)測(cè)結(jié)果同預(yù)期差距過(guò)大時(shí)，誤差通過(guò)輸出層，通過(guò)采用誤差梯度下降的方式來(lái)調(diào)整各層權(quán)值，并向隱含層、輸入層逐層反向傳播。

以上兩個(gè)過(guò)程不斷循環(huán)往復(fù)，可在很短的時(shí)間內(nèi)完成整個(gè)尋優(yōu)過(guò)程，收斂性良好，并可保證將輸出誤差降低至最小。當(dāng)然，從另一角度考慮，為了防止算法陷入無(wú)限循環(huán)中，可預(yù)先設(shè)定學(xué)習(xí)次數(shù)，當(dāng)模型運(yùn)算次數(shù)達(dá)到預(yù)定值時(shí)，無(wú)論是否達(dá)到預(yù)期精度，都會(huì)終止模型并輸出結(jié)果。

1.2　灰色神經(jīng)網(wǎng)絡(luò)組合模型

灰色神經(jīng)網(wǎng)絡(luò)的組合預(yù)測(cè)模型是將灰色GM（1,1）模型和BP 神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，并充分發(fā)揮灰色系統(tǒng)和BP神經(jīng)網(wǎng)絡(luò)模型各自的優(yōu)勢(shì)，實(shí)現(xiàn)兩者優(yōu)勢(shì)互補(bǔ)，從而提高計(jì)算精度和運(yùn)算能力，更好地解決實(shí)際工程中復(fù)雜的不確定問(wèn)題。具體實(shí)施步驟如下:

（1）采用灰色GM（1，1） 模型對(duì)原始時(shí)序數(shù)據(jù)序列{x（0）（i）},i=1，2，…,n進(jìn)行預(yù)測(cè)，獲得擬合數(shù)據(jù)x’（1）（i）。

（2）求出殘差序列e（0）=x（0）－x’（0）,i=1,2,……,n，這里可取e（0）（i－3），e（0）（i－2），e（0）（i－1）作為BP神經(jīng)網(wǎng)絡(luò)的輸入，e（0）（i） 作為網(wǎng)絡(luò)的輸出，從而獲得BP神經(jīng)網(wǎng)絡(luò)修正后的殘差序列e’（0）（i） ，則組合模型的最終預(yù)測(cè)結(jié)果等x’（0）（i）+e’（0）（i） 。

采用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行殘差修正的預(yù)測(cè)模型流程，如圖1所示。

2　實(shí)例分析

某大型工程基坑開(kāi)挖深度11m～14m，基坑工程類(lèi)別為一級(jí)。該場(chǎng)地地下水類(lèi)型主要有上層滯水、第四系松散巖類(lèi)孔隙裂隙水。土層滯水主要賦存于人工填土層中，水位不連續(xù)，變化幅度大，主要接受大氣降水和地表水體的補(bǔ)給。基坑線(xiàn)路東側(cè)沿線(xiàn)分布有多個(gè)水塘，部分坑內(nèi)有積水。水坑均為雨季雨水匯集形成，個(gè)別水坑在線(xiàn)路上方?；邮┕み^(guò)程中，若發(fā)生較大范圍的土體變形，造成邊坡土體開(kāi)裂，會(huì)導(dǎo)致水塘內(nèi)積水滲入基坑，從而影響基坑施工安全。在此期間，為實(shí)時(shí)了解基坑在開(kāi)挖過(guò)程中的變形情況，對(duì)該基坑進(jìn)行了定期觀(guān)測(cè)。其中基坑的沉降監(jiān)測(cè)點(diǎn)位布設(shè)如圖2 所示。

為了檢驗(yàn)灰色神經(jīng)網(wǎng)絡(luò)模型在變形監(jiān)測(cè)數(shù)據(jù)預(yù)測(cè)中的效果，對(duì)該基坑冠梁上監(jiān)測(cè)點(diǎn)x－2的沉降數(shù)據(jù)數(shù)據(jù)進(jìn)行計(jì)算分析。這里選取4 個(gè)月的監(jiān)測(cè)數(shù)據(jù)，時(shí)間間隔為4d，共計(jì)22次數(shù)據(jù)，分別用3種模型進(jìn)行預(yù)測(cè)分析。采用前19 次實(shí)測(cè)數(shù)據(jù)建立相應(yīng)模型，對(duì)后3次數(shù)據(jù)進(jìn)行預(yù)測(cè)，將獲得的擬合結(jié)果和預(yù)測(cè)結(jié)果同實(shí)測(cè)數(shù)據(jù)進(jìn)行比較分析。通過(guò)MATLAB進(jìn)行編程計(jì)算，可得GM（1,1）模型擬合結(jié)果。

圖3 列出了兩種模型的擬合和預(yù)測(cè)情況，可以看出，灰色神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度明顯高GM（1,1） 模型的預(yù)測(cè)精度，尤其是數(shù)據(jù)序列存在上下波動(dòng)的情況下。在實(shí)際的變形監(jiān)測(cè)過(guò)程中，由于許多不確定因素的存在，大多數(shù)獲得的數(shù)據(jù)序列是波動(dòng)的，此時(shí)我們可以采用灰色神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，可有效提高精度，并獲得較滿(mǎn)意的結(jié)果。

4　結(jié)語(yǔ)

本文將灰色理論和神經(jīng)網(wǎng)絡(luò)模型相結(jié)合，建立灰（下轉(zhuǎn)第259頁(yè)）（上接第106頁(yè)）色神經(jīng)優(yōu)化組合模型，充分發(fā)揮兩者優(yōu)勢(shì)，能夠在小樣本，貧信息及數(shù)據(jù)有波動(dòng)等情況下對(duì)變形監(jiān)測(cè)數(shù)據(jù)做出比較準(zhǔn)確的模擬和預(yù)測(cè)，并具有模型簡(jiǎn)單、無(wú)需確定非線(xiàn)性函數(shù)和計(jì)算方便等優(yōu)點(diǎn)，從而為變形監(jiān)測(cè)的數(shù)據(jù)處理提供一種有效的方法。

參考文獻(xiàn)

［1］張正祿,黃全義,文紅雁,等．工程的變形監(jiān)測(cè)分析與預(yù)報(bào)[M]．北京:測(cè)繪出版社,2007．

篇5

1.1人工神經(jīng)網(wǎng)絡(luò)研究簡(jiǎn)況

1943年，生理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.A.Pitts首次提出二值神經(jīng)元模型。半個(gè)世紀(jì)以來(lái)人們對(duì)神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了五六十年代的第一次熱潮，跌人了70年代的低谷;80年代后期迎來(lái)了第二次研究熱潮，至今迭起，不亞于二戰(zhàn)期間對(duì)原子彈研究的狂熱。

人工神經(jīng)網(wǎng)絡(luò)是模仿生物腦結(jié)構(gòu)與功能的一種信息處理系統(tǒng)。作為一門(mén)新興的交叉學(xué)科，人工神經(jīng)網(wǎng)絡(luò)以其大規(guī)模并行結(jié)構(gòu)、信息的分布式存儲(chǔ)和并行處理，具有良好的自適應(yīng)性、自組織性和容錯(cuò)性,具有較強(qiáng)的學(xué)習(xí)、記憶、聯(lián)想、識(shí)別功能氣引起眾多領(lǐng)域科學(xué)家的廣泛關(guān)注，成為目前國(guó)際上非?；钴S的前沿領(lǐng)域之一。

    1.2人工神經(jīng)網(wǎng)絡(luò)的基本模型及其實(shí)現(xiàn)

    1.2.1人工神經(jīng)網(wǎng)絡(luò)的基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型見(jiàn)表1?

1.2.2以誤差逆?zhèn)鞑ツＰ驼f(shuō)明人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用最多的是誤差逆?zhèn)鞑?ErrorBack-Propagation)網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò)，從結(jié)構(gòu)講’BP網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò)，分為輸入層、隱含層和輸出層3層,層與層的神經(jīng)元之間多采用全互連方式，而同層各神經(jīng)元之間無(wú)連接，見(jiàn)圖1。BP網(wǎng)絡(luò)的基本處理單元（輸入層單元除外）為非線(xiàn)性輸人-輸出關(guān)系，一般選用S型作用函數(shù)f(x)=l/(1+e-當(dāng)給定網(wǎng)絡(luò)一個(gè)輸人模式時(shí)，它由輸人層單元傳到隱含層單元，經(jīng)隱含層單元逐層處理后再送到輸出層單元，由輸出層單元處理后產(chǎn)生一個(gè)輸出模式。這是一個(gè)逐層狀態(tài)更新的過(guò)程，稱(chēng)為前向傳播。如果期望輸出與實(shí)際輸出之間的誤差不滿(mǎn)足要求，那么就轉(zhuǎn)人誤差反向傳播，將誤差值沿通路逐層傳送并修正各層連接權(quán)值(w1,W2),這是一個(gè)逐層權(quán)值更新的過(guò)程，稱(chēng)為誤差反向傳播過(guò)程。隨著2個(gè)過(guò)程的反復(fù)進(jìn)行，誤差逐漸減小，直至滿(mǎn)足要求為止。

2常用人工神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用分析

當(dāng)前，人工神經(jīng)網(wǎng)絡(luò)方法主要應(yīng)用于有機(jī)有毒化合物毒性的分類(lèi)及定量預(yù)測(cè)、對(duì)不同污染物生物降解性能的預(yù)測(cè)、單要素環(huán)境質(zhì)量評(píng)價(jià)、環(huán)境質(zhì)量綜合評(píng)價(jià)、環(huán)境預(yù)測(cè)、環(huán)境綜合決策等方面。

2.1預(yù)測(cè)性能的分析

以BP網(wǎng)絡(luò)為例，就近兩年來(lái)應(yīng)用BP網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的成功研究來(lái)看，人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)性能得到了充分的肯定。

1997年，劉國(guó)東等141應(yīng)用BP網(wǎng)絡(luò)建立的雅礱江和嘉陵江流域氣溫、降水和徑流之間關(guān)系的網(wǎng)絡(luò)模型，具有較高的擬合精度和預(yù)報(bào)精度，并具有精度可控制的優(yōu)點(diǎn)。計(jì)算結(jié)果同國(guó)內(nèi)外研究成果的一致性表明，用BP網(wǎng)絡(luò)分析、研究氣候變化對(duì)一個(gè)地區(qū)(或流域)水資源環(huán)境的影響是一種新穎、有效的方法。

王瑛等w指出，當(dāng)外界環(huán)境和系統(tǒng)本身性質(zhì)發(fā)生劇烈變化時(shí)，BP網(wǎng)絡(luò)能提供一種有效的方法來(lái)更新模型，實(shí)現(xiàn)新舊模型之間的轉(zhuǎn)換。他們利用最近12年(1981~1992年）的環(huán)境經(jīng)濟(jì)數(shù)據(jù)對(duì)2000年環(huán)境指標(biāo)進(jìn)行了預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果對(duì)未來(lái)的環(huán)境對(duì)策進(jìn)行了分析。這為解決環(huán)境預(yù)測(cè)的模型問(wèn)題提供了一條新思路。

張愛(ài)茜等用人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)含硫芳香族化合物好氧生物降解速率常數(shù)和孫唏等⑺對(duì)胺類(lèi)有機(jī)物急性毒性的分類(lèi)及定量預(yù)測(cè)的結(jié)果都說(shuō)明了，人工神經(jīng)網(wǎng)絡(luò)作為一種非線(xiàn)性模型預(yù)測(cè)能力大大優(yōu)于多兀線(xiàn)性回歸模型。

2.2 評(píng)價(jià)性能的分析

人們?cè)诃h(huán)境評(píng)價(jià)中主要應(yīng)用了BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)等模型，并不斷地改進(jìn)應(yīng)用方法，對(duì)其在環(huán)境評(píng)價(jià)中的性能進(jìn)行比較研究》李祚泳的研究結(jié)果表明BP網(wǎng)絡(luò)用于水質(zhì)評(píng)價(jià)具有客觀(guān)性和實(shí)用性。劉國(guó)東等?改進(jìn)了BP網(wǎng)絡(luò)的應(yīng)用kf法，并比較了BP網(wǎng)絡(luò)與Hopfield網(wǎng)絡(luò)在水質(zhì)綜合評(píng)價(jià)中的性能。他們指出Hopfield網(wǎng)絡(luò)采用模式（圖象)聯(lián)想或匹配，既適用于定量指標(biāo)的水質(zhì)參數(shù)又適用于定性指標(biāo)的水質(zhì)參數(shù)，而且使水質(zhì)評(píng)價(jià)形象化，因此更優(yōu)于BP網(wǎng)絡(luò).郭宗樓等將徑向基函數(shù)人工神經(jīng)網(wǎng)絡(luò)(RBF—ANN)模型應(yīng)用于城市環(huán)境綜合評(píng)價(jià)，結(jié)果-表明RBF網(wǎng)絡(luò)不僅具有良好的推廣能力，而且避免了反向傳播那樣繁瑣、冗長(zhǎng)的計(jì)算，其學(xué)習(xí)速度是常用的BP網(wǎng)絡(luò)無(wú)法比擬的。郭宗樓等[|11又以三峽工程為背景，把該模型應(yīng)用于水利水電工程環(huán)境影響綜合評(píng)價(jià)的人工神經(jīng)網(wǎng)絡(luò)專(zhuān)家系統(tǒng)中，與分級(jí)加權(quán)評(píng)價(jià)法相比較具有更高的推理效率。

環(huán)境科學(xué)研究的問(wèn)題，如環(huán)境污染、生態(tài)破壞、自然災(zāi)害、資源耗竭、人口過(guò)量等等，無(wú)一不是在某種程度上損傷或破壞了人——環(huán)境的和謂。人——環(huán)境關(guān)系有著自身的變化規(guī)律,是可以進(jìn)行科學(xué)量度的。顯然這一M?度是多方位、多因素的非線(xiàn)性評(píng)價(jià)問(wèn)題,至今尚未建立起一種適當(dāng)?shù)脑u(píng)價(jià)模型，我們是否可以借鑒人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用優(yōu)點(diǎn)，考慮建立基于人工神經(jīng)網(wǎng)絡(luò)方法的評(píng)價(jià)模型。

篇6

內(nèi)容摘要：本文首先選取若干科技園的投入產(chǎn)出統(tǒng)計(jì)指標(biāo)，采用DEA進(jìn)行分析，得到各自效率值，最后重新選取同樣影響效率的其他相對(duì)指標(biāo)作為輸入，將已得效率值作為輸出，由此作為學(xué)習(xí)樣本，利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，并在此基礎(chǔ)上進(jìn)行科技園效率預(yù)測(cè)，從而實(shí)現(xiàn)對(duì)科技園運(yùn)營(yíng)效率的控制。

關(guān)鍵詞：DEA BP神經(jīng)網(wǎng)絡(luò) 大學(xué)科技園 效率評(píng)價(jià)

研究方法

（一）數(shù)據(jù)包絡(luò)分析

數(shù)據(jù)包絡(luò)分析（DEA）是用于評(píng)價(jià)系統(tǒng)相對(duì)效率的分參數(shù)化方法。他們的第一個(gè)模型被命名為CCR模型。從生產(chǎn)函數(shù)角度看，這一模型是用來(lái)研究具有多個(gè)輸入、特別是具有多個(gè)輸出的“生產(chǎn)部門(mén)”同時(shí)為“規(guī)模有效”與“技術(shù)有效”的十分理想且卓有成效的方法。利用數(shù)學(xué)規(guī)劃模型，該方法可以解決具有多輸入多輸出特征的同行業(yè)企業(yè)生產(chǎn)效率評(píng)價(jià)問(wèn)題。

在進(jìn)行大學(xué)科技園運(yùn)營(yíng)效率評(píng)價(jià)時(shí)，將每一個(gè)科技園看做一個(gè)決策單元，假設(shè)有n個(gè)待評(píng)價(jià)的科技園，決策單元DMUj（1≤j≤n）的輸入、輸出指標(biāo)向量分別為Xj=（X1，X2j，…，Xmj）T>0，Yj=（Y1，Y2j，…，Ysj）T>0，即有m個(gè)類(lèi)型輸入和s個(gè)類(lèi)型產(chǎn)出，h0為DMUj0的效率指數(shù)。

設(shè)輸入和輸出指標(biāo)的權(quán)向量為v=（v1，v2，…，vm）T>0，u=（u1，u2，…，us）T

建立C2R模型（分式規(guī)劃）：

令，ω=tv，μ=tu，進(jìn)行C2變換，轉(zhuǎn)換為模型：

為了直接判別DMU的DEA有效性，考慮模型的對(duì)偶問(wèn)題為（模型）：

X0，Y0分別表示決策單元DMU0的輸入和輸出，λj，θ0是決策變量。如果決策單元是有效的，則θ*0=1。

（二）BP神經(jīng)網(wǎng)絡(luò)

BP網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)，解決了多層網(wǎng)絡(luò)中隱含單元連接權(quán)的學(xué)習(xí)問(wèn)題。輸入信號(hào)從輸入節(jié)點(diǎn)依次傳過(guò)各隱含層，然后傳到輸出節(jié)點(diǎn)，每一層節(jié)點(diǎn)的輸出只影響下一層節(jié)點(diǎn)的輸出。為了加快網(wǎng)絡(luò)訓(xùn)練的收斂速度，可對(duì)輸入矢量作標(biāo)準(zhǔn)化處理，并對(duì)各連接權(quán)值賦予初值。BP網(wǎng)絡(luò)可看作是一個(gè)從輸入到輸出的高度非線(xiàn)性映射，神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)簡(jiǎn)單的非線(xiàn)性函數(shù)進(jìn)行數(shù)次復(fù)合，可近似復(fù)雜的函數(shù)?；镜腂P神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1所示。

它的具體數(shù)學(xué)模型如下：

隱層節(jié)點(diǎn)的傳遞函數(shù)及網(wǎng)絡(luò)輸出函數(shù)f（x）均采用Logistic函數(shù)：。

誤差計(jì)算模型：反映神經(jīng)網(wǎng)絡(luò)期望輸出與計(jì)算輸出之間誤差大小的函數(shù)。

第j個(gè)單元節(jié)點(diǎn)的輸出的誤差為，總誤差為，Tjk是j節(jié)點(diǎn)的期望輸出值，yjk是j節(jié)點(diǎn)的實(shí)際輸出值。

中間層節(jié)點(diǎn)的數(shù)學(xué)模型如下：。O1jk表示中間層上，輸入第k個(gè)樣本時(shí)，第j個(gè)節(jié)點(diǎn)的輸出。Xj為第j個(gè)節(jié)點(diǎn)輸入。w1ij為輸入層到中間層的權(quán)值。

輸出節(jié)點(diǎn)的數(shù)學(xué)模型如下：。O2jk表示輸出層上，輸入第k個(gè)樣本時(shí)，第j個(gè)節(jié)點(diǎn)的輸出，w2ij為中間層的到輸出層的權(quán)值。

修正權(quán)值：

BP算法的實(shí)現(xiàn)為：BP算法分兩步進(jìn)行，即正向傳播和反向傳播。正向傳播時(shí)，輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。

實(shí)證研究

（一）指標(biāo)與數(shù)據(jù)選擇

本文選取北京大學(xué)國(guó)家大學(xué)科技園等37家有代表性的國(guó)家級(jí)大學(xué)科技園2008年的數(shù)據(jù)進(jìn)行研究，分析分為兩個(gè)部分進(jìn)行，各自的指標(biāo)選擇如下：

DEA分析階段：取年末固定資產(chǎn)凈值、科技園區(qū)人員數(shù)量、科技園區(qū)總面積、科技園孵化基金總額等四個(gè)指標(biāo)作為投入變量，以在孵企業(yè)數(shù)、在孵企業(yè)工業(yè)總產(chǎn)值、在孵企業(yè)凈利潤(rùn)、累計(jì)畢業(yè)企業(yè)數(shù)、累計(jì)畢業(yè)企業(yè)工業(yè)總產(chǎn)值等五個(gè)指標(biāo)作為產(chǎn)出變量。

BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)階段：考慮到從效率分析的角度說(shuō)，投入低的地區(qū)不見(jiàn)得效率就低，因此在對(duì)科技園效率進(jìn)行評(píng)價(jià)時(shí)必須采用相對(duì)指標(biāo)。因此，選取在孵企業(yè)平均收入、在孵企業(yè)凈利潤(rùn)與工業(yè)總產(chǎn)值的比值以及已畢業(yè)企業(yè)平均工業(yè)總產(chǎn)值作為投入變量，將效率分析值作為唯一產(chǎn)出變量，進(jìn)一步采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

（二）效率分析結(jié)果

采用DEA SOLVER 3.0軟件進(jìn)行DEA分析，結(jié)果如表1所示。有15家大學(xué)科技園的運(yùn)營(yíng)效率達(dá)到DEA有效，有10家大學(xué)科技園的運(yùn)營(yíng)效率DEA值在0.5以下，這說(shuō)明這些大學(xué)科技園的投入存在不合理的地方，導(dǎo)致產(chǎn)出不足。

（三） BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

采用Alyuda NeuroIntelligence V2.2軟件進(jìn)行BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)，結(jié)果如表2所示。由于科技園產(chǎn)出相對(duì)投入存在一定的滯后性，這里選擇為2005年的數(shù)據(jù)。

BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)有3個(gè)，輸出節(jié)點(diǎn)只有1個(gè)即效率值。本文采用1層隱含層，即采用一個(gè)3層網(wǎng)絡(luò)來(lái)建立科技系統(tǒng)與效率之間的非線(xiàn)性映射關(guān)系。在節(jié)點(diǎn)選擇上，如果隱層節(jié)點(diǎn)數(shù)量太少，網(wǎng)絡(luò)從樣本中獲取的信息能力就差，不足以概括和體現(xiàn)訓(xùn)練集中的樣本規(guī)律；隱層節(jié)點(diǎn)數(shù)量過(guò)多，又可能把樣本中非規(guī)律性的噪聲等也學(xué)會(huì)記牢，從而出現(xiàn)所謂過(guò)度吻合問(wèn)題，反而降低了泛化能力。根據(jù)經(jīng)驗(yàn)公式，本文將隱層節(jié)點(diǎn)數(shù)定為6個(gè)。

在進(jìn)行訓(xùn)練中，參數(shù)設(shè)為默認(rèn)值，經(jīng)過(guò)20000次循環(huán)趨于穩(wěn)定。為了測(cè)試模型的預(yù)測(cè)精度，將輸入數(shù)據(jù)作為模擬值，得出BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的計(jì)算結(jié)果，只有3個(gè)大學(xué)科技園的效率誤差在5%以上，最大誤差為7.37%，取得了較高的預(yù)測(cè)精度。

根據(jù)人工神經(jīng)網(wǎng)絡(luò)模型，可以對(duì)大學(xué)科技園的運(yùn)營(yíng)效率進(jìn)行中期或事前評(píng)價(jià)，一旦發(fā)現(xiàn)效率低下的跡象，可以分析其產(chǎn)生的原因，采取相應(yīng)的措施進(jìn)行控制。

本文評(píng)價(jià)方法選取既避免了人為計(jì)算權(quán)值的主觀(guān)性和不確定性，同時(shí)BP神經(jīng)網(wǎng)絡(luò)快速的學(xué)習(xí)能力，也保證評(píng)價(jià)結(jié)果更加客觀(guān)準(zhǔn)確。本文的創(chuàng)新之處在于將DEA和BP神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，提出了對(duì)大學(xué)科技園進(jìn)行評(píng)價(jià)的新的模型。今后從以下方面研究：提高指標(biāo)選取的合理性，提出更加科學(xué)的指標(biāo)體系；對(duì)評(píng)價(jià)方法進(jìn)行改進(jìn)，提出更加有效和科學(xué)的方法或模型。

參考文獻(xiàn)：

1.徐小欽，陶星潔，王永寧.基于層次分析法和動(dòng)態(tài)聚類(lèi)法的大學(xué)科技園評(píng)價(jià)[J].重慶大學(xué)學(xué)報(bào)(自然科學(xué)版)，2004

2.范德成，張巍.大學(xué)科技園評(píng)價(jià)指標(biāo)體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2005

篇7

關(guān)鍵詞:鋼管混凝土;拱橋;拱肋;線(xiàn)性控制;BP神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào):TU377文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1673-0992(2010)06A-0159-01

近年來(lái),鋼管混凝土拱橋以結(jié)構(gòu)性能優(yōu)越、跨越能力大、體系靈活多樣、外形美觀(guān)、施工方便等優(yōu)點(diǎn),備受工程界青睞。然而,鋼管混凝土拱橋施工過(guò)程中,常因忽視橋梁結(jié)構(gòu)內(nèi)力和變形的控制導(dǎo)致拱橋墜毀,從而造成慘重傷亡和經(jīng)濟(jì)損失,給工程界帶來(lái)了沉痛的經(jīng)驗(yàn)教訓(xùn)[1~3]。因此,鋼管混凝土拱橋工程施工狀態(tài)的監(jiān)控就顯得十分必要,而拱橋拱肋線(xiàn)性控制是主要內(nèi)容之一。

拱肋線(xiàn)形監(jiān)控的方案有很多種。常用的是采用“全站儀+棱鏡”的方法,但是這種方法存在很多弊端。首先棱鏡不容易固定在拱肋表面,需要專(zhuān)門(mén)設(shè)計(jì)支架;其次棱鏡與拱肋表面的距離無(wú)法測(cè)量準(zhǔn)確,因此只能測(cè)量相對(duì)變形,無(wú)法測(cè)出絕對(duì)高程;第三,光學(xué)測(cè)量的精度有限,對(duì)于小變形來(lái)說(shuō),光學(xué)儀器不一定能夠覺(jué)察。

為解決上述問(wèn)題,本文結(jié)合鹽城尖湖橋施工監(jiān)控實(shí)體工程,采用BP神經(jīng)網(wǎng)絡(luò)方法,通過(guò)樣本訓(xùn)練,仿真逼近,尋求出適合于樣本數(shù)據(jù)的非線(xiàn)性映射關(guān)系,輸出結(jié)果可作為拱橋施工過(guò)程中拱肋線(xiàn)形控制的依據(jù)。

1 工程概括

尖湖橋位于江蘇省鹽都縣境內(nèi),為省道S233跨越V級(jí)航道的咽喉工程。該橋設(shè)計(jì)為鋼筋混凝土下承式剛性系桿剛性拱體系拱橋,矢高為12m,矢跨比為1/5.417,主橋拱軸線(xiàn)為二次拋物線(xiàn)y=4fx(L-x)/L2。橋梁計(jì)算跨徑65.56m,與河道成51.74?相交;橋面凈寬為2×3.75m+2×0.5m,總寬9.70m。

橋梁拱肋由兩榀單肋圓形鋼管組成,內(nèi)填50號(hào)微脹混凝土,拱間設(shè)有“一”字型橫撐。全橋吊桿共24根,左右各12根對(duì)稱(chēng)分布。外部用鋼管套防護(hù),鋼管套外徑20.3cm,壁厚12mm。行車(chē)道板為25cm厚的預(yù)制實(shí)心板,頂面澆筑10cm整體化鋼筋混凝土面層。橋面縱坡為2.932%。橋面橫坡為2%。拱肋線(xiàn)性位移監(jiān)控點(diǎn)如圖1所示。

圖1 拱肋線(xiàn)性監(jiān)控點(diǎn)示意圖

2 理論介紹

Rumelhart等人于1986年提出的3層BP(Back-propagation)反向傳播神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型如圖2所示[4~6]。

圖2 3層BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型

該模型由輸入層、隱層、輸出層組成。各層次的神經(jīng)元之間形成全互聯(lián)連接,同層各神經(jīng)元之間沒(méi)有任何聯(lián)系。網(wǎng)絡(luò)包含n個(gè)輸入節(jié)點(diǎn)、h個(gè)隱含層節(jié)點(diǎn)、m個(gè)輸出節(jié)點(diǎn),輸入層和隱層之間的權(quán)值為[V]n*h,隱層和輸出層之間的權(quán)值為[C]h*m,在輸入層和隱層中分別加入加入一個(gè)閥值單元,該單元只向前傳播,與下一層形成全互聯(lián)連接,而與前一層無(wú)連接。各層之間的映射關(guān)系采用Sigmoid型函數(shù),表達(dá)式為:

f=/(1+e-x) (1)

3層BP神經(jīng)網(wǎng)絡(luò)是一種有導(dǎo)師的學(xué)習(xí)網(wǎng)絡(luò),其學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。正向傳播過(guò)程中,訓(xùn)練樣本從輸入層經(jīng)隱層單元處理后傳向輸出層,每一層神經(jīng)元的狀態(tài)只影響下層神經(jīng)元的狀態(tài)。輸出層的輸出值與目標(biāo)值之間的誤差將通過(guò)誤差反向傳播,按照梯度下降法調(diào)整各層之間的連接權(quán)值和閥值,使誤差函數(shù)E達(dá)到極小值,最后由此網(wǎng)絡(luò)進(jìn)行新問(wèn)題預(yù)測(cè)、檢驗(yàn)和求解。

3 實(shí)例分析

以尖湖橋拱肋線(xiàn)形監(jiān)控過(guò)程為例,選用圖1所示的點(diǎn)1和點(diǎn)2表面的理論計(jì)算應(yīng)力和位移數(shù)據(jù)對(duì)作為訓(xùn)練樣本,選用點(diǎn)3上表面的理論計(jì)算應(yīng)力和位移作為檢驗(yàn)樣本對(duì)。

表1 訓(xùn)練及驗(yàn)算樣本對(duì)

模擬位移值與樣本位移值之間的相關(guān)關(guān)系表明,利用BP神經(jīng)網(wǎng)絡(luò)輸出的模擬位移與理論值之間存在線(xiàn)性關(guān)系,說(shuō)明利用應(yīng)力值,通過(guò)網(wǎng)絡(luò)進(jìn)行映射之后可以得到位移值,而且具有很好的精度。

利用實(shí)測(cè)應(yīng)力值和訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)尖湖橋圖1所示的半跨拱肋施工期末的點(diǎn)1、點(diǎn)2和點(diǎn)3的垂直位移進(jìn)行了計(jì)算,并與理論計(jì)算值進(jìn)行比較,結(jié)果表明,施工期末點(diǎn)1和點(diǎn)3垂直位移與理論值極為接近,實(shí)測(cè)值與理論值之差不超過(guò)1mm。而上游拱肋在點(diǎn)2處位移比理論值偏大一點(diǎn),也只有1.8mm,小于L/3000=2.2mm的規(guī)范要求。利用BP 神經(jīng)網(wǎng)絡(luò)方法的計(jì)算結(jié)果表明,施工末期上下游拱肋的垂直變形都符合要求。

4 結(jié)論

BP神經(jīng)網(wǎng)絡(luò)方法在鋼管混凝土橋梁拱肋線(xiàn)形控制方面的應(yīng)用,很好地解決了施工過(guò)程中線(xiàn)形位移測(cè)量所帶來(lái)的不便,其計(jì)算結(jié)果為鋼管混凝土拱橋拱肋施工提供了可靠的理論依據(jù)。

參考文獻(xiàn):

[1] 付超. 大跨度鋼管混凝土拱橋拱肋線(xiàn)形控制技術(shù)[J]. 橋梁鋼結(jié)構(gòu), 2000, 3(15), 8-11.

[2] 廖金平, 張浩, 陳偉. 大跨鋼管混凝土拱橋預(yù)制吊裝施工拱肋線(xiàn)型控制[J]. 遼寧交通科技, 2005, (7), 68-75.

[3] 胡大琳, 艾夫?哈依姆, 黃安錄. 大跨徑鋼管混凝土拱橋空間幾何非線(xiàn)性分析[J]. 中國(guó)公路學(xué)報(bào), 1998, (4), 45-51.

[4] 周敉, 張h, 彭挺. RC梁橋承載力BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[J]. 公路與汽運(yùn), 2004, 3, 68-70.

篇8

關(guān)鍵詞：方法；維修性評(píng)估；BP神經(jīng)網(wǎng)絡(luò)

1 概述

維修性是現(xiàn)代航空武器裝備重要的設(shè)計(jì)特性，是影響其使用可用度和作戰(zhàn)效能的重要因素。定型試飛階段是裝備維修性評(píng)價(jià)的重要環(huán)節(jié)，其目的是驗(yàn)證裝備的維修性水平是否達(dá)標(biāo)，為改進(jìn)裝備維修性設(shè)計(jì)提供重要參考，提高裝備的維修性水平。試飛階段的維修性評(píng)價(jià)主要是通過(guò)試飛階段產(chǎn)生的維修信息，驗(yàn)證裝備的維修性水平。維修性評(píng)估除了有量化指標(biāo)要求外，還有很多是一些非量化和無(wú)法量化的要求和指標(biāo)。對(duì)這些非量化的指標(biāo)和要求進(jìn)行評(píng)價(jià)是非常困難的，往往不易下結(jié)論或者結(jié)論不夠準(zhǔn)確。目前，人們一般采用層次分析法（AHP）、模糊綜合評(píng)判法或灰色評(píng)價(jià)法進(jìn)行評(píng)價(jià)，但這些方法具有較強(qiáng)的主觀(guān)性，缺乏自學(xué)習(xí)能力，實(shí)際評(píng)判中易受判定隨機(jī)性、參評(píng)人員主觀(guān)不確定性及認(rèn)識(shí)模糊性等諸多因素的制約。針對(duì)以上情況，文章在建立維修性定性評(píng)估指標(biāo)體系的基礎(chǔ)上，采用目前比較成熟且最常用的一種神經(jīng)網(wǎng)絡(luò)方法，即BP神經(jīng)網(wǎng)絡(luò)，建立了評(píng)價(jià)模型，并給出了評(píng)價(jià)結(jié)果。

2 BP神經(jīng)網(wǎng)絡(luò)方法

人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生理學(xué)和心理學(xué)的研究基礎(chǔ)上，模仿人的大腦神經(jīng)元結(jié)構(gòu)特性而建立的一種非線(xiàn)性動(dòng)力學(xué)網(wǎng)絡(luò)系統(tǒng)，它由大量簡(jiǎn)單的非線(xiàn)性處理單元（類(lèi)似人腦的神經(jīng)元）高度并聯(lián)、互聯(lián)而成，具有對(duì)人腦某些基本特性的簡(jiǎn)單的數(shù)學(xué)模擬能力。

2.1 BP網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是一種單向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)，由一個(gè)輸入層、一個(gè)輸出層和若干中間層（隱層）構(gòu)成。每層由若干神經(jīng)元組成，不同層次的神經(jīng)元之間形成全互連接。層內(nèi)神經(jīng)元相互獨(dú)立，不同層次之間的神經(jīng)元以權(quán)值W單向連接。每層神經(jīng)元在節(jié)點(diǎn)接受前一層的輸出，同時(shí)進(jìn)行線(xiàn)性復(fù)合和映射（線(xiàn)性或非線(xiàn)性），通過(guò)復(fù)合反映不同神經(jīng)元之間的耦合和映射對(duì)輸入信息作出反應(yīng)。

BP神經(jīng)網(wǎng)絡(luò)對(duì)于輸入值要先向前傳播到隱層節(jié)點(diǎn)，經(jīng)作用函數(shù)運(yùn)算后，再把隱層節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后給出輸出值。文章采用一種具有個(gè)n2輸入節(jié)點(diǎn)、n1個(gè)隱層節(jié)點(diǎn)和單個(gè)輸出節(jié)點(diǎn)的三層BP神經(jīng)網(wǎng)絡(luò)，它的數(shù)學(xué)模型是：

Y=f（WijX+？茲1） （1）

Z=f（WjY+？茲2） （2）

其中，X，Y，Z分別為輸入層、隱層和輸出層矢量（節(jié)點(diǎn)向量）；Wij，？茲1和Wj，？茲2分別表示輸入層與隱含層以及隱含層與輸出層之間的連接權(quán)和閾值，i=1，2，…，n2；j=1，2，…，n1；f（x）為網(wǎng)絡(luò)激活函數(shù)或傳遞函數(shù)，通常采用S形函數(shù)，即f（x）=■，如果整個(gè)網(wǎng)絡(luò)的輸出要取實(shí)數(shù)域內(nèi)任何值，則網(wǎng)絡(luò)輸出層可以采用線(xiàn)性函數(shù)作為傳遞函數(shù)，即f（x）=x，其結(jié)構(gòu)如圖1所示。

圖2 圖1中神經(jīng)元j的結(jié)構(gòu)模型

圖1中Xk=（xp1，xp2，？撰，xpn2）為評(píng)價(jià)指標(biāo)屬性值，k=1，2，…，s，其中s是輸入樣本量；Z為樣本模式P的輸出。B=[b1，b2，？撰，bs]T=[bp]s×1為與樣本模式P對(duì)應(yīng)的評(píng)價(jià)結(jié)果，也是神經(jīng)網(wǎng)絡(luò)的期望輸出值。實(shí)際輸出Z與期望輸出bp的誤差函數(shù)Ep定義為Ep=（bp-Z）2/2。

對(duì)于圖1中隱層的神經(jīng)元j，其結(jié)構(gòu)模型如圖2。

神經(jīng)元j模型可以表示為：

（3）

2.2 BP網(wǎng)絡(luò)學(xué)習(xí)過(guò)程

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程由正向傳播和反向傳播兩部分組成，在正向傳播過(guò)程中，輸入模式從輸入層經(jīng)過(guò)隱層神經(jīng)元的處理后，傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果在輸出層得不到期望的輸出，則轉(zhuǎn)入反向傳播，此時(shí)誤差信號(hào)從輸出層向輸入層傳播并沿途調(diào)整各層向連接權(quán)值和閾值。以使誤差不斷減小，直到達(dá)到精度要求。該算法實(shí)際上是求誤差函數(shù)的極小值，它通過(guò)多個(gè)樣本的反復(fù)訓(xùn)練，并采用最快下降法使得權(quán)值沿著誤差函數(shù)負(fù)梯度方向改變，并收斂于最小點(diǎn)。

3 維修性定性評(píng)價(jià)指標(biāo)體系

根據(jù)GJB 368B裝備維修性通用工作要求中維修性定性評(píng)價(jià)內(nèi)容可確定維修性定性評(píng)估的指標(biāo)體系如圖3所示。

圖3 維修性定性評(píng)價(jià)指標(biāo)體系

維修性評(píng)價(jià)的最主要目的就是得出分析對(duì)象的維修性好壞。對(duì)于二級(jí)指標(biāo)，這里為了方便現(xiàn)場(chǎng)操作人員評(píng)價(jià)打分，每個(gè)指標(biāo)又細(xì)化為多個(gè)評(píng)價(jià)準(zhǔn)則。這里給出了互換性與標(biāo)準(zhǔn)化評(píng)價(jià)準(zhǔn)則表，見(jiàn)表1。操作人員只需對(duì)評(píng)價(jià)準(zhǔn)則進(jìn)行回答，即可得出每個(gè)指標(biāo)的評(píng)價(jià)值。文章以可達(dá)性中視覺(jué)可達(dá)為例介紹專(zhuān)家打分方法和評(píng)價(jià)過(guò)程。由于影響視覺(jué)可達(dá)的條件不同，因此具體項(xiàng)目和分值應(yīng)根據(jù)實(shí)際操作進(jìn)行調(diào)整。打分共有好、中、差等3項(xiàng)指標(biāo)，“好”指標(biāo)對(duì)應(yīng)分值為80～100分，“中”指標(biāo)對(duì)應(yīng)分值為60～80分，“差”指標(biāo)對(duì)應(yīng)分值為60分以下，滿(mǎn)分100代表最好的視覺(jué)可達(dá)狀況。為了便于神經(jīng)網(wǎng)絡(luò)訓(xùn)練，對(duì)得到的百分制評(píng)價(jià)結(jié)果進(jìn)行了處理，即每個(gè)分值除以100得到神經(jīng)網(wǎng)絡(luò)輸入向量的元素，例如，如果專(zhuān)家對(duì)視覺(jué)可達(dá)的最終打分結(jié)果是85分，對(duì)應(yīng)文章的輸入向量的元素值為0.850。

附表1 互換性與標(biāo)準(zhǔn)化評(píng)價(jià)準(zhǔn)則表

4 維修性BP神經(jīng)網(wǎng)絡(luò)評(píng)估模型

文章利用MATLAB實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的編程。將維修性定性評(píng)估指標(biāo)體系中的16個(gè)指標(biāo)作為神經(jīng)網(wǎng)絡(luò)的輸入向量，將其評(píng)估結(jié)果作為唯一輸出，建立一個(gè)如圖1的16×midnote×1的3層BP神經(jīng)網(wǎng)絡(luò)。

其中16是輸入樣本的維數(shù)；

midnote是隱層節(jié)點(diǎn)數(shù)，隱層節(jié)點(diǎn)數(shù)目太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)、誤差不一定最佳，也會(huì)導(dǎo)致容錯(cuò)性差、不能識(shí)別以前沒(méi)有看到的樣本，因此一定存在一個(gè)最佳的隱層節(jié)點(diǎn)數(shù)。以下3個(gè)公式可用于選擇最佳隱層節(jié)點(diǎn)數(shù)時(shí)的參考公式：

（1）■C■■>k，其中k為樣本數(shù)，n1為隱層節(jié)點(diǎn)數(shù)，n2為輸入節(jié)點(diǎn)數(shù)。如果i>n1，C■■=0；

（2）n1=■+a，其中m為輸出節(jié)點(diǎn)數(shù)，n2為輸入節(jié)點(diǎn)數(shù)，a為[1，10]之間的常數(shù)；

（3）n1=log2n2，其中，n2為輸入節(jié)點(diǎn)數(shù)。

1 是輸出層節(jié)點(diǎn)數(shù)。

網(wǎng)絡(luò)輸入層與隱層之間的傳遞函數(shù)f（x）為tansig，即S型的雙曲正切函數(shù)；隱層與輸出層之間的傳遞函數(shù)f（x）為purelin，即f（x）=x；網(wǎng)絡(luò)訓(xùn)練函數(shù)為traingd，即梯度下降BP算法函數(shù)；對(duì)于BP網(wǎng)絡(luò)創(chuàng)建函數(shù)newff，其性能函數(shù)默認(rèn)為“mse”，即均方誤差性能函數(shù)，其權(quán)值和閾值的BP學(xué)習(xí)算法默認(rèn)為“l(fā)earngdm”。下面將介紹學(xué)習(xí)步長(zhǎng)、初始權(quán)值和目標(biāo)精度的選取要求。

4.1 學(xué)習(xí)步長(zhǎng)、初始權(quán)值、目標(biāo)精度的選取

學(xué)習(xí)步長(zhǎng)是在學(xué)習(xí)過(guò)程中對(duì)權(quán)值的修正量，與網(wǎng)絡(luò)的穩(wěn)定性有關(guān)。步長(zhǎng)過(guò)短，則學(xué)習(xí)效率低，步長(zhǎng)過(guò)長(zhǎng)，則網(wǎng)絡(luò)穩(wěn)定性差，學(xué)習(xí)步長(zhǎng)一般取0.05。

初始權(quán)值選取和輸出結(jié)果是否最接近實(shí)際，是否能夠收斂，學(xué)習(xí)時(shí)間的長(zhǎng)短等關(guān)系很大，由于MATLAB仿真軟件會(huì)根據(jù)初始化函數(shù)自動(dòng)生成相應(yīng)的初始權(quán)值和閾值。

目標(biāo)精度是確定神經(jīng)網(wǎng)絡(luò)的精度標(biāo)準(zhǔn)，當(dāng)誤差達(dá)到目標(biāo)精度要求后網(wǎng)絡(luò)停止。目標(biāo)精度的確定是根據(jù)實(shí)際情況對(duì)精度的要求而定。

4.2 實(shí)例驗(yàn)證

訓(xùn)練根據(jù)實(shí)際數(shù)據(jù)和專(zhuān)家評(píng)定，選定用于訓(xùn)練和測(cè)試的10組樣本數(shù)據(jù)，其中X矩陣的前9行，即9組訓(xùn)練樣本，X矩陣的第10行為1組測(cè)試樣本，B為10組樣本的目標(biāo)輸出矩陣，Q為待估樣本矩陣。

（1） 學(xué)習(xí)樣本矩陣、目標(biāo)輸出矩陣、待評(píng)估矩陣的數(shù)據(jù)輸入

（2）BP神經(jīng)網(wǎng)絡(luò)模型程序代碼設(shè)計(jì)：

net=newff （min max（X（1：9，inf）'）， [midnote 1]， {'tansig'，'purelin'}，'traingd'）%創(chuàng)建網(wǎng)絡(luò)并初始化

net.trainparam.show=50 顯示訓(xùn)練狀態(tài)間隔次數(shù)

net.trainparam.lr=0.05 學(xué)習(xí)步長(zhǎng)

net.trainparam.epochs=500 仿真次數(shù)

net.trainparam.goal=0.001 目標(biāo)精度

[net，tr]=train（net， X（1：9，inf）'，B'） 網(wǎng)絡(luò)訓(xùn)練

Zsim=sim（net， X（10，inf）'） 仿真計(jì)算

（3）仿真結(jié)果輸出及分析

待評(píng)估矩陣的仿真結(jié)果為：Zsim=0.762066，它表示的意義是在16個(gè)二級(jí)評(píng)估指標(biāo)能力值分別為待評(píng)估矩陣所給定值時(shí)，該維修性的評(píng)估結(jié)果是0.762066。圖4為BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練圖。從圖中可以看出，訓(xùn)練仿真到351次時(shí)，達(dá)到設(shè)定的目標(biāo)精度0.001，訓(xùn)練停止。文章只對(duì)BP神經(jīng)網(wǎng)絡(luò)解決維修性評(píng)估的方法上進(jìn)行了初步的探索，隨著裝備維修性研究的不斷深入和神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，BP神經(jīng)網(wǎng)絡(luò)方法在維修性評(píng)估中的應(yīng)用將更加廣泛。

圖4神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差曲線(xiàn)

5 結(jié)束語(yǔ)

文章將BP神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于對(duì)航空維修性的評(píng)價(jià)，意在建立更加接近于人類(lèi)思維模式的定性與定量相結(jié)合的綜合評(píng)價(jià)模型。通過(guò)對(duì)給定樣本模式的學(xué)習(xí)，獲取評(píng)價(jià)專(zhuān)家的經(jīng)驗(yàn)、知識(shí)、主觀(guān)判斷及對(duì)目標(biāo)重要性的傾向，當(dāng)需對(duì)有關(guān)對(duì)象作出綜合評(píng)價(jià)時(shí)，便可再現(xiàn)評(píng)價(jià)專(zhuān)家的經(jīng)驗(yàn)、知識(shí)和直覺(jué)思維，從而實(shí)現(xiàn)了定性分析和定量分析的有效結(jié)合，也較好地保證了評(píng)價(jià)結(jié)果的客觀(guān)性，此外仿真結(jié)果精確度高，可信性強(qiáng)。

參考文獻(xiàn)

[1]黃書(shū)峰，端木京順，唐學(xué)琴，等.航空維修保障能力的神經(jīng)網(wǎng)絡(luò)評(píng)估方法與應(yīng)用[J].航空維修與工程，2008.

[2]GJB 368A-1994.裝備維修性通用大綱[S].

篇9

關(guān)鍵詞： 計(jì)算機(jī)視覺(jué)； D像理解； 卷積神經(jīng)網(wǎng)絡(luò)； 多層感知器

中圖分類(lèi)號(hào)： TN915.63?34； TP311 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）14?0170?04

Abstract： The optical network is a lightweight， versatile and purely Matlab?based deep learning framework. The idea underlying its design is to provide an easy?to?understand， easy?to?use and efficient computational platform for deep learning research. The framework supports major deep learning architectures such as multilayer perceptron（MLP） networks， convolutional neural networks （CNN） and recurrent neural networks （RNN）. The framework also supports the straightforward switch between both CPU and GPU for computation. The experiment result indicates that the framework has different applications in computer vision， natural language processing and robotic technology.

Keywords： computer vision； image understanding； convolutional neural network； multilayer perceptron

0 引 言

深層神經(jīng)網(wǎng)絡(luò)[1]已經(jīng)給出了許多機(jī)器智能問(wèn)題的主要進(jìn)展，最新的神經(jīng)網(wǎng)絡(luò)模型的實(shí)現(xiàn)主要強(qiáng)調(diào)效率。這些框架可以由20萬(wàn)～50萬(wàn)行代碼組成，并經(jīng)常涉及多個(gè)編程語(yǔ)言[2?4]。它需要付出巨大的努力來(lái)徹底理解和改進(jìn)模型。一個(gè)簡(jiǎn)單的和自我解釋的深層學(xué)習(xí)框架是高度預(yù)期的且加快深層神經(jīng)網(wǎng)絡(luò)模型的理解和應(yīng)用。

在此提出的光網(wǎng)絡(luò)是一個(gè)輕便的、通用的和純基于Matlab的深層神經(jīng)網(wǎng)絡(luò)模型。簡(jiǎn)潔、高效的Matlab編程技術(shù)已被用來(lái)實(shí)現(xiàn)所有的計(jì)算模塊。許多神經(jīng)網(wǎng)絡(luò)流行的類(lèi)型，如多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)都在光網(wǎng)絡(luò)中得以實(shí)現(xiàn)，是結(jié)合隨機(jī)梯度下降的幾個(gè)變化（SDG）為基礎(chǔ)的優(yōu)化算法。

自從光網(wǎng)絡(luò)僅用Matlab實(shí)現(xiàn)，主要的計(jì)算用幾百行代碼來(lái)矢量化和執(zhí)行，數(shù)量級(jí)比現(xiàn)有的框架更簡(jiǎn)潔。所有基本操作都可以輕松定制，只需有Matlab編程基本知識(shí)。數(shù)學(xué)化研究人員可以專(zhuān)注于數(shù)學(xué)建模的一部分而不是工程部分。

應(yīng)用程序的用戶(hù)可以很容易地理解和修改任何部分的框架，開(kāi)發(fā)新的網(wǎng)絡(luò)架構(gòu)，使他們適應(yīng)新的應(yīng)用。除了簡(jiǎn)單，光網(wǎng)絡(luò)還具有以下特點(diǎn)：光網(wǎng)絡(luò)包含最現(xiàn)代的網(wǎng)絡(luò)架構(gòu)；計(jì)算機(jī)視覺(jué)中的應(yīng)用、自然語(yǔ)言處理和強(qiáng)化學(xué)習(xí)已被證明；光網(wǎng)絡(luò)提供了一個(gè)綜合的優(yōu)化算法的收集；光網(wǎng)絡(luò)支持在CPU和GPU之間計(jì)算的簡(jiǎn)單切換；快速傅里葉變換來(lái)有效地計(jì)算卷積，從而使大卷積核被支持；光網(wǎng)絡(luò)自動(dòng)化的超參數(shù)優(yōu)化了新型選擇性的SGD算法。

1 模 塊

主要的計(jì)算模塊包括前饋過(guò)程和向后/反向傳播過(guò)程。前饋過(guò)程評(píng)估模型，反向傳播報(bào)告網(wǎng)絡(luò)梯度。隨機(jī)梯度下降算法是用來(lái)優(yōu)化模型參數(shù)。

1.1 核心計(jì)算模塊

光網(wǎng)絡(luò)能夠?qū)Ｗ⒂跀?shù)學(xué)部分而不是低層次的工程細(xì)節(jié)。為了使本文更完備，在此說(shuō)明光網(wǎng)絡(luò)中的主要計(jì)算模塊。本文的所有網(wǎng)絡(luò)和相關(guān)實(shí)驗(yàn)都是建立在這些模塊的基礎(chǔ)之上。

1.1.1 線(xiàn)性感知器層

一個(gè)線(xiàn)性感知器層可以表示為y=Wx+b。在這里，x表示input_dim×1大小的輸入數(shù)據(jù)，W表示output_dim× input_dim大小的權(quán)重矩陣，b是一個(gè)output_dim× 1大小的偏置向量，y表示output_dim× 1大小的線(xiàn)性層輸出。

從線(xiàn)性感知器輸入映射到最終的網(wǎng)絡(luò)輸出可以表示為z=f（y）=f（Wx+b），f是一個(gè)非線(xiàn)性函數(shù)，它表示在更深層次的網(wǎng)絡(luò)的計(jì)算；z是網(wǎng)絡(luò)輸出，通常是一個(gè)損失值。

1.1.2 卷積層

卷積層由一個(gè)多維濾波器組kio將輸入特征圖Nmap_in映射到輸出特征圖Nmap_out。每個(gè)輸入特征圖xi與相對(duì)應(yīng)的濾波器組kio進(jìn)行卷積，卷積的結(jié)果是求和并添加偏置值Bo生成o?th輸出圖： 。允許使用大的卷積核，快速傅里葉變換（FFT）是用來(lái)計(jì)算卷積（及相關(guān)）。根據(jù)卷積定理[5]，在空間域卷積等價(jià)于在頻域的逐點(diǎn)乘法。因此，ki*xi可以用傅里葉變換計(jì)算：ki*xi=F-1{F{ki}?F{xi}}。在這里，F(xiàn)表示傅里葉變換，“”表示逐點(diǎn)乘法運(yùn)算，卷積層支持填充和跨越。

從o?th輸出特征圖到網(wǎng)絡(luò)輸出的映射可以表示為z=f（yo）。這里f是從o?th輸出特征圖yo到最終的網(wǎng)絡(luò)輸出的非線(xiàn)性映射。與第1.1.1節(jié)類(lèi)似，，，需要在反向的過(guò)程中計(jì)算。

1.1.3 Max?pooling層

最大pooling層計(jì)算在窗口中的最大元素與步幅大小，一個(gè)定制的im2col_ln功能是實(shí)現(xiàn)轉(zhuǎn)換pooling補(bǔ)丁為列向量，來(lái)矢量化在Matlab中的pooling計(jì)算。內(nèi)置的最大功能是這些列向量可以返回pooling結(jié)果和這些最大值的指數(shù)，然后，在原來(lái)的批量數(shù)據(jù)恢復(fù)相應(yīng)指數(shù)。此外，零填充可應(yīng)用于輸入數(shù)據(jù)。

不失一般性，從Max?pooling層輸入到最終的網(wǎng)絡(luò)輸出的映射可以表示為z=f（y）=f（Sx），其中S是選擇矩陣，x是一個(gè)列向量，它表示輸入數(shù)據(jù)到這層。

在反向的過(guò)程中，被計(jì)算并傳遞給淺層：。

當(dāng)pooling范圍小于或等于該步長(zhǎng)大小時(shí)，可以用Matlab中簡(jiǎn)單的矩陣索引技術(shù)計(jì)算出。具體來(lái)說(shuō)，與輸入數(shù)據(jù)相同大小的一個(gè)空的張量dzdx被創(chuàng)建。dzdx（from）=dzdy，from是pooling指數(shù)，dzdy是一個(gè)記錄pooling結(jié)果的張量。當(dāng)pooling范圍大于步長(zhǎng)大小時(shí)，x中的每一個(gè)條目都可以被匯集多次，并且反向傳播梯度需要為這些多個(gè)匯集條目積累。在這種情況下，計(jì)算可以利用Matlab自帶的功能accumarray（）。

1.1.4 修正線(xiàn)性單元

修正線(xiàn)性單元（ReLU）作為一個(gè)主要的非線(xiàn)性映射函數(shù)被實(shí)現(xiàn)，一些其他的函數(shù)包括sigmoid和tanh這里的討論就省略了。ReLU函數(shù)是很獨(dú)特的函數(shù)，如果輸入大于0，則輸出0，否則y=ReLU（x）=x?ind（x>0）。在反向的過(guò)程中，如果輸入數(shù)據(jù)是非負(fù)的，則梯度傳遞到較淺層，否則，梯度被忽略。

1.2 損失函數(shù)

通常，一個(gè)損失函數(shù)會(huì)和最深核心計(jì)算模塊的輸出相連。目前，為了達(dá)到分類(lèi)任務(wù)光網(wǎng)絡(luò)還支持softmax 中的LogLoss函數(shù)。

1.3 優(yōu)化算法

隨機(jī)梯度下降（SGD）為基礎(chǔ)的優(yōu)化算法是訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的主要工具。標(biāo)準(zhǔn)的SGD算法和它的一些流行的變型如adagrad[6]，rmsprop[7]， Adam[8]，同樣實(shí)現(xiàn)了深度學(xué)習(xí)的研究。值得一提的是，在此實(shí)現(xiàn)了一個(gè)新的選擇性的SGD算法便于參數(shù)尤其是學(xué)習(xí)速率的選擇。

2 實(shí) 驗(yàn)

2.1 多層感知器網(wǎng)絡(luò)

在MNIST數(shù)據(jù)上[9]構(gòu)造一個(gè)多層感知器網(wǎng)絡(luò)來(lái)測(cè)試光網(wǎng)絡(luò)的性能。網(wǎng)絡(luò)從MNIST圖像數(shù)據(jù)集取得28×28輸入，在接下來(lái)的兩層分別有128個(gè)節(jié)點(diǎn)。然后，128維特征連接10個(gè)節(jié)點(diǎn)來(lái)計(jì)算softmax輸出。實(shí)驗(yàn)結(jié)果見(jiàn)圖1。

和測(cè)試階段的損失和錯(cuò)誤率

2.2 卷積神經(jīng)網(wǎng)絡(luò)

在cifar?10數(shù)據(jù)[10]上由4個(gè)卷積層構(gòu)建一個(gè)卷積網(wǎng)絡(luò)來(lái)測(cè)試光網(wǎng)絡(luò)的性能。此結(jié)構(gòu)與來(lái)自MatConvNet的一個(gè)報(bào)告相同[3]。32，32，64，64在前三層有5×5大小的卷積核，最后一層有4 × 4大小的內(nèi)核。ReLU函數(shù)應(yīng)用到每一個(gè)卷積層之后作為非線(xiàn)性映射函數(shù)。光網(wǎng)絡(luò)自動(dòng)選擇和調(diào)整學(xué)習(xí)速率并可以達(dá)到非常精確。與有固定的學(xué)習(xí)速率的SGD標(biāo)準(zhǔn)比較，選擇性SGD具有更好的精度。最重要的是，使用選擇性SGD避免手動(dòng)調(diào)諧的學(xué)習(xí)速率。圖2為實(shí)驗(yàn)結(jié)果。計(jì)算在一個(gè)Intel i5 6600K CPU和Nvidia Titan X GPU（12 GB內(nèi)存）的臺(tái)式電腦上進(jìn)行。當(dāng)前版本的光網(wǎng)絡(luò)用這種網(wǎng)絡(luò)結(jié)構(gòu)在GPU上每秒可以處理750個(gè)圖像，大約比使用的CPU速度快5倍。

2.3 LSTM網(wǎng)絡(luò)

長(zhǎng)短期記憶（LSTM）[11]是一個(gè)流行的遞歸神經(jīng)網(wǎng)絡(luò)模型。由于光網(wǎng)絡(luò)的通用性，LSTM網(wǎng)絡(luò)作為一個(gè)特定的應(yīng)用程序可以在光網(wǎng)絡(luò)包中實(shí)現(xiàn)。值得注意的是，在光網(wǎng)絡(luò)中的核心計(jì)算模塊用于執(zhí)行時(shí)域前向過(guò)程和反向傳播為L(zhǎng)STM。

在一個(gè)LSTM模型中的前向過(guò)程可以用公式表示為：

和測(cè)試階段的損失和錯(cuò)誤率

優(yōu)化LSTM模型，在LSTM中通過(guò)時(shí)間的反向傳播實(shí)現(xiàn)和計(jì)算最關(guān)鍵值：

采用一個(gè)關(guān)鍵的迭代屬性來(lái)計(jì)算上述值：

一些其他的梯度可以通過(guò)使用上述計(jì)算輸出的鏈規(guī)則計(jì)算：

LSTM網(wǎng)絡(luò)測(cè)試一個(gè)字符語(yǔ)言建模任務(wù)，該數(shù)據(jù)集由選自莎士比亞作品的20 000個(gè)句子組成，每個(gè)句子斷成67字（和標(biāo)點(diǎn)符號(hào)），LSTM模型可以根據(jù)前一個(gè)字符預(yù)測(cè)下一個(gè)字符。網(wǎng)絡(luò)模型中使用30個(gè)隱含節(jié)點(diǎn)并且RMSProp用于訓(xùn)練。在后10次訓(xùn)練，下一個(gè)字符的預(yù)測(cè)精度提高到70%。

2.4 Q?網(wǎng)絡(luò)

作為強(qiáng)化學(xué)習(xí)中的應(yīng)用，創(chuàng)建一個(gè)和MLP網(wǎng)絡(luò)一致的Q?network[12]。然后將Q?network應(yīng)用到經(jīng)典的Cart?Pole的問(wèn)題中[13]。Cart?Pole系統(tǒng)的動(dòng)力學(xué)可以在一個(gè)兩層網(wǎng)絡(luò)數(shù)百次迭代中學(xué)習(xí)到。對(duì)Q?network更新過(guò)程的一次迭代為：

式中，act是由概率ε隨機(jī)選擇的。所需的網(wǎng)絡(luò)輸出值Qnew是利用觀(guān)測(cè)到的reward和由此產(chǎn)生的狀態(tài)的貼現(xiàn)值γV（statenew）計(jì)算出來(lái)的，通過(guò)均衡器預(yù)測(cè)當(dāng)前的網(wǎng)絡(luò)。通過(guò)使用最小平方損失函數(shù)：

3 結(jié) 論

為了深層神經(jīng)網(wǎng)絡(luò)模型的理解與發(fā)展，光網(wǎng)絡(luò)提供了一個(gè)易于擴(kuò)展的生態(tài)系統(tǒng)。在Matlab環(huán)境下，整個(gè)計(jì)算過(guò)程可以很容易地跟蹤和可視化。這些設(shè)置的主要功能可以對(duì)深度學(xué)習(xí)研究界提供獨(dú)特的便利。

⒖嘉南

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in neural information processing systems， 2012， 25（2）： 1097?1105.

[2] JIA Y， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding [C]// Proceedings of the ACM International Conference on Multimedia. [S.l.]： ACM， 2014： 675?678.

[3] VEDALDI A， LENC K. Matconvnet： Convolutional neural networks for Matlab [C]// Proceedings of the 23rd Annual ACM Conference on Multimedia. [S.l.]： ACM， 2015： 689?692.

[4] BASTIEN F， LAMBLIN P， PASCANU R， et al. Theano： new features and speed improvements [J]. arXiv preprint arXiv， 2012， 20： 42?51.

[5] MALLAT S G. A wavelet tour of signal processing： the sparse way [J]. Academic press， 1998 ， 31 （3） ：83?85.

[6] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. The journal of machine learning research， 2011 （12）： 2121?2159.

[7] TIELEMAN T， HINTON G. Lecture 6.5?rmsprop： Divide the gradient by a running average of its recent magnitude [J]. Neural networks for machine learning， 2012， 4 （2）： 20?26.

[8] KINGMA D， BA J. Adam： A method for stochastic optimization [C]// Proceedings of the 3rd International Conference for Learning Representations. San Diego： [s.n.]， 2015： 1412?1418.

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[10] KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images [M]. [S.l.： s.n.]， 2009.

[11] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation ， 1997， 9（8）： 1735?1780.

篇10

論文關(guān)鍵詞：個(gè)股投資，項(xiàng)目風(fēng)險(xiǎn)度量，BP神經(jīng)網(wǎng)絡(luò)算法:實(shí)證分析

BP神經(jīng)網(wǎng)絡(luò)算法在個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)度量中的應(yīng)用研究

摘要：度量個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)是一個(gè)復(fù)雜的過(guò)程，目前的大部分研究方法都沒(méi)有考慮個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)的非線(xiàn)性復(fù)雜特點(diǎn)。本文通過(guò)BP神經(jīng)網(wǎng)絡(luò)算法，對(duì)個(gè)股投資項(xiàng)目進(jìn)行實(shí)證分析。結(jié)果顯示，利用BP算法具有很好的預(yù)測(cè)精度，能有效地提高個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)度量的準(zhǔn)確性。

關(guān)鍵字：個(gè)股投資；項(xiàng)目風(fēng)險(xiǎn)度量； BP神經(jīng)網(wǎng)絡(luò)算法：實(shí)證分析

1引言

Eugene F.Fama(1970)的有效市場(chǎng)假說(shuō)(Efficient Market Hypothesis)認(rèn)為，如果證券市場(chǎng)在價(jià)格形成中充分而準(zhǔn)確地反映全部相關(guān)信息，則稱(chēng)該市場(chǎng)是有效率的。但現(xiàn)實(shí)情況恰恰相反，由于股票行市受市場(chǎng)層次、行業(yè)層次和公司微觀(guān)層次等因素影響，其內(nèi)部規(guī)律非常復(fù)雜，周期變化無(wú)序。同時(shí)我國(guó)資本市場(chǎng)個(gè)人投資者的比例高，相對(duì)于機(jī)構(gòu)投資者而言，投資者個(gè)人心理狀態(tài)不同畢業(yè)論文提綱，風(fēng)險(xiǎn)承受能力差，專(zhuān)業(yè)水平低，尤其是非職業(yè)股民由于受時(shí)間、空間上的限制，往往無(wú)法長(zhǎng)期關(guān)注股市動(dòng)態(tài)和發(fā)展，同時(shí)出于追逐利益的目的以及本身缺乏風(fēng)險(xiǎn)意識(shí)以及缺少信息的原因，使得投資者普遍抱持著投機(jī)心理，產(chǎn)生了跟莊行為，由此導(dǎo)致“羊群效應(yīng)”的發(fā)生。“羊群效應(yīng)”是行為金融學(xué)的一個(gè)重要概念，是指在一定時(shí)期，當(dāng)采取相同策略（買(mǎi)或賣(mài)）交易特定資產(chǎn)的行為主體達(dá)到或超過(guò)一定數(shù)量。這種投資者結(jié)構(gòu)以及投資者行為的特點(diǎn)使得中國(guó)股票市場(chǎng)的股票行為具有了不同于成熟市場(chǎng)的特點(diǎn)論文提綱格式。所有這些給股票風(fēng)險(xiǎn)分析提出了新的課題。目前的諸多相關(guān)研究，其融合了諸多學(xué)科中的理論精華，并結(jié)合現(xiàn)代個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)的特點(diǎn)，迄今在業(yè)界已經(jīng)取得了不少成就，如主成分分析法、多元回歸方法等，但這些方法大都沒(méi)有考慮個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)非線(xiàn)性復(fù)雜特點(diǎn)。

因此，本文從個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)度量建模的具體情況出發(fā)，采用神經(jīng)網(wǎng)絡(luò)算法，應(yīng)用MATLAB仿真軟件進(jìn)行了實(shí)證分析。并且通過(guò)與多元回歸方法對(duì)比得到了，在具有復(fù)雜特點(diǎn)的個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)管理中，BP神經(jīng)網(wǎng)絡(luò)算法具有很好的預(yù)測(cè)精度，能有效地提高個(gè)股投資項(xiàng)目風(fēng)險(xiǎn)度量的準(zhǔn)確性。

2 BP神經(jīng)網(wǎng)絡(luò)

BP(backpropagation)神經(jīng)網(wǎng)絡(luò)是前饋型神經(jīng)網(wǎng)絡(luò)的一種，其是建立在梯度下降法的基礎(chǔ)上的，學(xué)習(xí)過(guò)程(訓(xùn)練)由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果輸出層得不到期望的輸出畢業(yè)論文提綱，則轉(zhuǎn)入反向傳播，逐層遞歸地計(jì)算實(shí)際輸入與期望輸入的差(即誤差)。將誤差信號(hào)沿原來(lái)的連接通道返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。

圖1：三層神經(jīng)網(wǎng)絡(luò)模型

在圖1中，輸入向量為；隱層輸出向量為；輸出層輸出向量為；期望輸出向量為。輸入層到隱層之間的權(quán)值矩陣用V表示，，其中列向量為隱層第j個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用W表示，，其中列向量為輸出層第k個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)向量。各層信號(hào)之間的數(shù)學(xué)關(guān)系如下：

對(duì)于輸出層，有

k=（2﹒1）

k=（2﹒2）

對(duì)于隱層，有

j=（2﹒3）

j=（2﹒4）

由于標(biāo)準(zhǔn)BP算法存在一些缺陷：

（1）易形成局部最小而得不到全局最優(yōu)；

（2）訓(xùn)練次數(shù)多使學(xué)習(xí)效率低，收斂速度慢；

（3) 學(xué)習(xí)過(guò)程出現(xiàn)假飽和。

另外，網(wǎng)絡(luò)隱含層數(shù)及隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)，網(wǎng)絡(luò)訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。因此，我們采取如下措施進(jìn)行改進(jìn)：

（1）增加動(dòng)量項(xiàng)

令，稱(chēng)為動(dòng)量系數(shù)，一般有。

（2）輸入數(shù)據(jù)處理

在輸入數(shù)據(jù)的標(biāo)準(zhǔn)化方面，輸入數(shù)據(jù)太大，容易導(dǎo)致模型無(wú)法收斂，所以將輸入數(shù)據(jù)變換為[0,1]區(qū)間的值，其公式如下

其中，代表輸入數(shù)據(jù)，代表數(shù)據(jù)變化范圍的最小值，代表數(shù)據(jù)變化范圍的最大值。

（3）學(xué)習(xí)速率的調(diào)整

令

K為訓(xùn)練次數(shù)，為網(wǎng)絡(luò)均方根誤差畢業(yè)論文提綱，這樣保證一個(gè)近最優(yōu)的學(xué)習(xí)速率，從而得到比標(biāo)準(zhǔn)BP算法更快的收斂速度論文提綱格式。

3實(shí)證分析

本文數(shù)據(jù)來(lái)源于和訊網(wǎng)國(guó)內(nèi)工業(yè)運(yùn)輸行業(yè)個(gè)股投資價(jià)值財(cái)務(wù)得分表，數(shù)據(jù)截止到2009.12.18（hexun.com/quote.hexun.com/stock/icb.aspx?code=2770&name=工業(yè)運(yùn)輸）部分情況見(jiàn)表1。

表1：個(gè)股投資項(xiàng)目指標(biāo)體系

一級(jí)指標(biāo)

二級(jí)指標(biāo)

成長(zhǎng)性指標(biāo)

凈利潤(rùn)增長(zhǎng)率

資產(chǎn)增長(zhǎng)率

資本增長(zhǎng)率

每股收益增長(zhǎng)率

財(cái)務(wù)能力指標(biāo)

資產(chǎn)負(fù)債率

債務(wù)資本率

股東權(quán)益比率

償債能力指標(biāo)

流動(dòng)比率

速動(dòng)比率

長(zhǎng)期資產(chǎn)適合率

現(xiàn)金流指標(biāo)

每股現(xiàn)金流量

經(jīng)營(yíng)現(xiàn)金流與負(fù)債比

現(xiàn)金流量比率

凈利潤(rùn)現(xiàn)金含量

經(jīng)營(yíng)能力指標(biāo)

銷(xiāo)售收入增長(zhǎng)率

應(yīng)收帳款周轉(zhuǎn)率

存貨增長(zhǎng)率

營(yíng)業(yè)周期

盈利能力指標(biāo)

總利潤(rùn)率

凈利潤(rùn)率

資產(chǎn)收益率

資本收益率

其中，均方根誤差

（2）BP算法訓(xùn)練過(guò)程樣本一共23組，其中訓(xùn)練樣本15組，測(cè)試樣本8組，利用MATLAB軟件仿真。首先對(duì)測(cè)試樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練，成長(zhǎng)性、財(cái)務(wù)能力、償債能力、經(jīng)營(yíng)能力、現(xiàn)金流指標(biāo)、盈利能力等六個(gè)指標(biāo)作為模型的輸入因子。net=newff(minmax(P),[2,1],{'tansig’,’tansig'},'traingdx') net.trainParam.show=50; net.trainParam.epochs=1000; net.trainParam.mc=0.9;net.trainParam.goal=0.001; lr=0.01; lr_inc=1.05;lr_dec=0.7;err_ratio=1.04; [net,tr]=train(net,P,T); A = sim(net,P) E =A-T

MSE=mse(E) save net1212 net基于上述MATLAB程序代碼（部分），得到誤差結(jié)果（圖2所示）。

圖2：誤差仿真結(jié)果

從圖2可以發(fā)現(xiàn)模型經(jīng)過(guò)442步，達(dá)到誤差精度0.001要求。（3）BP算法測(cè)試過(guò)程load net1212 netP1;

A = sim(net,P1)加載訓(xùn)練好的網(wǎng)絡(luò)，利用上述代碼（部分），輸入測(cè)試樣本進(jìn)行網(wǎng)絡(luò)測(cè)試，得到結(jié)果如表2。表2： BP算法測(cè)試結(jié)果

10.96

29.74

68.64

11.84

92.28

35.72