導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：虛擬焊接；焊縫形狀預(yù)測；神經(jīng)網(wǎng)絡(luò)；Matlab

中圖分類號：TP391.9 文獻標(biāo)識碼：A 文章編號：1009-3044（2013）31-7096-04

1 概述

焊接對工業(yè)發(fā)展有重要貢獻，工業(yè)上為了提高焊接操作者的焊接技藝，需要對焊接操作者進行焊接培訓(xùn)，傳統(tǒng)的培訓(xùn)方式多是操作者實際操作焊接設(shè)備進行培訓(xùn)，受限于培訓(xùn)環(huán)境，操作者不能及時地獲得培訓(xùn)老師的指導(dǎo)和規(guī)范性控制，且操作環(huán)境對新手來說具有一定的危險性；虛擬焊接為焊接操作者的培訓(xùn)提供了一種新的方式，使得受訓(xùn)操作者能夠在較為逼真的虛擬焊接環(huán)境中進行焊接培訓(xùn)并脫離真實焊接環(huán)境的危險性[1]，好的虛擬焊接系統(tǒng)還能夠記錄下焊接操作者的操作過程、對焊接操作者的焊接進行評價并給出排名，以利于焊接操作者能夠及時掌握自己焊接情況，根據(jù)系統(tǒng)反饋結(jié)果調(diào)整自己的焊接操作。

焊縫形狀預(yù)測算法在虛擬焊接系統(tǒng)中扮演關(guān)鍵角色，直接決定了焊縫的預(yù)測效果并影響受訓(xùn)操作者的焊接體驗。傳統(tǒng)的焊縫形狀預(yù)測算法多從焊縫形成的物理過程著手去預(yù)測焊縫的形狀，主要有如下兩種[2]：

1）對焊縫周圍溫度場進行模擬并使用有限元分析法預(yù)測焊縫形狀

2）對焊接過程中的物理過程如融化、凝固、金屬熔滴形狀變化、保護氣體擴散動力等因素進行模擬來預(yù)測焊縫形狀

而實際的焊接過程涉及多重復(fù)雜的物理變化，如電子學(xué)、流體力學(xué)、材料學(xué)、熱學(xué)等，要想精確地模擬焊接的物理過程是復(fù)雜而有難度的，所以這些算法都面臨同樣問題：焊縫形狀的預(yù)測不夠精確和算法時間復(fù)雜度大。

本文提出了將神經(jīng)網(wǎng)絡(luò)模型用于虛擬焊接焊縫形狀的預(yù)測當(dāng)中，能夠避免對復(fù)雜物理變化過程的建模，并在焊縫形狀預(yù)測精度上有大幅調(diào)高，也間接降低了算法的時間復(fù)雜度。

2 神經(jīng)網(wǎng)絡(luò)概述

3 焊縫形狀預(yù)測算法

3.1 焊接過程分析

3.2 焊縫形狀的描述

5 結(jié)論

本文提出了基于神經(jīng)網(wǎng)絡(luò)的焊縫預(yù)測算法，能夠避免對焊接過程中復(fù)雜的物理變化過程的分析，這簡化了建模的難度，也間接降低了算法的時間復(fù)雜度。神經(jīng)網(wǎng)絡(luò)通過大量的已有數(shù)據(jù)來訓(xùn)練，用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)預(yù)測得到的焊縫形狀數(shù)據(jù)是建立在真實焊接數(shù)據(jù)基礎(chǔ)之上的，具有較高的精確性。通過實驗對比預(yù)測的焊縫形狀和真實的焊縫形狀，驗證了本算法的有效性和可靠性。

參考文獻：

[1] 黃俊，小平，徐少平.虛擬焊接仿真系統(tǒng)研究進展[J]. 計算機與現(xiàn)代化，2011（6）：1-2.

[2] 焦立新.焊接仿真技術(shù)應(yīng)用與未來發(fā)展[J]. 航空制造技術(shù)，2008（5）.

[3] 王鴻斌，張立毅，胡志軍.人工神經(jīng)網(wǎng)絡(luò)理論及其應(yīng)用[J]. 山西電子技術(shù)，2006（2）.

[4] 唐萬梅. BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問題的研究[J].系統(tǒng)工程理論與實踐，2005（7）.

篇2

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；醫(yī)院預(yù)算；全面預(yù)算管理

全面預(yù)算管理主要是指全員參與、財務(wù)及經(jīng)營收支全額納入預(yù)算、預(yù)算全過程的管理。它最早產(chǎn)生于企業(yè)，先后在美國通用電器、通用汽車公司提出并應(yīng)用，并隨著企業(yè)的發(fā)展而日益完善。近幾年在國內(nèi)醫(yī)院也得到了應(yīng)用，全面預(yù)算管理的實施，促進了醫(yī)院內(nèi)部人與人、部門與部門間的了解與合作，使醫(yī)院戰(zhàn)略目標(biāo)與預(yù)算得到落實。

一、國內(nèi)外醫(yī)院預(yù)算管理的對比

醫(yī)院的預(yù)算管理，國內(nèi)外差別較為明顯。以澳大利亞為例，該國每年對公立醫(yī)院實行全額預(yù)算補貼，支付形式是按病種結(jié)算。醫(yī)院必須按照就診人次和診斷的疾病種類來計算收費金額，而后同政府部門或保險公司結(jié)算，這一方式與醫(yī)院為患者提供的實際服務(wù)項目及成本無關(guān)。因此，醫(yī)院對醫(yī)療成本的控制十分重視，在保證醫(yī)療質(zhì)量的前提下，想方設(shè)法減少藥品、檢查、檢驗及材料的成本，嚴(yán)格禁止患者進行重復(fù)檢查。項目的預(yù)算要求非常具體，數(shù)據(jù)精確度也非常高。而國內(nèi)，醫(yī)院的收費是按服務(wù)項目收取，每項醫(yī)療服務(wù)由物價部門統(tǒng)一確定收費標(biāo)準(zhǔn)，這種收費模式，導(dǎo)致醫(yī)院把主要精力集中在“創(chuàng)收”上。但隨著我國醫(yī)療體制改革的推進，特別是目前已經(jīng)試點的單病種、臨床路徑管理，很多項目也逐步向國外先進管理模式靠攏。從新《醫(yī)院財務(wù)制度》中可以看出，醫(yī)院獨立性越來越強，對預(yù)算管理要求也會越來越高，醫(yī)院內(nèi)部預(yù)算管理將更加全面，這就需要醫(yī)院預(yù)算管理要在精、細、準(zhǔn)上下功夫。

二、對現(xiàn)有醫(yī)院預(yù)算管理方法的分析

現(xiàn)行醫(yī)院預(yù)算管理方法不夠科學(xué)，很難達到精、準(zhǔn)要求。為了求得預(yù)算值，實際工作中一般采用平均值法，表示公式為：項目預(yù)算=其中，i為拆分的某個子項目；x為上期預(yù)算；y為上期決算；n為項目拆分后的子項目總數(shù)；k為調(diào)整系數(shù)。該方法是以上期預(yù)決算作為基礎(chǔ)參照，求得一個參考值。值得注意的是，上期預(yù)算和上期決算的合理性并不能得到保證，因此這個參考值是不準(zhǔn)確量。為使參考值趨于合理，并符合一般項目預(yù)算變化率，通常需要經(jīng)專家組綜合評價后，進行部分校正，確定相對合理的調(diào)整系數(shù)，最終將預(yù)算參考值與調(diào)整系數(shù)的乘積作為本期預(yù)算。而確定的系數(shù)合理到什么程度，很難判斷，只能靠經(jīng)驗，很容易出現(xiàn)預(yù)算偏差。傳統(tǒng)預(yù)算編制方法主要有固定預(yù)算、增量預(yù)算、零基預(yù)算、確定性預(yù)算和概率預(yù)算。所有這些預(yù)算方法都是按照線性思維考慮，各有利弊，在醫(yī)院部分預(yù)算項目管理中，也可能綜合運用，但很難考慮到醫(yī)院整體的綜合性、復(fù)雜性，以及項目之間的相互影響力。因此，單靠人為估算不是科學(xué)的辦法，在實際執(zhí)行中存在許多不確定性，不能保證預(yù)算目標(biāo)得以實現(xiàn)，無法滿足醫(yī)院精細化和全面管理的需要。而新型的神經(jīng)網(wǎng)絡(luò)預(yù)算方法基于非線性，有較高的復(fù)雜度，而且考慮了誤差反饋校驗。該方法應(yīng)用到醫(yī)院全面預(yù)算管理全過程，可以滿足醫(yī)院全面預(yù)算的精細化需求。

三、神經(jīng)網(wǎng)絡(luò)的特點

神經(jīng)網(wǎng)絡(luò)（NeuralNetworks）是20世紀(jì)80年代興起的一種實用的多學(xué)科交叉處理技術(shù)，是模仿人腦行為特征、進行分布式并行信息處理的數(shù)學(xué)算法模型。它具有非線性和自適應(yīng)的動態(tài)系統(tǒng)特征，這一處理方法依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的權(quán)重，從而達到處理信息的目的。神經(jīng)網(wǎng)絡(luò)有兩大智能特性，即具有自學(xué)習(xí)和自適應(yīng)調(diào)控的能力，可以通過預(yù)先提供的一組相互對應(yīng)的輸入——輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出目標(biāo)結(jié)果，這種學(xué)習(xí)分析的過程通常被稱為“訓(xùn)練”，就像人類一樣，通過學(xué)習(xí)和訓(xùn)練，學(xué)習(xí)新技術(shù)、新方法，用于解決實際工作中的新問題。神經(jīng)網(wǎng)絡(luò)已經(jīng)成為一種智能控制方法，廣泛應(yīng)用于生產(chǎn)、企業(yè)管理等多種社會實踐中，進行預(yù)測、控制。

四、神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)院預(yù)算管理的可行性

醫(yī)院信息化建設(shè)的普及，給精細化管理提供了基礎(chǔ)數(shù)據(jù)元，為全面預(yù)算的精準(zhǔn)控制打下了基礎(chǔ)。特別是部分醫(yī)院建立了大數(shù)據(jù)中心、信息系統(tǒng)平臺，可以直接通過接口采集各類原始數(shù)據(jù)。將相關(guān)數(shù)據(jù)進行模型化處理，采用神經(jīng)網(wǎng)絡(luò)算法，即可應(yīng)用于預(yù)算管理的全過程。使用神經(jīng)網(wǎng)絡(luò)算法，仿人腦思考，使得預(yù)算計算方法更加科學(xué)，由過去的一般線性計算發(fā)展到非線性，增加了復(fù)雜度，與實際更趨一致。以人員工資支出為例，過去只作正常增資額，作線性處理，而現(xiàn)在可以把員工工資分成三部分，一是人員變動情況；二是基本工資正常增資，可使用人事信息，采用分段函數(shù)準(zhǔn)確計算出下一預(yù)算周期的基礎(chǔ)工資額；三是績效工資，它處于比較復(fù)雜的非線性變化，因為要參考每月的實際工作量及醫(yī)院收支變化，還要引入各種醫(yī)療因素的反饋信息，再加上醫(yī)院上期數(shù)據(jù)對下期發(fā)展的影響因素等等。面對這種諸多因素的復(fù)雜影響時，一般算法很難進行合理處理，而采用神經(jīng)網(wǎng)絡(luò)算法，卻可以解決。這只是列舉了一個較為簡單的例子，相對于人員工資支出，醫(yī)院新建項目、新技術(shù)應(yīng)用等的預(yù)算精確管理則更為復(fù)雜，需要考慮的因素也更多。針對醫(yī)院全面預(yù)算中出現(xiàn)的一些不確定性和高度非線性因素的影響，神經(jīng)網(wǎng)絡(luò)的獨特優(yōu)點有了用武之地，它能夠充分接近復(fù)雜的非線性映射關(guān)系，可以學(xué)習(xí)和適應(yīng)不確定因素的動態(tài)特質(zhì)，具有較強的容錯性，此外，由于神經(jīng)網(wǎng)絡(luò)采用矩陣算法，可以進行快速的海量數(shù)據(jù)運算。

五、神經(jīng)網(wǎng)絡(luò)在醫(yī)院全面預(yù)算管理中的應(yīng)用

（一）神經(jīng)網(wǎng)絡(luò)的構(gòu)成

神經(jīng)網(wǎng)絡(luò)一般包括三層：輸入層、隱含層和輸出層。針對醫(yī)院全面預(yù)算，輸入層可以是各種醫(yī)院基本元數(shù)據(jù)以及醫(yī)院綜合運行指標(biāo)，越細化越好。隱含層是神經(jīng)網(wǎng)絡(luò)的算法核心，是復(fù)雜的智能化處理的中間態(tài)，這對神經(jīng)網(wǎng)絡(luò)使用者來說是不可見的。輸入層參數(shù)主要包括：科室基本情況，包括床位、科室人員、影響力等；患者基本情況，指本科室患者信息，如年齡、性別、職業(yè)等；疾病情況，包括ICD10疾病診斷、病程及入出院情況等；患者醫(yī)保類型；檢查、檢驗、治療、手術(shù)等情況；科室請領(lǐng)的相關(guān)物耗等信息；科室設(shè)備使用情況；科室消耗的水、電、氧氣等；門診診療情況；輸液用藥情況；醫(yī)院運行指標(biāo)，如門診人次、住院床日等；按賬單類別分類的門診、住院費用；人員工資成本；患者滿意情況；其它各類指標(biāo)（整個醫(yī)院相關(guān)運行指標(biāo)近百種）。輸出層：包含單項目預(yù)算、患者醫(yī)保預(yù)算、科室預(yù)算等各種收入預(yù)算、支出預(yù)算，涵蓋醫(yī)院全面預(yù)算涉及的各方面內(nèi)容。

（二）神經(jīng)網(wǎng)絡(luò)的建設(shè)

決定神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)的是隱含層（隱含層可能是多層）及其所含節(jié)點數(shù)，以及節(jié)點與節(jié)點之間的連接方式。要從零開始建設(shè)一個神經(jīng)網(wǎng)絡(luò)，首先要做的是確定隱含層和節(jié)點數(shù)，對應(yīng)的活動函數(shù)的形式以及權(quán)重限制等。如果采用成熟的工具軟件箱，將會大大節(jié)約調(diào)整時間，減少建設(shè)適應(yīng)周期。數(shù)據(jù)從輸入層到輸出層的過程是一個從前向后的傳播過程，后面節(jié)點的數(shù)值通過它前面相連的節(jié)點傳遞過來，然后把這個值按照各個連接權(quán)重的大小加權(quán)，輸入活動函數(shù)再得到新的數(shù)值，繼續(xù)傳播到下面的節(jié)點。當(dāng)節(jié)點的輸出值與我們預(yù)期的值不同，也就是發(fā)生誤差時，神經(jīng)網(wǎng)絡(luò)就要“學(xué)習(xí)”。學(xué)習(xí)過程如下：如果一個節(jié)點輸出發(fā)生較大誤差，那么就需要看這一誤差是受哪些輸入節(jié)點的影響而造成的，是不是受到了權(quán)重最高的節(jié)點的影響，如果是，則要降低這一節(jié)點的權(quán)重，同時升高其它節(jié)點的權(quán)重值。對那些降低權(quán)重的節(jié)點來說，也需要用同樣的方法來進一步降低它前面的節(jié)點的權(quán)重。按照這樣的做法把權(quán)重值進行調(diào)整，一步步向前傳播，直到權(quán)重調(diào)整到輸入節(jié)點為止。對訓(xùn)練的每一條記錄都要重復(fù)這個步驟，用向前傳播得到輸出值，如果發(fā)生較大誤差，則用此方法進行學(xué)習(xí)。當(dāng)把訓(xùn)練的每一條記錄都運行過一遍之后，便完成了一個訓(xùn)練周期。結(jié)合醫(yī)院實際運作方式，一般一個訓(xùn)練周期定為一個月，要完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可能需要很多個訓(xùn)練周期，至少要幾十次，經(jīng)常要經(jīng)過上百次學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)次數(shù)越多，誤差越小，未來的醫(yī)院預(yù)算執(zhí)行越準(zhǔn)確。訓(xùn)練學(xué)習(xí)完成之后得到的神經(jīng)網(wǎng)絡(luò)就是相對完善的模型，描述了全面預(yù)算受醫(yī)院基礎(chǔ)變量影響的變化規(guī)律。

（三）誤差校正

對于單輸入、單輸出神經(jīng)網(wǎng)絡(luò)模型，非線性系統(tǒng)可用如下差分方程表示：y(t+1)=f[y(t),y(t-1),…,y(t-k+1);x(t),x(t-1),…,x(t-k+1)]其中，y(t)、x(t)分別表示在t時刻的輸出、輸入變量，f()為未知的非線性映射，k為輸入輸出的系統(tǒng)階次。針對醫(yī)院預(yù)算實際情況，我們按上圖中所示的神經(jīng)網(wǎng)絡(luò)模型，有n個醫(yī)院基礎(chǔ)信息和運行指標(biāo)輸入變量，m個預(yù)算種類輸出變量，此非線性系統(tǒng)可用差分方程表示為：通常有兩種方法，可以預(yù)測神經(jīng)網(wǎng)絡(luò)未來的輸出，一是遞推法，二是非遞推法。由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相當(dāng)復(fù)雜，建模難度極大，一般不采用非遞推法。在此我們利用遞推法，來預(yù)測神經(jīng)網(wǎng)絡(luò)未來d步的預(yù)算輸出。

六、結(jié)束語

篇3

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 應(yīng)用 經(jīng)濟預(yù)測 改進

神經(jīng)網(wǎng)絡(luò)作為新時展最快的人工智能領(lǐng)域研究成果之一，在科學(xué)計算、自動控制等方面得到了成功的運用。近年來，我國學(xué)者們將神經(jīng)網(wǎng)絡(luò)運用于經(jīng)濟預(yù)測領(lǐng)域，并且不斷地改進應(yīng)用方法，使基于神經(jīng)網(wǎng)絡(luò)的經(jīng)濟預(yù)測系統(tǒng)更具效益。本文在此背景下，對神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測的應(yīng)用進行了研究，圍繞經(jīng)濟預(yù)測的方法應(yīng)用提出相應(yīng)的改進建議，從而豐富了經(jīng)濟增長預(yù)測理論與實踐。

一、神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測的方法的概述

1.概念

神經(jīng)網(wǎng)絡(luò)，是對人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特征的抽象和模擬。從解剖學(xué)和生理學(xué)的角度來看，人腦是一個復(fù)雜的并行系統(tǒng)，他是由大量的細胞組合而成，這些細胞相互連接。神經(jīng)細胞與人體中的其他細胞的關(guān)鍵區(qū)別在于，神經(jīng)細胞具有產(chǎn)生、處理和傳遞信號的能力。在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展過程中，對生物神經(jīng)系統(tǒng)進行了不同模擬，提出了各種各樣的神經(jīng)網(wǎng)絡(luò)模型，其中具有代表的網(wǎng)絡(luò)模型有感知器神經(jīng)網(wǎng)絡(luò)、線性神經(jīng)網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)。

2.特征

神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測的方法不同傳統(tǒng)的預(yù)測方法，它對經(jīng)濟系統(tǒng)里的多種因素進行分析，進行有效地多輸入、多輸出的經(jīng)濟預(yù)測數(shù)據(jù)。可以說神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測的方法具有以下幾種特征：其一，由于神經(jīng)網(wǎng)絡(luò)是由復(fù)雜的因素構(gòu)成的，它的輸入向量維數(shù)比較多。其二，經(jīng)濟系統(tǒng)數(shù)據(jù)具有很強的非線性，使得輸入的向量各分量之間存在著復(fù)雜的耦合關(guān)系。其三，經(jīng)濟系統(tǒng)處在一個“黑箱”模型下，導(dǎo)致數(shù)據(jù)之間的相互影響不存在明確表達式的關(guān)系。神經(jīng)網(wǎng)絡(luò)也會隨著時間的增長，數(shù)據(jù)呈現(xiàn)出增長的趨勢。

3.優(yōu)勢

用神經(jīng)網(wǎng)絡(luò)進行經(jīng)濟預(yù)測相對來說比較準(zhǔn)確。因為這種神經(jīng)網(wǎng)絡(luò)在計算量允許的范圍內(nèi)，可以很好地擬合任意多對多的映射關(guān)系，數(shù)據(jù)擬合的結(jié)果表明，系統(tǒng)擬合相對誤差在0%—0.75%，比采取回歸分析逼近效果好。此外，神經(jīng)網(wǎng)絡(luò)各層節(jié)點之間的聯(lián)結(jié)權(quán)數(shù)及閾值恰好可以表達經(jīng)濟系統(tǒng)中各個因素之間相互交織、相互影響的強耦合關(guān)系.而采取多元回歸模型。

往往只能引入少量耦合項以避免模型過于復(fù)雜而無法求解.因此，神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)的多元回歸預(yù)測方法有更好的擬合能力和準(zhǔn)確度。神經(jīng)網(wǎng)絡(luò)的方法是比較適合對經(jīng)濟預(yù)測的，因為它只需要少量訓(xùn)練樣本就可以確定網(wǎng)絡(luò)的權(quán)值和閾值從而預(yù)測出宏觀經(jīng)濟發(fā)展趨勢，計算簡單、快捷、可靠?？偠灾?，神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測方法具有顯著的優(yōu)勢，是比較適合經(jīng)濟預(yù)測的應(yīng)用過程的。

二、神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測方法應(yīng)用的改進

由于商業(yè)、政府和工業(yè)所產(chǎn)生的預(yù)測間題，其復(fù)雜程度越來越高，以致于現(xiàn)有的預(yù)測系統(tǒng)難于解決，這就要求我們的預(yù)測系統(tǒng)能夠處理復(fù)雜度增加的問題，進一步擴展傳統(tǒng)神經(jīng)網(wǎng)絡(luò)預(yù)測方法的能力，使得神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論的不斷發(fā)展和完善、新的神經(jīng)網(wǎng)絡(luò)預(yù)測方法的不斷產(chǎn)生，使得神經(jīng)網(wǎng)絡(luò)預(yù)測模型更加實用化、現(xiàn)代化，會給商貿(mào)和工農(nóng)業(yè)生產(chǎn)帶來巨大的經(jīng)濟效益。以下是本人對神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測方法應(yīng)用改進的建議：

首先，我們要改進神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測的過程。確定預(yù)測的目的，制定預(yù)測的計劃。經(jīng)濟預(yù)測首先要確定預(yù)測的目的，從決策和管理的需求出發(fā)，緊密聯(lián)系實際需要與可能，確定預(yù)測要解決的問題。預(yù)測計劃是根據(jù)預(yù)測目的而制定的預(yù)測方案，包括預(yù)測的內(nèi)容、項目，預(yù)測所需要的資料，準(zhǔn)備選用的預(yù)測方法，預(yù)測的進程和完成的時間以及預(yù)測的預(yù)算、組織實施等。只有目的明確、計劃科學(xué)的預(yù)測，才可保證預(yù)測的順利進行。

其次，建立新的神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測模型。經(jīng)過求增長率再進行歸一化的處理，在給出的以往的數(shù)據(jù)的增長率范圍內(nèi)，網(wǎng)絡(luò)就可能不再陷入訓(xùn)練“盲區(qū)”。.當(dāng)采用了足夠年限的已知數(shù)據(jù)并將其增長率歸一化以后，“被預(yù)測年”數(shù)據(jù)的增長率可能不再會大于那些“已知年”數(shù)據(jù)的增長率.則外延問題可以得到基本解決。

最后，對神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測結(jié)果進行檢驗，減小誤差。經(jīng)濟預(yù)測是立足于過去及現(xiàn)在的已知推測未來的未知，而過去和現(xiàn)在終歸不是未來，預(yù)測結(jié)果和未來實際值不可能絕對相符，存在的差異就是預(yù)測誤差。為了使預(yù)測誤差最小化，檢驗結(jié)果通過試探性的反復(fù)試驗來確定，預(yù)測準(zhǔn)確度應(yīng)盡可能進行外推檢驗。

三、總結(jié)

神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測的方法相對于其他的經(jīng)濟預(yù)測方法，具有獨特的、顯著的優(yōu)勢，我們可以利用好其優(yōu)勢，從而有助于我們更好的對經(jīng)濟發(fā)展進行預(yù)測分析，從而把握好經(jīng)濟發(fā)展動向，為經(jīng)濟決策提供依據(jù)。因此，我們應(yīng)當(dāng)根據(jù)社會發(fā)展需要，不斷改進神經(jīng)網(wǎng)絡(luò)經(jīng)濟預(yù)測方法的應(yīng)用，使其效能最優(yōu)化，為我國經(jīng)濟發(fā)展助力。

參考文獻：

[1]陳健，游瑋，田金信.應(yīng)用神經(jīng)網(wǎng)絡(luò)進行經(jīng)濟預(yù)測方法的改進[J].哈爾濱工業(yè)大學(xué)學(xué)報，2006（06）

篇4

關(guān)鍵詞：圖像分類；深度學(xué)習(xí)；Caffe框架；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP18 文獻標(biāo)識碼：A 文章編號：1009-3044（2016）35-0209-03

Research and Implementation of Image Classification Based on Convolution Neural Network

WANG Chao

（Information Engineering Institute，East China University of Technology， Nanchang 330013， China）

Abstract： The problem of image classification has been the core problem in computer vision. A good solution is developed by further study which can solve the problem of extracting image features in image classification. In order to learn image features efficiently， constructing the machine learning model with hidden layer as well as training a large number of image data will eventually promote the accuracy of image classification or prediction. This paper is intended as an in-depth Caffe learning framework to construct a small image data-base. The convolutional neural network provided by Caffe framework will make a training analysis of the data set and then extract the information of target image features. These can be used for the final prediction of the target image. Compared with the traditional image classification algorithm， the accuracy of the prediction will be greatly improved.

Key words： image classification； deep learning； Caffe framework； Convolutional Neural Network

S著計算機與互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，我們已經(jīng)進入了一個以圖像構(gòu)建的世界。但是面臨有海量圖像信息卻找不到所需要的數(shù)據(jù)的困境，因而圖像分類技術(shù)應(yīng)運而生。通過各種機器學(xué)習(xí)算法使計算機自動將各類圖像進行有效管理和分類，但是由于圖像內(nèi)容包含著大量復(fù)雜且難以描述的信息，圖像特征提取和相識度匹配技術(shù)也存在一定的難題，要使得計算機能夠像人類一樣進行分類還是有很大的困難。

深度學(xué)習(xí)是近十年來人工智能領(lǐng)域取得的重要突破，在圖像識別中的應(yīng)用取得了巨大的進步，傳統(tǒng)的機器學(xué)習(xí)模型屬于神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)有大量的參數(shù)，經(jīng)常會出現(xiàn)過擬合問題，因而對目標(biāo)檢測準(zhǔn)確率上比較低。本文采用卷積神經(jīng)網(wǎng)絡(luò)框架，圖像特征是從大數(shù)據(jù)中自動學(xué)習(xí)得到，而且神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)深由很多層組成，通過重復(fù)利用中間層的計算單元來減少參數(shù)，在特征匯聚階段引入圖像中目標(biāo)的顯著信信息，增強了圖像的特征表達能力。通過在圖像層次稀疏表示中引入圖像顯著信息，加強了圖像特征的語義信息，得到圖像顯著特征表示，通過實驗測試，效果比傳統(tǒng)的圖像分類算法預(yù)測的準(zhǔn)確度有明顯的提升。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法

1.1 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）是描述生物神經(jīng)網(wǎng)絡(luò)運行機理和工作過程的抽象和簡化了的數(shù)學(xué)物理模型，使用路徑權(quán)值的有向圖來表示模型中的人工神經(jīng)元節(jié)點和神經(jīng)元之間的連接關(guān)系，之后通過硬件或軟件程序?qū)崿F(xiàn)上述有向圖的運行[1]。目前最典型的人工神經(jīng)網(wǎng)絡(luò)算法包括：目前最典型的人工神經(jīng)網(wǎng)絡(luò)有BP網(wǎng)絡(luò) [2]Hopfield網(wǎng)絡(luò)[3]Boltzmann機[4]SOFM網(wǎng)絡(luò)[5]以及ART網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)[6]，算法流程圖如圖1所示[7]。

1.2 卷積神經(jīng)網(wǎng)絡(luò)框架的架構(gòu)

Caffe是Convolutional Architecture for Fast Feature Embedding的縮寫[8]，意為快速特征嵌入的卷積結(jié)構(gòu)，包含最先進的深度學(xué)習(xí)算法以及一系列的參考模型，圖2表示的是卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。Caffe深度學(xué)習(xí)框架主要依賴CUDA，IntelMKL，OpenCV，glog軟件以及caffe文件。本文使用的各個軟件版本說明，如表1所示。

Caffe深度學(xué)習(xí)框架提供了多個經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，利用隱含層的卷積層和池采樣層是實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能，卷積神經(jīng)網(wǎng)絡(luò)模型通過采取梯度下降法最小化損失函數(shù)對網(wǎng)絡(luò)中的權(quán)重參數(shù)逐層反向調(diào)節(jié)，通過頻繁的迭代訓(xùn)練來提高網(wǎng)絡(luò)的精度。卷積神經(jīng)網(wǎng)絡(luò)使用權(quán)值共享，這一結(jié)構(gòu)類似于生物神經(jīng)網(wǎng)絡(luò)，從而使網(wǎng)絡(luò)的復(fù)雜程度明顯降低，并且權(quán)值的數(shù)量也有大幅度的減少，本文使用這些模型直接進行訓(xùn)練，和傳統(tǒng)的圖像分類算法對比，性能有很大的提升，框架系統(tǒng)訓(xùn)練識別基本流程如圖3表示。

1.3 圖像分類特征提取

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次相比傳統(tǒng)的淺層的神經(jīng)網(wǎng)絡(luò)來說，要復(fù)雜得多，每兩層的神經(jīng)元使用了局部連接的方式進行連接、神經(jīng)元共享連接權(quán)重以及時間或空間上使用降采樣充分利用數(shù)據(jù)本身的特征，因此決定了卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比維度大幅度降低，從而降低計算時間的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)主要分為兩個過程，分為卷積和采樣，分別的對上層數(shù)據(jù)進行提取抽象和對數(shù)據(jù)進行降維的作用。

本文以Caffe深度學(xué)習(xí)框架中的 CIFAR-10數(shù)據(jù)集的貓的網(wǎng)絡(luò)模型為例，如圖4所示，對卷積神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。CIFAR-10是一個標(biāo)準(zhǔn)圖像圖像訓(xùn)練集，由六萬張圖像組成，共有10類（分為飛機，小汽車，鳥，貓，鹿，狗，青蛙，馬，船，卡車），每個圖片都是32×32像素的RGB彩色圖像。通過對數(shù)據(jù)進行提取和降維的方法來提取圖像數(shù)據(jù)的特征。

2 實驗分析

將貓的圖像訓(xùn)練集放在train的文件夾下，并統(tǒng)一修改成256×256像素大小，并對貓的圖像訓(xùn)練集進行標(biāo)記，標(biāo)簽為1，運行選擇cpu進行訓(xùn)練，每進行10次迭代進行一次測試，測試間隔為10次，初始化學(xué)習(xí)率為0.001，每20次迭代顯示一次信息，最大迭代次數(shù)為200次，網(wǎng)絡(luò)訓(xùn)練的動量為0.9，權(quán)重衰退為0.0005，5000次進行一次當(dāng)前狀態(tài)的記錄，記錄顯示如下圖5所示，預(yù)測的準(zhǔn)度在98%以上。而相比傳統(tǒng)的圖像分類算法BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的收斂性慢，訓(xùn)練時間長的，網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性，因而卷e神經(jīng)網(wǎng)絡(luò)框架在訓(xùn)練時間和預(yù)測準(zhǔn)度上具有非常大的優(yōu)勢。

3 結(jié)束語

本文使用Caffe深度學(xué)習(xí)框架，以CIFAR-10數(shù)據(jù)集中貓的網(wǎng)絡(luò)模型為例，構(gòu)建小型貓的數(shù)據(jù)集，提取貓的圖象特征信息，最后和目標(biāo)貓圖像進行預(yù)測，并和傳統(tǒng)的圖像分類算法進行對比，預(yù)測的準(zhǔn)確率有很大的提升。

參考文獻：

[1] 楊錚， 吳陳沭， 劉云浩. 位置計算： 無線網(wǎng)絡(luò)定位與可定位性[M]. 北京： 清華大學(xué)出版社， 2014.

[2] 丁士折. 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)[M]. 哈爾濱： 哈爾濱工程大學(xué)出版社， 2008.

[3] McClelland J L， Rumelhart D E， PDP Research Group. Parallel distributedprocessing[J]. Explorations in the microstructure of cognition， 1986， 2.

[4] Hopfield J J. Neural networks and physical systems with emergent collectivecomputational abilities[J]. Proceedings of the national academy of sciences， 1982， 79（8）： 2554-2558.

[5] Ackley D H， Hinton G E， Sejnowski T J. A learning algorithm for boltzmannmachines[J]. Cognitive science， 1985， 9（1）： 147-169.

[6] Kohonenmaps T. Self-Organized Formation of Topologically Correct Feature Maps[J]. Biological Cybernetics，1982， 43（1）： 59-69.

篇5

關(guān)鍵詞:RBF神經(jīng)網(wǎng)絡(luò);訓(xùn)練方法;函數(shù)逼近

中圖分類號:TP183文獻標(biāo)識碼:A

1引言

RBF神經(jīng)網(wǎng)絡(luò)是近幾年提出的一種新型的前向網(wǎng)絡(luò)｡與應(yīng)用廣泛的BP網(wǎng)絡(luò)相比,RBF神經(jīng)網(wǎng)絡(luò)不僅具有在任意精度下逼近任意非線性映射的能力,而且可以達到最佳逼近精度[1][2]｡RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上具有輸出-權(quán)值線性關(guān)系,訓(xùn)練速度快,這些優(yōu)點給RBF神經(jīng)網(wǎng)絡(luò)的應(yīng)用奠定了良好的基礎(chǔ)｡但是,由于RBF神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種局部網(wǎng)絡(luò),要得到良好的逼近性能,一般要增加隱節(jié)點數(shù)目,這無疑是以犧牲網(wǎng)絡(luò)的計算速度作為代價｡本文提出了一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)模型,將徑向基輸出權(quán)值改為權(quán)函數(shù),采用高次函數(shù)取代了線性加權(quán),從而大大改善了網(wǎng)絡(luò)性能｡

2廣義RBF神經(jīng)網(wǎng)絡(luò)模型

不失一般性,考慮多輸入單輸出歸一化形式的廣義模糊RBF神經(jīng)網(wǎng)絡(luò),廣義RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示｡網(wǎng)絡(luò)共分四層｡定義以下參數(shù):式中,Ψk為徑向基函數(shù),一般取高斯函數(shù)｡

第二層:對基函數(shù)輸出值進行加權(quán)｡

第三層:歸一化處理｡

第四層:計算總輸出｡

當(dāng)fk(x)時,其作用類似于常規(guī)RBF神經(jīng)網(wǎng)絡(luò)的輸出層權(quán)值｡隨著fk(x)的不同,輸出將不單純是各基函數(shù)節(jié)點輸出的超平面,也可能是超曲面｡與一般的RBF神經(jīng)網(wǎng)絡(luò)比較,這種結(jié)構(gòu)主要是將徑向基輸出權(quán)值改為權(quán)函數(shù),可采用高次函數(shù)取代線性加權(quán),從而改善網(wǎng)絡(luò)性能｡詳細的分析見后文的實例仿真｡

如果基函數(shù)具有相同的指數(shù)和寬度,也就是說當(dāng)lk1=lk2=…=lkn=2且σk1=σk2=…=σkn=σk時,廣義RBF神經(jīng)網(wǎng)絡(luò)退化為常規(guī)的RBF神經(jīng)網(wǎng)絡(luò),可見常規(guī)的RBF神經(jīng)網(wǎng)絡(luò)是廣義RBF神經(jīng)網(wǎng)絡(luò)的特例｡計算技術(shù)與自動化2007年3月第26卷第1期黨開放等:一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)及其訓(xùn)練方法

3廣義RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

廣義RBF神經(jīng)網(wǎng)絡(luò)比單純的RBF神經(jīng)網(wǎng)絡(luò)具有更多的參數(shù),其學(xué)習(xí)相對來說就會更為復(fù)雜｡總的說來,學(xué)習(xí)方法有兩種:第1種方法是全調(diào)節(jié)的,類似于BP網(wǎng)絡(luò)的反向遞推,也就是說按照使得代價函數(shù)(通常取誤差平方和)最小的原則,調(diào)整所有的參數(shù),本質(zhì)上是一個非線性優(yōu)化問題｡第2種方法,采用模糊聚類和專家知識預(yù)先優(yōu)化網(wǎng)絡(luò)前幾層的參數(shù),包括隱節(jié)點數(shù)目N､中心向量Ck､寬度σk,指數(shù)lk等,而以最小二乘方法在線優(yōu)化fk(x),k=1,2,…,N｡第一種方法收斂速度慢,可能存在局部極值,只能夠離線進行,可以應(yīng)用于模式識別等領(lǐng)域;第二種方法計算量小,可以在線調(diào)節(jié),適合于控制系統(tǒng)等對于實時性要求高的場合,但是一般需要系統(tǒng)的專家知識｡本文介紹第2種方法｡

廣義RBF神經(jīng)網(wǎng)絡(luò)按照如下步驟進行學(xué)習(xí):

1) 確定合適的網(wǎng)絡(luò)隱節(jié)點數(shù)｡增加網(wǎng)絡(luò)的隱節(jié)點數(shù)目,可以提高網(wǎng)絡(luò)逼近精度,但同時增加了網(wǎng)絡(luò)的學(xué)習(xí)時間｡一般初始時選取比較少的網(wǎng)絡(luò)隱節(jié)點數(shù)目｡

2) 根據(jù)網(wǎng)絡(luò)隱節(jié)點數(shù)選取合理的φk(x)參數(shù),包括中心參數(shù)ck和寬度參數(shù)σk｡

3) 取vk=1,確定fk(x)的參數(shù)｡在下文中,給出了2維輸入網(wǎng)絡(luò)fk(x)參數(shù)的計算方法,多維參數(shù)的推導(dǎo)類似｡

4) 考核誤差,如果小于設(shè)定誤差,則訓(xùn)練結(jié)束;否則回到1) 增加網(wǎng)絡(luò)隱節(jié)點數(shù)目,重復(fù)上 述步驟｡

在以上步驟中,最關(guān)鍵的是網(wǎng)絡(luò)輸出層權(quán)函數(shù)參數(shù)的調(diào)整,下文著重討論｡

4廣義RBF神經(jīng)網(wǎng)絡(luò)輸出層權(quán)函數(shù)參數(shù)的調(diào)整

以x為二維向量(x1,x2)的情況進行分析｡

權(quán)值調(diào)整的目的是使得網(wǎng)絡(luò)的輸出能夠滿足誤差平方和

最小,即E=min,下面分為三種情況進行討論｡

a.fk(x)為常數(shù)項的情況

此時,fk(x)=wk,相應(yīng)的誤差平方和為

對權(quán)值求偏導(dǎo)數(shù),可以得到以下N元一次方程組

b.fk(x)為網(wǎng)絡(luò)輸入1次冪函數(shù)的情況

此時,fk(x)=wk0+wk1x1+w k2,x2,相應(yīng)的誤差平方和為

若使上式最小,可以得到以下3N組方程

c.fk(x為網(wǎng)絡(luò)輸入2次冪函數(shù)的情況

此時,,相應(yīng)的誤差平方和為

推導(dǎo)過程與前類似,此處從略｡

由以上可以看出,fk(x)取為網(wǎng)絡(luò)輸入的高 次多項式,使得網(wǎng)絡(luò)具有更加優(yōu)良的 逼近性能的同時,保留了輸出層權(quán)值的線性性質(zhì),從而可以采用最小二乘等方法優(yōu)化權(quán)值｡

5參數(shù)選取對網(wǎng)絡(luò)性能的影響

取期望函數(shù)為yd=sin(πx1)cos(πx2)x1∈[-1,1],x2∈[-1,1](15)考查廣義RBF神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力｡1) φk(x)函數(shù)參數(shù)σ對仿真結(jié)果的影響設(shè)φk(x)中心在參數(shù)空間內(nèi)均勻分布｡由于參數(shù)空間的范圍相同(都為2),且訓(xùn)練點取n2個(n=2,3,4),因此φk(x)中心的間隔在區(qū)間[x1,x2]也都相同,為Δx=2/(n-1)｡記相對寬度為ne,則有ne=σ/Δx｡圖2給出了ne對系統(tǒng)輸出誤差的影響曲線,誤差都采用441組非訓(xùn)練點進行計算｡從圖中可以看出ne取值范圍為0.6~1.8(即σ取0.6Δx~1.8Δx)時,網(wǎng)絡(luò)輸出誤差比較小｡

2)fk(x)冪次對仿真結(jié)果的影響

圖3為采用隱節(jié)點數(shù)目為9的網(wǎng)絡(luò),121組訓(xùn)練數(shù)據(jù),φk(x)函數(shù)中心均勻分布,σ=1.2時得到的網(wǎng)絡(luò)輸出 曲面和誤差曲面,其中誤差曲面采用441組非訓(xùn)練點計算｡從圖中可以看出,在網(wǎng)絡(luò)隱節(jié)點數(shù)目相同的情況下,隨著fk(x)冪次的升高,網(wǎng)絡(luò)的逼近性能越好｡

圖2參數(shù)σ對誤差的影響

表1為采用不同冪次和不同隱節(jié)點數(shù)目時的網(wǎng)絡(luò)訓(xùn)練時間和網(wǎng)絡(luò)輸出誤差對比｡網(wǎng)絡(luò)隱節(jié)點數(shù)為N,網(wǎng)絡(luò)訓(xùn)練時間復(fù)雜度為O(N3)｡從表中可以看出,在隱節(jié)點數(shù)目相同時,隨fk(x)冪次的增高,訓(xùn)練時間略有增加｡在fk(x)為2次冪函數(shù)時,網(wǎng)絡(luò)取9個隱節(jié)點時的網(wǎng)絡(luò)輸出誤差和fk(x)為1次冪函數(shù)時,網(wǎng)絡(luò)取16個隱節(jié)點時的網(wǎng)絡(luò)輸出誤差以及fk(x)為0次冪函數(shù)時,網(wǎng)絡(luò)取64個隱節(jié)點時的網(wǎng)絡(luò)輸出誤差相當(dāng),但是計算時間大大減少｡可見,提高fk(x)冪次,可減少網(wǎng)絡(luò)隱節(jié)點數(shù),縮短網(wǎng)絡(luò)訓(xùn)練時間｡表1不同冪次和隱節(jié)點數(shù)時的網(wǎng)絡(luò)輸出誤差冪次隱節(jié)點數(shù)目計算時間(ms)

6結(jié)論

篇6

在當(dāng)前我國電信市場激烈的競爭環(huán)境中，客戶成了電信企業(yè)爭奪的資源，客戶關(guān)系管理（Customer Relationship Management，簡稱CRM）由于其能夠幫助企業(yè)更好地了解客戶并增加盈利，在電信企業(yè)中廣泛應(yīng)用?？蛻艏毞肿鳛镃RM的核心問題日益受到人們的關(guān)注?？蛻艏毞质侵笇⑹袌龇譃榫哂胁煌枨?、特征或行為的不同購買者的過程。客戶細分的主要目的[1]是：①預(yù)測客戶行為，為企業(yè)和客戶之間交流提供了基礎(chǔ)，使得企業(yè)客戶為客戶提供更好的服務(wù)、防止客戶流失；②通過對客戶合理的類別劃分，分析出當(dāng)前以及預(yù)期客戶群的區(qū)段，判斷不同區(qū)段的突出特點，準(zhǔn)確認識客戶的總體構(gòu)成，對客戶的服務(wù)和營銷更具針對性。

樹形算法是最常用的CRM客戶細分技術(shù)，研究分析各樹形算法在對電信客戶數(shù)據(jù)進行細分挖掘時的不同表現(xiàn)，找到客戶數(shù)據(jù)細分效果相對最好的算法，對于提高CRM客戶細分技術(shù)有推動意義。

1.3 平衡隨機森林BRF算法

平衡隨機森林是在隨機森林的傾斜數(shù)據(jù)處理問題上，Chen （2004）[7]提出的一種改進算法。BRF是在隨機采樣輸入數(shù)據(jù)時，使多數(shù)類和少數(shù)類的數(shù)據(jù)量相當(dāng)，在處理大型數(shù)據(jù)時較為有效。

1.4 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)[8]的拓撲結(jié)構(gòu)（見圖1）由一個輸入層、一個輸出層、一個或多個隱藏層組成，單元之間由權(quán)重w相連接，每個單元有一個相關(guān)的偏倚。網(wǎng)絡(luò)的訓(xùn)練過程為數(shù)據(jù)從輸入層通過隱藏層到輸出層前向傳播，在輸出層進行評估后將錯誤反饋回輸入層，在此過程中調(diào)節(jié)網(wǎng)絡(luò)節(jié)點連接權(quán)重和偏倚，使得網(wǎng)絡(luò)的誤差平方和最小。最終訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型用作樹形模型的對照組。

2.2.1 決策樹

⑴ Gini指標(biāo)計算優(yōu)化

在決策樹[9]CART的生成中，Gini指標(biāo)因為需考慮所有子集劃分，所以其計算量隨著特征值集的增加呈指數(shù)量上升。顯然，縮小值集空間能顯著降低運算復(fù)雜度，但當(dāng)特征的值個數(shù)較少時（如<10），去除前1/3會影響到最優(yōu)子集的選擇，但隨著值個數(shù)的增加，這種影響會越來越不明顯。另外，當(dāng)每個值出現(xiàn)的次數(shù)相對平均時，縮小值集空間會明顯影響到最優(yōu)子集的選擇，而當(dāng)次數(shù)差異較大時，去除出現(xiàn)次數(shù)非常小的值幾乎不會影響到最優(yōu)子集。因此，為優(yōu)化Gini指標(biāo)的計算，對值集空間進行縮減，方法：對于值個數(shù)小于10的特征，僅去除分布小于1%的值；而對值個數(shù)大于10的特征，去除值分布排名前1/3或其分布小于1%的值。

⑵ 樹剪枝

由于前期的數(shù)據(jù)處理已經(jīng)對數(shù)據(jù)中存在的噪聲進行了平滑，所以不再采用決策樹剪枝。

2.2.2 平衡隨機森林

平衡隨機森林BRF算法中主要有兩個參數(shù)需要確定，一為森林規(guī)模，即森林中樹的數(shù)量；二為樹節(jié)點生成時隨機特征集的大小。

⑴ 森林規(guī)模

通過對于BRF在不同的數(shù)據(jù)量和森林規(guī)模下的性能評估如圖2所示，得出本次BRF算法效果最優(yōu)值在森林規(guī)模scale=610時取到，因此將森林規(guī)模設(shè)定為610。

⑵ 樹節(jié)點生成時隨機特征集的大小

通過對不同的隨機特征集數(shù)量設(shè)置對BRF挖掘分類效果的影響分析，N代表隨機特征集個數(shù)，得出：隨著隨機特征集設(shè)置數(shù)量的增大，BRF效能也稍有提高，但相應(yīng)地，森林的生成時間也被明顯延長。另外，當(dāng)隨機屬性集較大時，算法挖掘效果提升不明顯，但森林生成時間卻被極大地延長。因此，為了平衡時間與算法挖掘效果，將隨機森林中的樹節(jié)點生成屬性集個數(shù)設(shè)定為5。

學(xué)習(xí)率的設(shè)定對神經(jīng)網(wǎng)絡(luò)的建立非常重要，如果學(xué)習(xí)率太大，可能會在不適當(dāng)?shù)慕庵g擺動；反之如果學(xué)習(xí)率太小，學(xué)習(xí)將進行得過于緩慢。經(jīng)驗法則是利用訓(xùn)練集迭代次數(shù)t，將學(xué)習(xí)效率置為1/t大小。圖3為在均衡樣本下學(xué)習(xí)率分別為1.0和1/t時神經(jīng)網(wǎng)絡(luò)收斂比較。4.5是多叉分裂樹，而CART為二叉分裂樹）不同而帶來的性能影響外，還可能由于文本為平衡CART在Gini指標(biāo)的計算中的時間復(fù)雜度問題而進行的算法優(yōu)化，造成了CART分類效果的降低。神經(jīng)網(wǎng)絡(luò)性能最低，這可能是由于其訓(xùn)練周期不夠造成的。神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)量巨大時其訓(xùn)練緩慢是一個不容忽視的問題。

3 結(jié)束語

篇7

關(guān)鍵詞 小波分析 神經(jīng)網(wǎng)絡(luò) 模擬電路 故障診斷

中圖分類號：TN710 文獻標(biāo)識碼：A

0 引言

模擬電路故障診斷是近代電路理論的一個前沿領(lǐng)域，模擬電路中具有很多的非線性元件，輸入輸出響應(yīng)不像數(shù)字電路，都是連續(xù)量，電路元器件的參數(shù)具有離散性，這些客觀條件都給故障診斷帶來了很大的困難。

隨著科技的進步，神經(jīng)網(wǎng)絡(luò)以其良好的學(xué)習(xí)和泛化能力成了研究者注意的重點，越來越多地被利用到故障診斷中。文獻①提出了對故障信號進行小波變換預(yù)處理的單故障診斷方法?，F(xiàn)有軟故障診斷研究中，大多數(shù)是單故障診斷，針對電路中的多故障診斷所做的研究并不多見，而現(xiàn)在大規(guī)模的集成電路的出現(xiàn)，要求我們的改進方法越來越全面，本文提出了一種可以用于單軟故障和多故障診斷的改進方法。我們首先對電路的各元器件進行靈敏度分析，②然后對所得到的響應(yīng)數(shù)據(jù)進行小波分析，提取各頻帶信號的能量特征和系數(shù)序列的絕對值之和作為所研究的電路的特征信號，經(jīng)歸一化處理和向量關(guān)聯(lián)后輸入神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，然后進行性能測試，從實驗反映的結(jié)果來看，該方法具有有效性和可行性。

1 小波理論與小波函數(shù)

2 故障特征提取和處理

2.1 多分辨分析故障特征提取

多分辨分析的基本原理就是構(gòu)造一組函數(shù)空間，并且其閉包則逼近，其中所有的函數(shù)都是所構(gòu)造空間的標(biāo)準(zhǔn)化正交基，形象點說，應(yīng)用到特征提取中，就像人眼看待事物一樣，如果距離物體比較遠，即尺度較大，則視野寬、分辨能力低，只能觀察事物的概貌而看不清局部細節(jié)；若距離物體較近，即尺度較小，那么視野就窄而分辨能力高，可以觀察到事物的局部細節(jié)卻無法概覽全貌。利用多分辨分析的優(yōu)點，我們用Mallat算法提取各頻帶的故障信息，由于在模擬電路中，軟故障信號的變化是十分微小的，而我們要很細致的反映信號的變化，我們就只能依靠高頻分解的部分所得反饋信息，所以我們將故障信號的各層系數(shù)序列進行絕對值求和，將所得到的值按尺度順序排列，構(gòu)成一組反映電路故障的特征向量。④

2.2 能量分布特征提取

（1）信號采集與提取特征。根據(jù)所選電路，利用Pspice10.5仿真軟件，對電路進行模擬仿真，選擇最佳的測試點（本文案例選取輸出節(jié)點為測試點），針對各種故障，提取數(shù)據(jù)，爾后對所得數(shù)據(jù)進行小波分析，用上一章所述方法，得到我們所需的特征向量。

（3）故障診斷。對于有故障的電路，我們用實際測量的信號，經(jīng)特征提取-歸一化處理-特征關(guān)聯(lián)系列處理之后，輸入我們已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，根據(jù)所對應(yīng)的故障狀態(tài)，我們就可以定位故障元件。

4 故障診斷實例

為了驗證本文方法在診斷時的有效性和收斂速度的快慢，我們選取圖2所示電路進行仿真實驗。各元件的值如圖標(biāo)示，由于元件都具有容差，在本電路中我們選取電容容差為10%，電阻值容差為5%。對電路先進行靈敏度分析，選取對電路性能影響較大的元件為研究對象。

5 結(jié)束語

本文采用了基于小波變換各頻帶的系數(shù)序列的絕對值之和和能量特征歸一化預(yù)處理的小波神經(jīng)網(wǎng)絡(luò)信息融合的新方法對模擬電路故障進行了診斷。從診斷實例我們可以看出，樣本信號經(jīng)過這種預(yù)處理后，剔除了信號中的冗余信號，有效減少神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點和隱層節(jié)點的個數(shù)，從網(wǎng)絡(luò)的規(guī)模上有所減小，降低計算的復(fù)雜度，實驗結(jié)果表明該方法具有診斷速度快，診斷準(zhǔn)確率高的特點，并提高了辨識故障類別的能力。

注釋

① 陳煒，馮玉光.一種基于小波神經(jīng)網(wǎng)絡(luò)的故障診斷方法[J].電子工程師，2005.31（8）：67-70.

② 劉美華，彭良玉.基于小波分析和信息融合技術(shù)的故障診斷[J].微電子學(xué)與計算機，2009.26（1）：166-168.

③ 禹旺兵，彭良玉，禹恒州.基于小波分析和神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法[J].微電子學(xué)與計算機，2007.24（7）：43-46.

④ 姚俊華，李迅波.模擬電路軟故障診斷方法的研究[D].西安：電子科技大學(xué)，2010.

⑤ 秦志強，黃繼達，王晨宇，鄭標(biāo). MATLAB結(jié)合PSPICE 在模擬電路故障特征提取中的應(yīng)用[D].江蘇：中國礦業(yè)大學(xué)，2009.

⑥ 賈新章，郝躍，OrCAD/PSPICE實用教程[M].西安：西安電子科技大學(xué)出版社，1999：118-128.

篇8

【關(guān)鍵詞】信用風(fēng)險 專家方法 信用風(fēng)險評估模型 神經(jīng)網(wǎng)絡(luò)模型

一、前言

在全球金融危機、國內(nèi)政策支持力度加大的背景下，河北省小額貸款公司如雨后春筍般快速發(fā)展。小額貸款公司在其發(fā)展和運營過程中，不容忽視的信用風(fēng)險也開始不同程度的顯現(xiàn)，在“區(qū)域化運作”、“只貸不存”的市場定位和政策約束的影響下，小額貸款公司面臨的信用風(fēng)險必然高于其他金融機構(gòu)，而小額貸款公司目前的信用風(fēng)險評估[1]缺乏科學(xué)性、合理性以及針對性，還沒有形成與自身運營特征相適應(yīng)的信用風(fēng)險預(yù)警及控制方法。以實現(xiàn)股東的預(yù)期收益和政府政策為目標(biāo)，結(jié)合小額貸款公司實際的運營特點，運用科學(xué)、有效的預(yù)警方法，降低違約風(fēng)險，控制信用風(fēng)險成為現(xiàn)階段小額貸款公司面臨的問題。加強小額貸款公司信用風(fēng)險管理，對于集合民間資本、有效配置金融資源、完善河北省金融市場結(jié)構(gòu)、細化金融市場、促進金融改革深化均具有積極意義。

二、神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)[2]最早是由心理學(xué)家和神經(jīng)生物學(xué)家提出的，旨在尋求開發(fā)和測試神經(jīng)的計算模擬。神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元，其中每個連接都與一個權(quán)值相關(guān)聯(lián)。在學(xué)習(xí)階段，通過調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值，使得神經(jīng)網(wǎng)絡(luò)模型可以預(yù)測輸入樣本的正確性來學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)近來越來越受到人們的關(guān)注，因為它為解決大復(fù)雜度問題提供了一種相對來說比較有效的簡單方法。

三、實證研究

（一）樣本數(shù)據(jù)

選取大連市36家上市企業(yè)的2012年底的公告數(shù)據(jù)作為樣本來源，主要因為上市公司的透明度較高，數(shù)據(jù)容易獲得，并且能夠保證實驗的客觀和真實性。

按照小貸公司提供的企業(yè)信貸償還狀況， 將這36家企業(yè)分為正常和違約（即不能如期償還貸款的企業(yè)）兩類，設(shè)定信用等級0.1～1即為正常，小于0.1即為違約。選擇28企業(yè)作為訓(xùn)練集， 其中正常和違約企業(yè)各為14家， 剩下8家企業(yè)， 除了留2家作為應(yīng)用實例外， 全部作為測試集， 測試集中的正常和違約企業(yè)各3家。

（二）模型修正

1.初始輸入的確定。由于輸入初始值對學(xué)習(xí)是否達到局部最小和能否收斂關(guān)系很大，有必要對輸入的初始值進行預(yù)處理，即歸一化處理。

2.網(wǎng)絡(luò)層次的選定。網(wǎng)絡(luò)層次的增加可減少各隱含層單元總個數(shù)，同時使學(xué)習(xí)過程變得更容易，但是也必然會增加網(wǎng)絡(luò)的學(xué)習(xí)時間，因而三層神經(jīng)網(wǎng)絡(luò)就能構(gòu)成所需要的復(fù)雜判別函數(shù)的學(xué)習(xí)和應(yīng)用。

3.隱含層節(jié)點數(shù)確定。

4.算法的改進。選用附加動量法，使網(wǎng)絡(luò)在修正其權(quán)值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響。在沒有附加動量的作用下，網(wǎng)絡(luò)可能陷入淺的局部極小值，利用附加動量的作用有可能滑過這些極小值。

該方法是反向傳播方法的基礎(chǔ)上在每一個權(quán)值（或閥值）的變化上加一項正比于前次權(quán)值（或閥值）變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值（或閥值）變化。

運用BP神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練時，誤差梯度的變化剛開始變化較大，隨著訓(xùn)練次數(shù)的增加誤差的梯度變化逐漸趨于平穩(wěn)且較小，并且學(xué)習(xí)速率不斷的增大了，也即隨著學(xué)習(xí)次數(shù)的不斷增加，模型的系統(tǒng)誤差值越來越快的接近期望誤差值。

四、結(jié)果及分析

通過得到訓(xùn)練集的仿真學(xué)習(xí)結(jié)果，誤差值已經(jīng)很接近于設(shè)定的誤差值。需要進行下一步的模型測試，加強模型的準(zhǔn)確性。

為了測試BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練所得學(xué)習(xí)仿真結(jié)果，運用測試集，對測試集數(shù)據(jù)進行擬合運算，對擬合度結(jié)果進行分析，實際輸出的誤差值很接近于期望誤差了。也說明了根據(jù)訓(xùn)練集學(xué)習(xí)得到的BP神經(jīng)網(wǎng)絡(luò)模型是適用于信用風(fēng)險評估的，說明建立的BP網(wǎng)絡(luò)模型能夠達到一個較為準(zhǔn)確的預(yù)測功能。輸出結(jié)果符合本次模型對信用評估的正常和違約的區(qū)間設(shè)定，足夠判斷企業(yè)的信用實際情況，也充分說明了模型對實際應(yīng)用信用風(fēng)險評估的可行性。

五、結(jié)論

本文通過建立采用的三層BP網(wǎng)絡(luò)結(jié)構(gòu)，選用網(wǎng)絡(luò)結(jié)構(gòu)輸入層節(jié)點數(shù)×隱含層節(jié)點數(shù)×輸出層節(jié)點數(shù)為5×5×1，學(xué)習(xí)算法上采用取學(xué)習(xí)因子為0.10方法改進評估模型的訓(xùn)練效率，使得模型的誤差較近的趨于設(shè)定的期望誤差。通過這種模型進行信用風(fēng)險評估，弱化了信用指標(biāo)權(quán)值確定的人為因素，提高了評估過程的科學(xué)性和評估結(jié)果的準(zhǔn)確性。充分說明了神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于構(gòu)建小貸公司信用風(fēng)險評估的極大適用性。

參考文獻：

[1]黃曉梅，小額貸款公司信用風(fēng)險的控制與防范，企業(yè)經(jīng)濟，2012年第11期

[2]張濱等，商業(yè)銀行小額貸款風(fēng)險評估模型研究，市場縱橫，2011年5月

[3]牛潤盛，區(qū)域性金融風(fēng)險預(yù)警的神經(jīng)網(wǎng)絡(luò)模型研究，吉林金融研究，2013年05期

基金項目：

1.河北省科技廳 《基于數(shù)據(jù)挖掘技術(shù)的河北省小額貸款風(fēng)險預(yù)警研究》（13210329）

2.保定市科技局 《基于數(shù)據(jù)挖掘的銀行貸款風(fēng)險預(yù)警系統(tǒng)研究》（13ZG004）

篇9

【關(guān)鍵詞】故障預(yù)測 準(zhǔn)確度 智能預(yù)測算法 支持向量機

1 引言

故障預(yù)測是比故障診斷更高級的維修保障形式，它以當(dāng)前設(shè)備為起點，對設(shè)備將來可能出現(xiàn)的故障狀態(tài)或故障時間進行預(yù)測并預(yù)先消除故障，這對于減少工作量和維護費用具有重要的意義。而如何提高故障預(yù)測準(zhǔn)確度就成為故障預(yù)測技術(shù)向前發(fā)展的關(guān)鍵問題。

提高故障預(yù)測準(zhǔn)確的方法有很多，從故障預(yù)測整個流程來說，就可以從數(shù)據(jù)的準(zhǔn)確度、數(shù)據(jù)的預(yù)處理、故障特征提取方法的改進以及智能預(yù)測算法的選擇這四個方面來進行提高。這四個方面中，預(yù)測方法的優(yōu)劣對故障預(yù)測效果的提升具有重要的作用。因此，本文主要從智能預(yù)測算法方面進行分析和研究，介紹了一些常見的智能預(yù)測算法及其應(yīng)用情況，并重點介紹了比較有前景的支持向量機算法的一些基本問題和改進的方向。

2 常見的智能預(yù)測算法及其應(yīng)用

2.1 專家系統(tǒng)及其應(yīng)用

專家系統(tǒng)主要用于那些沒有精確數(shù)學(xué)模型或很難建立數(shù)學(xué)模型的復(fù)雜系統(tǒng)，特別在菲線性領(lǐng)域被認為是一種很有前景的方法。李茂林、張晶等在充分分析某自行火炮的電氣系統(tǒng)的失效模式與故障機理的基礎(chǔ)上，開發(fā)了電氣系統(tǒng)故障綜合診斷專家系統(tǒng)，提高了保障人員解決復(fù)雜電氣系統(tǒng)問題的能力。但專家系統(tǒng)的開發(fā)需要大量原始積累，其標(biāo)準(zhǔn)沒有一個統(tǒng)一的規(guī)范，這可能導(dǎo)致在綜合各個專家知識時存在偏差和失誤。專家系統(tǒng)的應(yīng)用較早，在近幾年這方面的成果不多。

2.2 神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

神經(jīng)網(wǎng)絡(luò)主要以兩種方式實現(xiàn)預(yù)測功能：一是以神經(jīng)網(wǎng)絡(luò)作為函數(shù)逼近器，對設(shè)備工況及其參數(shù)進行擬合預(yù)測；二是考慮輸入輸出間的動態(tài)關(guān)系，用帶饋連接的動態(tài)神經(jīng)網(wǎng)絡(luò)對國產(chǎn)或工況參數(shù)建立動態(tài)模型進行故障預(yù)測。神經(jīng)網(wǎng)絡(luò)具有較強的非線性映射能力，能逼近任意非線性函數(shù)。在故障預(yù)測方面得到了廣泛的應(yīng)用，利用遞歸神經(jīng)網(wǎng)絡(luò)對半導(dǎo)體蝕刻設(shè)備進行了故障預(yù)測，預(yù)測結(jié)果的準(zhǔn)確度達到了90%。利用RBF的非線性建模能力，在某魚雷保障設(shè)備的關(guān)鍵點建立網(wǎng)絡(luò)預(yù)測模型，得到了較好的預(yù)測效果。但神經(jīng)網(wǎng)絡(luò)同樣也有一些缺點，如網(wǎng)絡(luò)結(jié)構(gòu)大多需要靠經(jīng)驗確定；容易出現(xiàn)過學(xué)習(xí)和易限于局部最小點；訓(xùn)練樣本需求量大等。

2.3 支持向量機及其應(yīng)用

支持向量機（SVM）是根據(jù)統(tǒng)計學(xué)理論提出的一種機器學(xué)習(xí)算法。它具有強小樣本學(xué)習(xí)能力和強泛化能力，可以很好的克服局部極小點、維數(shù)災(zāi)難等過學(xué)習(xí)問題?，F(xiàn)在的設(shè)備越來越復(fù)雜，導(dǎo)致樣本的獲取變得更加困難，和神經(jīng)網(wǎng)絡(luò)相比，支持向量機的小樣本學(xué)習(xí)能力就顯得更加突出。由于支持向量機具有上述的優(yōu)點，其相應(yīng)的算法和改進的算法得到了廣泛的應(yīng)用。田干等將支持向量機和最小二乘支持向量機都運用到液體火箭發(fā)動機參數(shù)預(yù)測問題，預(yù)測精度都很高，通過對比兩種方法的預(yù)測結(jié)果，發(fā)現(xiàn)前者的預(yù)測結(jié)果好于后者，但后者的訓(xùn)練時間遠遠小于前者。利用支持向量回歸機分為兩個步驟對軸承的剩余壽命（URL）進行預(yù)測，預(yù)測結(jié)果和軸承的實際剩余壽命基本一致，具有很好的預(yù)測效果。

3 支持向量機預(yù)測算法基本問題及改進方向

3.1 支持向量機預(yù)測的主要問題

支持向量機在使用的過程中主要，對其性能有重要影響的參數(shù)包括懲罰參數(shù)C，核函數(shù)及核參數(shù)的選取。C用于控制模型復(fù)雜度和逼近誤差的折中，C越大則對數(shù)據(jù)的擬合程度越高，學(xué)習(xí)機器的復(fù)雜度就越高，容易出現(xiàn)“過學(xué)習(xí)”的現(xiàn)象。而C取值過小，則對經(jīng)驗誤差的懲罰小，學(xué)習(xí)機器的復(fù)雜度低，就會出現(xiàn)“欠學(xué)習(xí)”的現(xiàn)象。當(dāng)C的取值大到一定程度時，SVM模型的復(fù)雜度將超過空間復(fù)雜度的最大范圍，那么當(dāng)C繼續(xù)增大時將幾乎不在對SVM的性能產(chǎn)生影響。針對上面支持向量機預(yù)測的主要問題，很多學(xué)者也進行了深入細致的研究，很多模型參數(shù)選取的方法被提出，并應(yīng)用到實例中，并且都提高了預(yù)測的準(zhǔn)確度。主要有窮舉法、交叉驗證法、梯度下降法、網(wǎng)格搜索法、遺傳算法優(yōu)化、粒子群算法優(yōu)化（PSO）。上述方法中，窮舉法、交叉驗證法因其操作簡單被廣泛應(yīng)用，但是對于參數(shù)較多的情況來說，它們都有著計算量大，速度慢，效果不好等缺點。梯度下降法比前兩種方法在速度上有了很大改善，對其初始點要求較高，而且是一種線性搜索法，因此極易陷入局部最優(yōu)。網(wǎng)格算法的優(yōu)點在于可以并行處理，而其缺點為計算量巨大。遺傳算法具有魯棒性強不容易陷入局部最優(yōu)，但是其操作比較復(fù)雜。粒子群算法則存在易于陷入局部最優(yōu)導(dǎo)致的收斂精度低和不易收斂等缺點。

3.2 支持向量機預(yù)測方法的改進

前面也提到了支持向量機預(yù)測精度提高面臨的主要問題，針對這些問題本身，可以得到其改進的一些方向。主要可以分為四個方面：一是對現(xiàn)有模型參數(shù)選擇方法的改進；二是針對現(xiàn)有模型參數(shù)選擇方法的缺點，將其進行組合；是針對具體問題建立新的核函數(shù)或者將現(xiàn)有的核函數(shù)進行組合；三四是制定一套通用性比較好的標(biāo)準(zhǔn)化的模型參數(shù)確定方法。

現(xiàn)有模型參數(shù)的選擇方法中，都有相應(yīng)的缺點，克服其缺點，提出相應(yīng)的改進方法。這對于提高模型的預(yù)測準(zhǔn)確度定會有所幫助。由于參數(shù)的選擇范圍較大，在多個參數(shù)中進行盲目搜索最優(yōu)參數(shù)的時間代價較大，且很難得到最優(yōu)參數(shù)。為此，田海雷等提出一種基于改進人工魚群算法（AFSA）的支持向量機（SVM）預(yù)測算法。對AFSA進行改進，并使用改進算法優(yōu)化 SVM。實驗結(jié)果表明，與遺傳算法、粒子群優(yōu)化算法和基本 AFSA 優(yōu)化的支持向量機相比，預(yù)測精度得到了很大的提高；李文元等將粒子群算法和最小二乘支持向量機算法相結(jié)合，采用PSO算法優(yōu)化LS-SVM的參數(shù)，克服了人為參數(shù)選擇的盲目性，在全局優(yōu)化與收斂速度方面具有較大優(yōu)勢。經(jīng)PSO算法優(yōu)化后的LS-SVM應(yīng)用到通信設(shè)備的故障預(yù)測中，預(yù)測精度和運算速度都得到了提高，具有較好的有效性和可行性。

組合模型參數(shù)選擇方法，充分發(fā)揮每種方法的優(yōu)點，克服其不足。這對提高模型的預(yù)測準(zhǔn)確度肯定也會有很大的提高。如AFS-ABC算法，用于組合優(yōu)化LS-SVM的參數(shù)。該算法將魚群算法AFS簡化模型中人工魚的尋優(yōu)更新方法引入到蜂群算法中，以互補優(yōu)勢、互克不足，以某航空電子系統(tǒng)電源模塊的故障預(yù)測為例驗證了AFS-ABC算法較好地改善了LS-SVM的預(yù)測精度。

針對不同問題，選擇不同的核函數(shù)對于預(yù)測結(jié)果肯定會有所不同，可以根據(jù)實際的需求，建立新的滿足核函數(shù)要求的核函數(shù)。通過查閱數(shù)據(jù)庫，組合核函數(shù)或建立新的核函數(shù)進行設(shè)備故障預(yù)測的相關(guān)文獻很少，但在故障診斷方面已經(jīng)得到了相關(guān)的應(yīng)用。從故障診斷到故障預(yù)測是一個連續(xù)的過程，在故障診斷方面的應(yīng)用也預(yù)示著在故障預(yù)測方面也會有所突破。

4 結(jié)束語

本文主要介紹了幾種常見的智能預(yù)測算法及其應(yīng)用情況，重點介紹了支持向量機預(yù)測算法的一些基本問題，針對其預(yù)測算法的基本問題，提出了一些改進的方向。支持向量機作為智能預(yù)測算法中的一種，具有明顯的優(yōu)勢，因此，對其理論上進行分析，應(yīng)用上加以拓展，這對于提高設(shè)備的預(yù)測準(zhǔn)確度具有重要的作用?？偟膩碚f，在提高預(yù)測準(zhǔn)確度方面，支持向量機是一種比較有前景的智能預(yù)測算法。

參考文獻

[1]Liu C S，Hu S S，Intelligent Nonlinear Fault Diagnosis based on State Estimator[J].Control and Decision，2005，20（05）：557-561.

篇10

基金項目:甘肅省自然科學(xué)基金資助項目（1014RJZA009）；甘肅省教育廳碩士生導(dǎo)師基金資助項目（0803-07）。

作者簡介:王燕（1971-），女，甘肅蘭州人，副教授，碩士，主要研究方向：模式識別、圖像處理、智能信息處理； 公維軍（1987-）,男，甘肅張掖人，碩士研究生，主要研究方向：模式識別。

文章編號:1001-9081（2011）07-1822-03doi:10.3724/SP.J.1087.2011.01822

（蘭州理工大學(xué) 計算機與通信學(xué)院， 蘭州 730050）

（）

摘 要:提出了一種基于雙閾值的兩級級聯(lián)分類器的人臉檢測加速方法。該方法首先應(yīng)用Gabor濾波器提取經(jīng)模板匹配保留的似人臉樣本特征，經(jīng)主成分分析（PCA）降維后的特征作為第一級BP神經(jīng)網(wǎng)絡(luò)輸入進行檢測，在輸出端應(yīng)用雙閾值對人臉/非人臉進行粗檢測，然后把介于雙閾值之間的人臉/非人臉模塊作為第二級AdaBoost算法設(shè)計的輸入并再次進行精檢測，從而在提高檢測速度的同時達到提高檢測率和降低誤檢率的目的。實驗表明，應(yīng)用雙閾值進行級聯(lián)分類加速檢測后，該方法的檢測精度要優(yōu)于基于簡單閾值的分類器。

關(guān)鍵詞:人臉檢測；雙閾值；分類器；級聯(lián)；加速

中圖分類號:TP391.4文獻標(biāo)志碼:A

Accelerated algorithm of face detection based on

dual-threshold cascade classifiers

WANG Yan，GONG Wei-jun

（School of Computer and Communication, Lanzhou University of Technology, Lanzhou Gansu 730050, China）

Abstract: The paper proposed an accelerating way of face detection based on dual-threshold cascade classifiers. First, it applied Gabor filter to extract the face-like features that were retained by template matching, then put eigenvectors extracted by the way of Principal Component Analysis （PCA） into the BP neural network as first classifier, then used dual-threshold to decide face or non-face on output end, and put the face or non-face of midway between up and down threshold into the AdaBoost classifier as the second classifier to decide. In this way, it can improve the detection rate and reduce the false rate while speeding up the detection speed. The experimental results prove that the precision of cascade classifier of face detection based on dual-threshold is superior to the classifier of single threshold.

Key words: face detection; dual-threshold; classifier; cascade; acceleration

0 引言

人臉作為人類視覺中常見而復(fù)雜的模式，它所表現(xiàn)的信息在人與人的交流及人機交互領(lǐng)域都有著重要的意義。對人臉進行檢測在安保視頻監(jiān)控，目標(biāo)身份檢測、門禁系統(tǒng)、智能人機接口和偵查犯罪等諸多領(lǐng)域都有著廣泛的應(yīng)用背景。人臉檢測可描述為對一幅給定的圖像（靜態(tài)或者視頻），采用一定的方法和策略對其進行搜索以確定其中是否含有人臉以及人臉在圖像中出現(xiàn)的位置。

人臉是一類非剛性的自然形體,雖然具有很強的共性,但由于個體表情、光照、遮掩以及成像角度等因素的影響,使得人臉具有比較復(fù)雜而細致的模式變化。如果能夠很好地提取關(guān)鍵特征及設(shè)計良好的分類器，將為解決后續(xù)跟蹤識別及相似的復(fù)雜模式檢測問題提供有益的指導(dǎo),所以人臉檢測是當(dāng)前模式識別領(lǐng)域的一個熱點研究課題。

之前不少學(xué)者提出了各種綜合算法以及一些改進算法，Rowley等人［1］提出了使用神經(jīng)網(wǎng)絡(luò)算法設(shè)計的人臉檢測模型，Viola等人［2］等人提出了用簡單特征訓(xùn)練級聯(lián)人臉檢測器的AdaBoost方法，這之后又有學(xué)者在此基礎(chǔ)上提出了改進算法，如Lienhart等人提出的擴展特征的旋轉(zhuǎn)人臉檢測［3］、支持向量機［4］等。還有學(xué)者提出各種模型算法，如膚色模型的人臉檢測［5-6］等。上述基于單一分類器的人臉檢測在一定程度上提高了檢測精度，但是由于自身特點的局限性，并且分類閾值的單一性等造成了進一步提升精度和降低報警率的困難。本文通過級聯(lián)分類這種粗細檢測的原則，提出了一種基于雙閾值的級聯(lián)分類器的加速人臉檢測方法。與以往級聯(lián)的方法不同，本方法結(jié)合基于知識與統(tǒng)計的方法［7］，先應(yīng)用模板匹配將大量背景去除，只將其中很少的似人臉?biāo)腿氲谝患塀P神經(jīng)網(wǎng)絡(luò)構(gòu)成的分類器進行雙閾值初檢，將介于上下閾值的人臉/非人臉?biāo)腿霊?yīng)用Haar特征的AdaBoost算法的第二級分類器進行精確判別。實驗證明該方法能夠有效提高檢測率，降低誤檢率并提高檢測速度。

1 兩級分類器的構(gòu)建

1.1 基于Gabor小波的BP神經(jīng)網(wǎng)絡(luò)分類器

1.1.1 Gabor小波特征提取

Gabor小波變換（加窗傅里葉變換）由于其小波核函數(shù)具有和人腦大腦皮層簡單細胞的二維反射區(qū)相類似的特性，使其在空間頻率、方向選擇及空間位置的局部信息上有著良好的采集和分辨能力，因此在以生物學(xué)和視覺特性為背景的圖像學(xué)和人臉檢測等多方面得到了廣泛的應(yīng)用。

二維Gabor濾波器函數(shù)形式為：

Gj（w）exp（－）［exp（ikjw）－exp（－）］（1）

其中：kj,φuu?,w（x,y）；δ為高斯窗口的尺度因子，控制濾波器的帶寬和尺度；φu與ωv控制濾波器的調(diào)制方向和頻率。只要選擇合適的δ、φu和ωv，就可以使Gabor小波濾波器構(gòu)成Gabor濾波器組來一同作用于圖像，從而實現(xiàn)目標(biāo)圖像的Gabor小波分解，得到我們所要的特征。在本文中通過檢測窗口與Gabor濾波器組卷積即可得到我們所要提取的特征。

1.1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差修正學(xué)習(xí)規(guī)則的網(wǎng)絡(luò)，它實現(xiàn)一種由輸入到輸出的非線性空間的一種映射，它的模型一般由輸入層、隱層、輸出層組成，隱層可以由一層或多層組成。該算法學(xué)習(xí)的目的是對網(wǎng)絡(luò)的連接權(quán)值進行調(diào)整，使得對任意輸入都能得到所謂期望的輸出［8］，它采用了優(yōu)化的梯度下降算法，直到調(diào)整的誤差滿足需求為止。

1.2 基于AdaBoost算法的人臉檢測分類器

1.2.1 Haar特征模板和積分圖像

應(yīng)用AdaBoost學(xué)習(xí)算法的特征級聯(lián)人臉檢測方法是由Viola和Jones提出來的，該方法采用一種“積分圖像”的表示方法，能快速從人臉中計算出所用到的人臉特征。

Haar型特征是Viola等人提出的一種簡單的矩形矩陣。Haar型特征的值是指圖像上兩個或者多個形狀大小相同的矩形內(nèi)部所有像素灰度值之和的差值。這些以圖像灰度值為自變量的矩形特征在邊緣檢測方面有著很好的表現(xiàn)能力，對人臉臉部的各種特征有很好的提取和編碼能力,檢測速度很快。

Haar型特征的計算是通過引入積分圖像實現(xiàn)的，見圖1。對于一個灰度圖像I，它的積分圖像i的定義為圖像中（x,y）點左上部分所有像素點的累加：

I（x,y）∑x′≤x,y′≤yi（x′,y′）（2）

圖1 積分圖像

這時，1、2、3、4的積分圖的值分別為A、A+B、A+C、A+B+C+D,D點的矩形特征可以通過4+1-（2+3）計算得出，這樣，只要對圖像遍歷一次，就可以得到積分圖，就可以在恒定的時間內(nèi)得到任意尺度下的圖像的特征。

1.2.2 AdaBoost學(xué)習(xí)算法

AdaBoost學(xué)習(xí)算法選擇少量而又非常重要的矩形特征來構(gòu)造一系列弱分類器，然后將這些弱分類器級聯(lián)起來構(gòu)成一個強分類器。算法通過選擇最能區(qū)分正負樣本的矩形特征。對于每一個特征，弱分類器給定一個最優(yōu)的分類函數(shù)的閾值，使得最少的樣本被錯誤分類。一個弱分類器hj（x）包含矩形特征fj，閾值θj和用于控制不等式方向的pj：

hj（x）1, pjfj（x）≤pjθj

0, 其他 （3）

具體學(xué)習(xí)算法如下：

設(shè)（X1,Y1）、（X2,Y2）、…、（Xn,Yn）為具體輸入的圖像，用Yj0,1來標(biāo)記正負樣本，T為循環(huán)次數(shù)。

1）初始化權(quán)值w1，對正樣本（Yj1）和負樣本（Yj0）有I1/（2m），1/（2n）。

2）當(dāng)t1,2,…,T時:

①標(biāo)準(zhǔn)化權(quán)值，wt,i

②對每一個特征j,訓(xùn)練相應(yīng)的分類器hj使該分類器對該特征進行分類，誤差為εj∑Tt1wt|hj（x）－yi|。

③選擇最小誤差分類的分類器。

④更新權(quán)值wt+1,twt,jβ1－eit，若Xi被正確地分類，則ei0；反之，ei1,βt（1－ei）/t。

⑤最終的強分類器為：

h（x）1, ∑Tt1αtht（x）≥∑Tt1αt

0， 其他 （4）

其中αtlb （1/βt）。

2 基于雙閾值的級聯(lián)分類器的加速算法

2.1 系統(tǒng)構(gòu)造框架

為了解決基于傳統(tǒng)的檢測方法中無論是單分類器還是級聯(lián)分類器均由單一閾值造成漏檢與誤檢之間的矛盾，本文在兼顧速度的同時通過利用雙閾值設(shè)置檢測緩沖區(qū)，達到提高檢測率與降低誤檢率和漏檢率的目的。具體流程如圖2所示。

圖2 人臉檢測系統(tǒng)框架

2.2 樣本選取和圖像預(yù)處理

該系統(tǒng)所用的人臉訓(xùn)練樣本來自MIT、ORL訓(xùn)練圖庫。為了便于訓(xùn)練，統(tǒng)一將其裁剪為21×18的樣本圖像進行相應(yīng)的分類器訓(xùn)練，在訓(xùn)練當(dāng)中可以根據(jù)后期檢測結(jié)果適時添加一些非人臉樣本，減少一定的盲目性。

無論在訓(xùn)練還是在檢測前，為了減少圖像由于光照、背景以及采集設(shè)備等造成的影響，都將進行一定的預(yù)處理。在本系統(tǒng)中，我們采用了連續(xù)性能更好的Gamma光照補償，這樣當(dāng)原始圖像分布不均勻，并且主要集中在較低范圍灰度級時，經(jīng)過均衡處理后，圖像的灰度動態(tài)范圍變大，對比度增強，人臉特征更加突出。這樣可以進一步減少光照等因素帶來的影響，從而更有利于提取人臉特征。

2.3 系統(tǒng)加速算法設(shè)計

傳統(tǒng)基于滑動窗的檢測方法在待測圖像中依次滑動，通過將每一個窗口送入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)分類器進行判別，而經(jīng)實驗測試一張21×18的圖片在本文所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分類器中運行時間為0.07s左右，若進行全部窗口測試，計算量相當(dāng)大，這也是時間復(fù)雜度相對較高的原因之一?；诖耍疚膶跉W氏距離的模板匹配算法［9］進行模板改進，去除眼睛模板，在應(yīng)用多尺度壓縮的圖像金字塔方法的測試圖片上進行整體模板匹配［10］，通過保留與人臉相似度大的窗口位置進行神經(jīng)網(wǎng)絡(luò)分類器測試進而將大量背景去除，通過這種加速處理方法來提高前期算法的效率。

2.4 雙閾值級聯(lián)分類器

第一級分類器我們采用神經(jīng)網(wǎng)絡(luò)的方法［11-12］。它是通過主成分分析（Principal Component Analysis,PCA）降維［13］后進行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的分類器，由于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在應(yīng)用時存在一些問題，如容易形成局部最小問題、收斂速度問題而不能保證全局最小結(jié)果［14］，因此本文在訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)時采用具有自適應(yīng)能力的動量項對BP神經(jīng)網(wǎng)絡(luò)進行優(yōu)化設(shè)計。對隱層的神經(jīng)元來說：

Δwji（n）αΔwji（n－1）+ηδj（n）yj（n）（5）

對于輸出層來說：

Δwji（n）αΔwji（n－1）+ηδk（n）yj（n）（6）

在式（5）和式（6）中，α為動量因子，調(diào)節(jié)范圍在（0,1），其中式中第二項相當(dāng)于ηδ（n）y（n）－η，可以根據(jù)這一項來判斷誤差曲面的趨勢以進行自適應(yīng)調(diào)整，從而不至于過大造成過沖或過小造成收斂速度慢,從而起到一定的穩(wěn)定作用。根據(jù)具體實驗效果，得出了以下自適應(yīng)因子數(shù)據(jù)參照表，見表1。

表1 自適應(yīng)因子參照表

通過自適應(yīng)因子來調(diào)節(jié)學(xué)習(xí)速度進而控制反饋回路。通過應(yīng)用優(yōu)化設(shè)計的BP網(wǎng)絡(luò)，其收斂速度和魯棒性得到了很大的提高。

將達到一定程度的匹配模塊經(jīng)過Gabor特征提取輸入第一級分類器，在應(yīng)用神經(jīng)網(wǎng)絡(luò)進行粗檢測時，如果高于雙閾值中的上閾值則直接判別為人臉，不再送入細檢測分類器；而低于下閾值的直接判別為非人臉，直接剔除；而由于訓(xùn)練集范圍的有限性及光照，遮掩等各種原因，在介于高閾值和低閾值之間的范疇中，有存在人臉的可能性。因此，把介于這兩個閾值之間的人臉與部分非人臉圖像塊再輸入基于Haar特征的AdaBoost分類算法的第二級分類器進行再次判別，由于只檢測第一級分類器輸出介于雙閾值之間的人臉或非人臉的小尺寸圖像，所以在此進一步進行加速檢測。

由于第二級分類器采用灰度級上的積分特征提取，所以能夠快速地對介于雙閾值中的人臉/非人臉從灰度級上進行確認。最后通過這兩級級聯(lián)分類器的最終確認并合并人臉中心位置以確定最終位置，從而得到檢測后最終的人臉圖像。

2.5 算法描述

根據(jù)粗細檢測的原則，對檢測圖片進行分類器級聯(lián)檢測，由第一級神經(jīng)網(wǎng)絡(luò)分類器進行粗檢測，在與第二級分類器級聯(lián)時，通過設(shè)置雙閾值接口算法來進行細檢測從而達到既降低計算復(fù)雜度又提高精度的目的。具體算法描述如下：

1）初始化分類器，預(yù)處理測試集圖片

2）FOR i1:n//n為測試集圖片數(shù)

Input classifier_gabor&bp（ ）//進入第一級分類器

FOR j1:m //m為第一級分類器初檢圖像塊數(shù)

IF wj>Threshold_up

yj+1 accept//加入到人臉集

ELSE IF

（wjThreshold_down）

Input classifier_adaboost（ ）//進入第二級分類器

IF （wj>Threshold_adaboost）

yj+1 accept//再次確認加入到人臉集

ELSE discard

ELSE discard

END

END

Threshold_up與Threshold_down為系統(tǒng)第一級分類器的上下閾值。

3 系統(tǒng)測試結(jié)果與分析

為了驗證該算法的加速性能與檢測率，采用2組實驗進行檢測，第一組采用一張320×240的標(biāo)準(zhǔn)視頻的一幀靜態(tài)多人臉圖像進行速度檢測，驗證本文算法的加速性能；第二組進行識別率檢測，首先對CMU實驗室的CMU_PIE中的gallery圖庫中的68張簡單背景正面人臉進行檢測，由于背景單一且為單人臉，檢測率最高達到了100%，同時為了進一步驗證算法設(shè)計的有效性，我們對部分MIT+CMU的測試圖片以及室外收集的部分圖片進行了測試（包含120張圖片，235個人臉，其中包括部分不超過±20°的側(cè)面人臉），并對單一使用AdaBoost算法檢測人臉與BP神經(jīng)網(wǎng)絡(luò)、Gabor+BP神經(jīng)網(wǎng)絡(luò)人臉檢測方法做了對比實驗，實驗1和實驗2的結(jié)果如下所示，圖4為應(yīng)用雙閾值級聯(lián)分類器的對比效果。

表2 不同算法檢測速度和檢測率

圖3 部分測試圖片檢測效果

圖4 雙閾值級聯(lián)分類效果對比

通過以上實驗結(jié)果表明，本文提出的算法在精確度和魯棒性上有了明顯的提高，從表2的檢測速度上來看，雖然本文提出的算法相比AdaBoost算法較慢，但比傳統(tǒng)算法有很大幅度的提高，有進一步提升的潛力；同時從圖4中可以清晰地看出，應(yīng)用雙閾值粗細檢測方法能進一步降低誤檢率，精度有相對較大的提升。

4 結(jié)語

本文提出了一種基于雙閾值的兩級級聯(lián)分類器的人臉加速檢測方法，通過模板匹配方法來降低在分類器中的計算時間，同時在兩級級聯(lián)分類器之間設(shè)置雙閾值接口進行級聯(lián)檢測，并在第一級分類器的收斂性上做了一定的改進，在加速的同時更加提高了精度。通過應(yīng)用雙閾值級聯(lián)分類器的加速算法判斷人臉/非人臉，解決了基于傳統(tǒng)閾值分類器在檢測當(dāng)中的矛盾問題，速度也有相應(yīng)的提高，誤檢率進一步降低，系統(tǒng)整體性能得到了提升。

參考文獻:

［1］ ROWLEY H A, BALUJA S, KANADA T. Neural network-based face detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20（1）:23-38.

［2］ VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features［C］// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2001:511-518.

［3］ LIENHART R, MAYDT J. An extended set of haar-like features for rapid object detection［C］// Proceedings of the International Conference in Image Processing. New York:IEEE, 2002:900-903.

［4］ HEISELE B, SERRE T, POGGIO T. A component-based framework for face detection and identification［J］. International Journal of Computer Vision, 2007, 74（2）:167-181.

［5］ HSU R L, ABDEL-MOTTALEB M, JAIN A K. Face detection in color images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24（5）:696-706.

［6］ 月書仁,梁昔明,葉吉祥,等.基于臉部信息和支持向量機的人臉檢測［J］.計算機應(yīng)用,2006,26（5）:1032-1034.

［7］ 梁路宏,艾海舟,徐光佑,等.人臉檢測研究綜述［J］.計算機學(xué)報,2002,25（5） :449-458.

［8］ 王志良,孟秀艷.人臉工程學(xué)［M］.北京:機械工業(yè)出版社,2008.

［9］ 梁路宏,艾海舟,徐光佑,等.基于模板匹配與人工神經(jīng)網(wǎng)確認的人臉檢測［J］.電子學(xué)報,2001,29（6）:744-747.

［10］ 林宇生,楊靜宇. 基于Gabor濾波特征和支持向量機的人臉檢測［J］. 計算機工程與應(yīng)用, 2007, 43（1）:33-34.

［11］ 聶祥飛,郭軍.基于Gabor小波的人臉檢測［J］.計算機工程,2006,32（21）:44-46.

［12］ 頊改燕,徐華,翟忠武,等.基于Gabor濾波器和BP神經(jīng)網(wǎng)絡(luò)的人臉皮膚皺紋區(qū)域自動識別［J］.計算機應(yīng)用,2010,30（2）:430-432.