導(dǎo)語(yǔ)：如何才能寫(xiě)好一篇神經(jīng)網(wǎng)絡(luò)主要存在的問(wèn)題，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

【關(guān)鍵詞】 人工神經(jīng)網(wǎng)絡(luò)技術(shù) 應(yīng)用 現(xiàn)狀

一、人工神經(jīng)網(wǎng)絡(luò)概述

要對(duì)人工神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用進(jìn)行了解，首先要掌握人工神經(jīng)網(wǎng)絡(luò)的基本模型和結(jié)構(gòu)。它的結(jié)構(gòu)是并行分布的，通過(guò)大量的神經(jīng)元的模型組成，是用來(lái)進(jìn)行信息處理的網(wǎng)絡(luò)。各個(gè)神經(jīng)元之間相互聯(lián)系，相互之間聯(lián)系的方式很多，每個(gè)特定的鏈接之中都有相應(yīng)的權(quán)系數(shù)，而各個(gè)神經(jīng)元的輸出是特定的。

二、人工神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用現(xiàn)狀

人工神經(jīng)網(wǎng)絡(luò)技術(shù)由于其結(jié)構(gòu)上的優(yōu)勢(shì)和對(duì)信息處理的高效性，使得在很多方面都有廣泛的應(yīng)用，例如，運(yùn)用人工神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行圖像處理、智能識(shí)別、自動(dòng)監(jiān)控、信號(hào)處理、機(jī)器人監(jiān)控等，使得其在生活的各個(gè)方面都發(fā)揮了重要的作用，為交通、電力、軍事等部門(mén)提供了便利。下面對(duì)人工神經(jīng)網(wǎng)絡(luò)技術(shù)的具體應(yīng)用做簡(jiǎn)單的分析。

第一，BP神經(jīng)網(wǎng)絡(luò)?；谌斯ど窠?jīng)網(wǎng)絡(luò)技術(shù)的BP神經(jīng)網(wǎng)絡(luò)，在進(jìn)行優(yōu)化預(yù)測(cè)、分類(lèi)和函數(shù)逼近等方面有著廣泛的應(yīng)用。網(wǎng)絡(luò)的應(yīng)用大體有分類(lèi)、函數(shù)逼近、優(yōu)化預(yù)測(cè)等方面。比如，將胃電圖和心電圖進(jìn)行分類(lèi)，對(duì)某些函數(shù)的最小二乘進(jìn)行逼近，對(duì)工業(yè)生產(chǎn)過(guò)程中的數(shù)據(jù)進(jìn)行整合，對(duì)電力系統(tǒng)中的負(fù)荷量和一些數(shù)據(jù)進(jìn)行優(yōu)化和預(yù)測(cè)等。特別是在進(jìn)行時(shí)間序列的預(yù)測(cè)中，發(fā)揮著重要的積極作用。使用BP神經(jīng)網(wǎng)絡(luò)還能對(duì)國(guó)家經(jīng)濟(jì)發(fā)展中的一些數(shù)據(jù)進(jìn)行處理。相對(duì)其它人工神經(jīng)網(wǎng)絡(luò)技術(shù)的網(wǎng)絡(luò)而言，BP網(wǎng)絡(luò)復(fù)雜性較低，所以在很多工業(yè)產(chǎn)業(yè)上應(yīng)用較多。在某些需要進(jìn)行控制的系統(tǒng)內(nèi)，BP神經(jīng)網(wǎng)絡(luò)能夠?qū)ο到y(tǒng)進(jìn)行有效的控制。其具體的優(yōu)勢(shì)主要有以下幾點(diǎn)：利用BP神經(jīng)網(wǎng)絡(luò)在識(shí)別和分類(lèi)中的優(yōu)勢(shì)，能夠及時(shí)快速的判斷一些系統(tǒng)中的故障，相比以往的譜分析技術(shù)，其工作效率有了較大的提高。BP神經(jīng)網(wǎng)絡(luò)中也存在著一些不足，表現(xiàn)在其網(wǎng)絡(luò)的魯棒性和容錯(cuò)性不夠，在對(duì)故障進(jìn)行判斷和檢測(cè)時(shí)，不能有效地確保其準(zhǔn)確性。此外，這種算法的收斂速度不快，在選擇網(wǎng)絡(luò)隱層節(jié)點(diǎn)中還沒(méi)有形成完善的配套理論。這些都在某種程度上對(duì)其應(yīng)用造成了影響。

第二，ART神經(jīng)網(wǎng)絡(luò)?；谌斯ど窠?jīng)網(wǎng)絡(luò)技術(shù)的ART神經(jīng)網(wǎng)絡(luò)，廣泛的應(yīng)用在對(duì)圖像、語(yǔ)音。文字等的識(shí)別過(guò)程中。其在某些工業(yè)產(chǎn)業(yè)中也普遍應(yīng)用，主要應(yīng)用在對(duì)系統(tǒng)的控制方面。例如，對(duì)故障判斷，問(wèn)題預(yù)警和事故檢測(cè)等較為繁瑣的生產(chǎn)過(guò)程進(jìn)行控制，進(jìn)行數(shù)據(jù)挖掘，從有關(guān)的數(shù)據(jù)中找到能夠應(yīng)用的數(shù)據(jù)。ART神經(jīng)網(wǎng)絡(luò)在應(yīng)用中的優(yōu)勢(shì)主要是其具有很強(qiáng)的穩(wěn)定性，能夠在環(huán)境變化的情況下穩(wěn)定的工作，其算法也十分簡(jiǎn)單而且為快速。其缺點(diǎn)主要是在要求對(duì)參數(shù)和模型等進(jìn)行準(zhǔn)確的判斷時(shí)，其網(wǎng)絡(luò)的結(jié)構(gòu)還需要進(jìn)行完善。

第三，RBF神經(jīng)網(wǎng)絡(luò)。基于人工神經(jīng)網(wǎng)絡(luò)技術(shù)的RBF神經(jīng)網(wǎng)絡(luò)目前在建模、分類(lèi)、函數(shù)近似、識(shí)別、信號(hào)處理等方面有著廣泛的引用。比于其他的神經(jīng)網(wǎng)絡(luò)，RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)較為簡(jiǎn)單，其在非線性的逼近上的效果較為顯著，收斂的速度也較快，能夠有效的對(duì)整體進(jìn)行收斂。其存在的缺點(diǎn)是，在函數(shù)逼近方面還不夠完善，仍然要進(jìn)行性改進(jìn)。

第四，Hopfield神經(jīng)網(wǎng)絡(luò)。作為反饋神經(jīng)網(wǎng)絡(luò)的一種，Hopfield神經(jīng)網(wǎng)絡(luò)能夠在連接性較高的神經(jīng)網(wǎng)絡(luò)中進(jìn)行集中自動(dòng)的計(jì)算。目前其在工業(yè)產(chǎn)業(yè)中有著廣泛的應(yīng)用。優(yōu)點(diǎn)是，對(duì)于一些線性問(wèn)題，避免了只是用數(shù)學(xué)方法所帶來(lái)的繁瑣，在進(jìn)行數(shù)模之間的轉(zhuǎn)化時(shí)，能夠快速準(zhǔn)確的進(jìn)行。

三、人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)技術(shù)和理論的不斷發(fā)展和進(jìn)步，在較多領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)技術(shù)引起了人們的關(guān)注。但是，目前在技術(shù)的運(yùn)用和技術(shù)本身仍存在著一些問(wèn)題。

人工神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，對(duì)數(shù)學(xué)領(lǐng)域的發(fā)展提出了要求，對(duì)有關(guān)的制造技術(shù)和科學(xué)技術(shù)也提出相應(yīng)的要求，這就需要我們要加快與其相關(guān)的各種技術(shù)的快速發(fā)展，使這些技術(shù)能與人工神經(jīng)網(wǎng)絡(luò)技術(shù)相互匹配。在發(fā)展人工神經(jīng)網(wǎng)絡(luò)技術(shù)的同時(shí)，要加強(qiáng)與其它相關(guān)學(xué)科的相互聯(lián)系，這對(duì)于更好的發(fā)展人工神經(jīng)網(wǎng)絡(luò)技術(shù)有著積極重要的作用。

篇2

【關(guān)鍵詞】氣體識(shí)別;自組織神經(jīng)網(wǎng)絡(luò)

1.引言

氣體識(shí)別在環(huán)境保護(hù)、化工控制、家用報(bào)警、食品保鮮、溫室環(huán)境控制、航空航天等領(lǐng)域有著廣泛的應(yīng)用。應(yīng)用氣體傳感器進(jìn)行多組份氣體的定性定量研究，可以極大的降低測(cè)量成本，減小測(cè)量周期，并可實(shí)現(xiàn)在線的實(shí)時(shí)測(cè)量。但由于當(dāng)前氣體傳感器普遍存在著交叉敏感和選擇性差等缺點(diǎn)，使用單一傳感器很難實(shí)現(xiàn)多組份氣體的檢測(cè)分析。為解決以上問(wèn)題，一方面可以采用新材料、新工藝來(lái)改善傳感器本身的性能;另一方面可以將現(xiàn)有的氣體傳感器構(gòu)成陣列，并與自組織神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合。本文采用后者的原理，即通過(guò)多個(gè)敏感程度不同的氣體傳感器組成傳感器陣列，結(jié)合神經(jīng)網(wǎng)絡(luò)模式識(shí)別算法進(jìn)行氣體識(shí)別分析。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neuron Networks，ANN）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neutral Networks，ANN）是一個(gè)由大量簡(jiǎn)單處理單元廣泛連

接而成的復(fù)合網(wǎng)絡(luò)系統(tǒng)。神經(jīng)元結(jié)構(gòu)是受到生物神經(jīng)元的啟發(fā)而得來(lái)的。目前應(yīng)用的神經(jīng)網(wǎng)絡(luò)類(lèi)型有很多，其中應(yīng)用最廣的是BP神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)的過(guò)程，即利用外部條件作用于神經(jīng)網(wǎng)絡(luò)，使其能重新對(duì)外界做出反應(yīng)。將氣體傳感器陣列與采用BP算法進(jìn)行訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別技術(shù)相結(jié)合形成的氣體識(shí)別系統(tǒng)，是利用傳感器陣列對(duì)混合氣體的高維響應(yīng)模式來(lái)實(shí)現(xiàn)對(duì)混合氣體的定量檢測(cè)。其中傳感器陣列的選取、傳感器信號(hào)的預(yù)處理方法、BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)以及測(cè)量環(huán)境是影響系統(tǒng)性能的可能因素。

2.人工嗅覺(jué)系統(tǒng)

人工嗅覺(jué)系統(tǒng)是一種化學(xué)分析系統(tǒng)，它由一個(gè)具有部分專(zhuān)一性的電子化學(xué)傳感器陣列和一個(gè)合適的模式識(shí)別系統(tǒng)組成。由于人工嗅覺(jué)系統(tǒng)主要模仿的是生物的嗅覺(jué)系統(tǒng)，所以人工嗅覺(jué)系統(tǒng)也可被稱(chēng)為“電子鼻”或者電子嗅覺(jué)系統(tǒng)。

2.1 電子鼻簡(jiǎn)介

電子鼻這個(gè)術(shù)語(yǔ)開(kāi)始出現(xiàn)于二十世紀(jì)八十年代晚期，當(dāng)時(shí)它被用于1987年的一個(gè)學(xué)術(shù)會(huì)議。較為科學(xué)的電子鼻的概念出現(xiàn)于1994年英國(guó)Warwick大學(xué)的J.W.Gardner發(fā)表的文章中，并且J.W.Gardner綜述了世界各國(guó)人工嗅覺(jué)系統(tǒng)的發(fā)展概況。

電子鼻模仿人的鼻子的功能，以電訊號(hào)的方式予以表達(dá)，可以工作在惡劣或有毒的環(huán)境下，在食品、化工、環(huán)保、醫(yī)療診斷、檢驗(yàn)等方面有很重要的應(yīng)用，其關(guān)鍵技術(shù)就是氣體傳感器陣列。

2.2 人工嗅覺(jué)系統(tǒng)的原理及基本組成部分

人工嗅覺(jué)系統(tǒng)主要是受生物的嗅覺(jué)系統(tǒng)啟發(fā)和影響，以下是該系統(tǒng)中的關(guān)鍵因素：

（1）對(duì)微量、痕量氣體分子瞬時(shí)敏感的監(jiān)測(cè)器，以得到與氣體化學(xué)成分相對(duì)應(yīng)的信號(hào);

（2）對(duì)檢測(cè)到的信號(hào)進(jìn)行識(shí)別與分類(lèi)的數(shù)據(jù)處理器，將有用的信號(hào)與噪聲加以分離;

（3）將測(cè)量數(shù)據(jù)轉(zhuǎn)換為感官評(píng)定指標(biāo)的智能解釋器，得到合理的感官結(jié)果。

2.3 氣體傳感器

氣體傳感器是一種將氣體的成分、濃度等信息轉(zhuǎn)換為可以被人員、儀器儀表、計(jì)算機(jī)等利用的信息的裝置。

2.3.1 半導(dǎo)體氣體傳感器

半導(dǎo)體氣體傳感器在氣體傳感器中約占60%，根據(jù)其機(jī)理分為電導(dǎo)型和非電導(dǎo)型，電導(dǎo)型中又分為表面型和容積控制性。

2.3.2 表面敏感型傳感器元件

表面敏感型傳感器元件SnO2-Pd、ZnO-PT、AgO、Pt-SnO2，可檢測(cè)氣體為CO、NO2和氟利昂等，傳感材料Pt-SnO2的氣體傳感器可檢測(cè)氣體為可燃性氣體如H2、CO、CH4等。

2.3.3 容積控制型傳感材料

容積控制型傳感材料有TiO2、CoO-MgO-SnO2等，其半導(dǎo)體氣體傳感器可檢測(cè)氣體為液化石油氣、酒精和燃燒爐氣尾氣等。

3.神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neuron Networks，ANN）是近年來(lái)人工智能的一個(gè)重要科學(xué)分支。二十世紀(jì)五十年代末人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)開(kāi)始作為人工智能的一種重要計(jì)算工具逐漸受到重視。進(jìn)入二十世紀(jì)八十年代后期，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了一個(gè)新的。主要原因是：一方面經(jīng)過(guò)幾十年迅速發(fā)展起來(lái)的以邏輯符號(hào)處理為主的人工智能理論和馮-諾依曼計(jì)算機(jī)在處理諸如視覺(jué)、聽(tīng)覺(jué)、形象思維和聯(lián)想記憶等智能信息問(wèn)題時(shí)遇到挫折;另一方面，具有并行分布處理模式的人工神經(jīng)網(wǎng)絡(luò)本身的研究取得了巨大的進(jìn)展。

神經(jīng)網(wǎng)絡(luò)具有一些不同于其它計(jì)算方法的性質(zhì)和特點(diǎn)以及它自身是基于人類(lèi)大腦結(jié)構(gòu)和功能而建立起來(lái)的，因此具有很多和人類(lèi)智能類(lèi)似的特點(diǎn)。首先，神經(jīng)網(wǎng)絡(luò)將信息存儲(chǔ)在大量的神經(jīng)元中，具有內(nèi)在的知識(shí)索引功能。信息在網(wǎng)絡(luò)中使用兩種方式被保留：一種是神經(jīng)元之間的連接，另一種是連接權(quán)重因子。其次，人工神經(jīng)網(wǎng)絡(luò)具有對(duì)周?chē)h(huán)境自學(xué)習(xí)、自適應(yīng)功能，也可用于處理帶噪聲的、不完整的數(shù)據(jù)集。在人工神經(jīng)網(wǎng)絡(luò)中，輸入與輸出的關(guān)系不是由單獨(dú)的神經(jīng)元直接負(fù)責(zé)的，相反是與神經(jīng)元的輸入輸出有關(guān)。最后，人工神經(jīng)網(wǎng)絡(luò)模擬人類(lèi)的學(xué)習(xí)過(guò)程。人類(lèi)大多數(shù)的學(xué)習(xí)和求解過(guò)程都是采用嘗試法，而人工神經(jīng)網(wǎng)絡(luò)可以以相同的方式運(yùn)行。

神經(jīng)元（neuron）即神經(jīng)網(wǎng)絡(luò)中的基本處理單元，也就是節(jié)點(diǎn)。一般節(jié)點(diǎn)由輸入與輸出、權(quán)重因子、內(nèi)部閥值和函數(shù)形式四部分組成。

圖1 神經(jīng)元模型

圖1給出了一個(gè)基本的神經(jīng)元模型，它具有R個(gè)輸入，每個(gè)輸入都通過(guò)一個(gè)適當(dāng)?shù)臋?quán)值wli和下一層相連，網(wǎng)絡(luò)輸出可表示為：

式中，n為該神經(jīng)元（序號(hào)l）的總輸入;

f（n）為神經(jīng)元輸入輸出關(guān)系的函數(shù)，稱(chēng)為作用函數(shù)、響應(yīng)函數(shù)或傳遞函數(shù)。

人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是指它的處理單元是如何相互連接的，主要由輸入層、隱含層和輸出層組成。每一節(jié)點(diǎn)的輸出被送到下一層的所有節(jié)點(diǎn)。通過(guò)將這些處理單元組成層，將其相互連接起來(lái)，并對(duì)連接進(jìn)行加權(quán)，從而形成神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，將若干個(gè)人工神經(jīng)元作為有向圖的節(jié)點(diǎn)，可連接成人工神經(jīng)網(wǎng)絡(luò)。其中每一層對(duì)于人工神經(jīng)網(wǎng)絡(luò)的成功都非常關(guān)鍵?？梢詫⑷斯ど窠?jīng)網(wǎng)絡(luò)輸入層、隱含層和輸出層看成為一個(gè)通過(guò)輸入層的所有節(jié)點(diǎn)輸入特定信息的黑箱。人工神經(jīng)網(wǎng)絡(luò)通過(guò)節(jié)點(diǎn)之間的相互連接關(guān)系來(lái)處理這些信息，最后從輸出層的節(jié)點(diǎn)給出最終結(jié)果。

4.誤差反向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）

1985年，以Rumelhart和McClelland為首提出了至今仍廣泛接受和使用的誤差反向傳播學(xué)習(xí)算法。按照這一算法進(jìn)行訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)被直接稱(chēng)為BP神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的傳遞函數(shù)是S型函數(shù)，輸出量為0到1之間的連續(xù)量，它可以實(shí)現(xiàn)從輸入到輸出的任意非線性映射。其權(quán)值的調(diào)整采用反饋傳播學(xué)習(xí)算法。

目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP網(wǎng)絡(luò)及其變化形式。BP網(wǎng)絡(luò)主要用于以下四方面：

（1）函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函數(shù);

（2）模式識(shí)別：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái);

（3）分類(lèi)：把輸入矢量所定義的合適方式進(jìn)行分類(lèi);

（4）數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸和存儲(chǔ)。

對(duì)于神經(jīng)網(wǎng)絡(luò)算法，使用基于誤差反向傳遞的神經(jīng)網(wǎng)絡(luò)算法設(shè)第p個(gè)模式XP=（X1P，X1P，…XNP，）T，p=1，2，…，N（N為模式個(gè)數(shù)），將其視為BP網(wǎng)絡(luò)的輸入，yip為其實(shí)際輸出，隱含層和輸出層各單元的激活函數(shù)采用sigmoid函數(shù)，即：

一般基于BP的神經(jīng)網(wǎng)絡(luò)算法具體步驟如下：

Step1、構(gòu)造網(wǎng)絡(luò)，初始化網(wǎng)絡(luò)的權(quán)矩陣，設(shè)置學(xué)習(xí)因子，動(dòng)態(tài)因子，跌代次數(shù)和允許誤差;

Step2、從一個(gè)網(wǎng)絡(luò)開(kāi)始，提供訓(xùn)練模式;

Step3、開(kāi)始訓(xùn)練第k個(gè)網(wǎng)絡(luò);

Step4、前向傳播過(guò)程，對(duì)所有訓(xùn)練模式，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出并與目標(biāo)輸出相比較，如果誤差超過(guò)運(yùn)行誤差，則進(jìn)行下一步，否則訓(xùn)練第k+1個(gè)網(wǎng)絡(luò);

Step5、反向傳播過(guò)程：計(jì)算隱含層和輸出層各單元的誤差精度，修正權(quán)值和閥值：

式中，為學(xué)習(xí)效率;

di為教師信號(hào)或希望輸出;

為實(shí)際輸出yi與希望輸出di之差，其中yi和xj是取1或0的離散值。

Step6、繼續(xù)訓(xùn)練第k個(gè)網(wǎng)絡(luò)。

BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)有traingd、traingdm、traingdx、trainrp、traincgf、traincgp等。由于BP網(wǎng)絡(luò)的簡(jiǎn)單性，在人工嗅覺(jué)系統(tǒng)的模式識(shí)別部分占有很大的比例，許多以前和現(xiàn)在的一些成熟人工嗅覺(jué)系統(tǒng)的產(chǎn)品仍然使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別。

BP網(wǎng)絡(luò)的學(xué)習(xí)是通過(guò)求解一個(gè)優(yōu)化問(wèn)題完成的，從數(shù)學(xué)的角度看，它是通過(guò)函數(shù)逼近擬合曲面（線）的想法，并且將其轉(zhuǎn)化為一個(gè)非線性?xún)?yōu)化問(wèn)題而求解。BP網(wǎng)絡(luò)是對(duì)簡(jiǎn)單的非線性函數(shù)進(jìn)行復(fù)合，經(jīng)過(guò)多次復(fù)合后，則可以實(shí)現(xiàn)復(fù)雜的函數(shù)，但存在BP學(xué)習(xí)算法收斂速度慢、不完備性和隱節(jié)點(diǎn)數(shù)只能憑經(jīng)驗(yàn)選取。

由于存在上述問(wèn)題，科學(xué)家們從利用線性的自適應(yīng)步長(zhǎng)加速BP算法和增加動(dòng)量項(xiàng)來(lái)去除收斂過(guò)程中的局部最小點(diǎn)。模擬退火（Simulated Annealing，簡(jiǎn)稱(chēng)SA）思想是由Metopolis等人提出的，它可以很好的避免局部最小點(diǎn)的出現(xiàn)，把它用在優(yōu)化中是由Kirkpatrick等人提出的。組合優(yōu)化問(wèn)題的解空間中的每一個(gè)點(diǎn)都代表一個(gè)解。不同的解有著不同的目標(biāo)函數(shù)值。優(yōu)化過(guò)程就是在解空間中尋找目標(biāo)函數(shù)的最小解。

SA算法的特點(diǎn)是通用性強(qiáng)、可達(dá)到全局最小。傳統(tǒng)的啟發(fā)式搜索算法如快速下降法，每次都是向改進(jìn)解的方向搜索，往往只能找到一個(gè)局部最優(yōu)解，而不是全局最優(yōu)解。而SA算法在系統(tǒng)朝能量減少這個(gè)總趨勢(shì)的過(guò)程中，允許解的搜索以一定的概率向較差的方向走，以避開(kāi)局部最小，而最終穩(wěn)定到全局能量最小的狀態(tài)。

5.利用自組織神經(jīng)網(wǎng)絡(luò)進(jìn)行氣體識(shí)別

將被測(cè)氣體按所需測(cè)量精度和濃度范圍按成份分成不同的濃度等級(jí)，采用標(biāo)準(zhǔn)氣體配置這些等級(jí)的不同成份氣體的所有組合作為標(biāo)準(zhǔn)模態(tài)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過(guò)識(shí)別某一未知?dú)怏w樣本的模式，即可以得到未知?dú)怏w的成份濃度。例如，選用N種互相參比配制混合氣體樣本。根據(jù)傳感器的靈敏范圍，將配制的氣體濃度限制在a1到am以?xún)?nèi)，濃度變化間隔為l。這樣每種氣體有m種濃度模式，共計(jì)可得到mN個(gè)樣本。采用這些樣本作為原始數(shù)據(jù)訓(xùn)練自組織神經(jīng)網(wǎng)絡(luò)，就可以實(shí)現(xiàn)在這一濃度范圍內(nèi)的最大誤差為l的氣體定量測(cè)量。

篇3

關(guān)鍵詞：遺傳算法；BP神經(jīng)網(wǎng)絡(luò)；時(shí)間序列；預(yù)測(cè)；

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）31-0160-03

Application of Time Series Prediction based on the Genetic Algoriths and BP Neural Network

YANG Tong-man1，GUO Yu2

（1.College of Meteorology and Oceanography， PLA Univ. of Sci. & Tech. ，Nanjing 211101，China；2.Anhui University of Science and Technology，Huainan 232001，China）

Abstract： The basic principles of genetic algorithms and BP neural network algorithm for analysis， and will have good global search capability of genetic algorithm and can be arbitrary precision approach nonlinear function of neural network algorithm， genetic algorithms to optimize the characteristics of the BP algorithm ， time series forecasting algorithm based on genetic algorithm BP neural network build. And use the algorithm to do the closing stock market trading data prediction. Application results show that this method has good stability， high precision characteristics.

Key words：genetic algorithm；BP neural network；time series；prediction

隨著經(jīng)濟(jì)、科學(xué)技術(shù)等的快速發(fā)展，每天來(lái)自商業(yè)、社會(huì)、科學(xué)、工程、醫(yī)學(xué)等各個(gè)領(lǐng)域的呈爆炸式增長(zhǎng)的數(shù)據(jù)，注入我們的計(jì)算機(jī)網(wǎng)絡(luò)、萬(wàn)維網(wǎng)以及各種數(shù)據(jù)存儲(chǔ)設(shè)備，并且這些數(shù)據(jù)集基本上都具有時(shí)變性的特征。因此，目前許多數(shù)據(jù)集中的數(shù)據(jù)都是以時(shí)間序列的數(shù)據(jù)形式存在的。在互聯(lián)網(wǎng)金融、科研項(xiàng)目、醫(yī)學(xué)、工程等各個(gè)領(lǐng)域，都存在著在歷史數(shù)據(jù)的基礎(chǔ)上預(yù)測(cè)未來(lái)的問(wèn)題。至今，各行各業(yè)的研究人員已經(jīng)建立了許多的時(shí)間序列預(yù)測(cè)模型及算法，這些預(yù)測(cè)算法針對(duì)線性系統(tǒng)的時(shí)間序列預(yù)測(cè)具有很好的效果。但是，面對(duì)自然和社會(huì)現(xiàn)象中存在的大量的非線性系統(tǒng)問(wèn)題，這些方法并不能有效地解決趨勢(shì)預(yù)測(cè)問(wèn)題，解決這類(lèi)問(wèn)題效果欠佳[1]。而人工神經(jīng)網(wǎng)絡(luò)等智能理論的興起與發(fā)展，為時(shí)間序列預(yù)測(cè)提供了全新且有效的針對(duì)非線性預(yù)測(cè)的分析方法。BP神經(jīng)網(wǎng)絡(luò)算法是非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法，具有廣泛的適用性。但是BP算法也存在訓(xùn)練速度慢、高緯曲面上局部極小的問(wèn)題，并且在隱含層網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)的選取上缺乏理論指導(dǎo)，這一系列的問(wèn)題，大大降低了預(yù)測(cè)的精確性[2]。遺傳算法是一種通過(guò)模擬自然進(jìn)化的過(guò)程，搜索出最優(yōu)解的方法，它具有良好的全局搜索能力的特點(diǎn)。因此，本文利用遺傳算法的特點(diǎn)，通過(guò)對(duì)BP算法的初始權(quán)值以及閾值進(jìn)行優(yōu)化，以達(dá)到提高預(yù)測(cè)精確度的目的。

1基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法

1.1遺傳算法

遺傳算法（Genetic Algorithm）又叫基因進(jìn)化算法或進(jìn)化算法，它是一種啟發(fā)式的搜索算法。它能在搜索過(guò)程中，自動(dòng)的搜索全局并選擇優(yōu)良的解，并能夠自適應(yīng)的控制搜索過(guò)程以達(dá)到最優(yōu)解[3]。遺傳算法是具有“生成+檢驗(yàn)”的迭代過(guò)程的搜索算法[4]。其主要處理流程如下：

1） 首先對(duì)優(yōu)化問(wèn)題的解進(jìn)行編碼；

2） 適應(yīng)度函數(shù)，它主要依據(jù)優(yōu)化問(wèn)題的目標(biāo)函數(shù)而定，是遺傳算法的關(guān)鍵；

3） 染色體的組合；

4） 變異。

1.2 BP神經(jīng)網(wǎng)絡(luò)模型及算法

1.2.1人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks），是對(duì)人類(lèi)的大腦系統(tǒng)的一個(gè)特定的描述，它是一個(gè)理論化的數(shù)學(xué)模型。它由大量的處理單元通過(guò)適當(dāng)?shù)姆绞交ヂ?lián)構(gòu)成，是一個(gè)大規(guī)模的非線性自適應(yīng)系統(tǒng)[5]。神經(jīng)網(wǎng)絡(luò)是通過(guò)對(duì)各種各樣的樣本，進(jìn)行反復(fù)的學(xué)習(xí)和訓(xùn)練，并不斷的調(diào)整各連接弧上的權(quán)值以及節(jié)點(diǎn)的閾值，直到各個(gè)權(quán)值及閾值達(dá)到理想的穩(wěn)定狀態(tài)后，神經(jīng)網(wǎng)絡(luò)就能正確的反映網(wǎng)絡(luò)的輸入樣本對(duì)輸出樣本的映射關(guān)系[6]，它是通過(guò)這些不斷的訓(xùn)練來(lái)達(dá)到訓(xùn)練學(xué)習(xí)的目的的。

1.2.2 BP神經(jīng)網(wǎng)絡(luò)算法

BP神經(jīng)網(wǎng)絡(luò)算法，是非線性的連續(xù)變換函數(shù)的多層感知器的誤差向后傳播（ ErrorBack Propagation，BP）算法。其基本思想是利用輸出層的誤差來(lái)估算輸出層的直接前導(dǎo)層的誤差，如此循環(huán)下去，將獲得所有其他各層的誤差估計(jì)，形成將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程[5]。目前此算法已經(jīng)在許多領(lǐng)域獲得了應(yīng)用[7]。BP神經(jīng)網(wǎng)絡(luò)算法能學(xué)習(xí)并存儲(chǔ)大量的輸入（input）-輸出（out）模式的映射關(guān)系，并且不需要在事前描述這種映射關(guān)系。BP算法的學(xué)習(xí)規(guī)則是使用最快速度的下降法，通過(guò)向后傳播，不斷的調(diào)整網(wǎng)絡(luò)各連接弧上的權(quán)值和節(jié)點(diǎn)的閾值，使得網(wǎng)絡(luò)的誤差平方和最小[3]。BP神經(jīng)網(wǎng)絡(luò)算法的網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層，隱藏層和輸出層，如圖1所示。

圖1 BP算法的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

假設(shè)有一個(gè)三層BP神經(jīng)網(wǎng)絡(luò)，并設(shè)其輸入層的第i個(gè)節(jié)點(diǎn)上的輸入向量ai；其隱含層上的第j個(gè)節(jié)點(diǎn)的輸入向量sj，輸出向量bj；其輸出層上的第k個(gè)節(jié)點(diǎn)的輸入向量ck，輸出向量ok；設(shè)其輸入層、隱層和輸出層的節(jié)點(diǎn)數(shù)分別為m、l、n。設(shè)輸入層和隱層節(jié)點(diǎn)間的聯(lián)接權(quán)Xij，隱層和輸出層節(jié)點(diǎn)間的聯(lián)結(jié)權(quán)Mjk，隱層和輸出層的各單元的輸出閾值分別是Hj和Ck，輸出層上的第k個(gè)節(jié)點(diǎn)的期望輸出值tk，若激活函數(shù)為f（x），則：

[sj=i=1maiωij-θjj=1，2，...，l]

[bj=f（sj）j=1，2，...，l]

[ck=j=1lbjvjk-γkk=1，2，...，n]

[ok=f（ck）k=1，2，...，n]

誤差函數(shù)為：

[E=12k（tk-ok）2]

BP神經(jīng)網(wǎng)絡(luò)算法將按照誤差減小的最快的方向，也就是負(fù)梯度的方向，來(lái)改變各層之間的聯(lián)接權(quán)，使得網(wǎng)絡(luò)慢慢地收斂。聯(lián)接權(quán)的增量的變化為：

[Δω=-η?E?ω]

其中[η]為學(xué)習(xí)率。

考慮到學(xué)習(xí)率的變化會(huì)影響網(wǎng)絡(luò)的性能[9]，所以在權(quán)值調(diào)整公式中增加一個(gè)動(dòng)量項(xiàng)，達(dá)到微調(diào)權(quán)值修正量防止振蕩的效果[3]。通過(guò)增加動(dòng)量項(xiàng)不僅僅考慮了誤差在梯度上的作用，同時(shí)也考慮了誤差曲面上變化的方向。

[Δwij（n+1）=ηδj（n+1）yi（n+1）+aΔwij（n）]

其中a是動(dòng)量因子，一般a[η]（0，1）動(dòng)量項(xiàng)反映了以前的調(diào)整經(jīng)驗(yàn)，對(duì)下一時(shí)刻的調(diào)整起到一定阻尼作用。因此可以減小振蕩的趨勢(shì)，并促使聯(lián)接權(quán)值的變化方向?yàn)檎`差曲面底部的平均方向。這不僅能夠降低網(wǎng)絡(luò)對(duì)誤差曲面上存在的局部的細(xì)節(jié)敏感性，還能夠在一定程度上緩解局部存在極小的問(wèn)題。

1.3 遺傳算法對(duì)BP算法的優(yōu)化

利用遺傳算法能夠在全局搜索的優(yōu)勢(shì)，對(duì)BP算法的初始權(quán)值和閾值進(jìn)行優(yōu)化。其流程圖如圖2所示：

圖2 遺傳算法對(duì)BP算法優(yōu)化流程圖

（1） 將BP算法的初始權(quán)值和權(quán)值優(yōu)化，表示為編碼；隨機(jī)產(chǎn)生一組串長(zhǎng)為n的群體，為初始群體；

（2） 將編碼串譯碼成尋優(yōu)參數(shù)，并計(jì)算其對(duì)應(yīng)的目標(biāo)函數(shù)，從目標(biāo)函數(shù)中獲得各個(gè)體的適應(yīng)度值；

（3） 根據(jù)得到的各個(gè)體適應(yīng)度值，選擇產(chǎn)生適應(yīng)度值高的中間群體（父輩），并對(duì)其執(zhí)行復(fù)制、交叉和變異的操作，產(chǎn)生新的群體；

（4） 返回步驟（2），并反復(fù)執(zhí)行步驟（2）到步驟（4），使得群體能夠一代代的不斷的進(jìn)化，直到滿(mǎn)足條件，輸出最優(yōu)個(gè)體解為止。

2基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法的應(yīng)用

股票市場(chǎng)是一個(gè)高度復(fù)雜的非線性動(dòng)態(tài)系統(tǒng)[8]，股價(jià)的波動(dòng)通常都具有很強(qiáng)的非線性的特征。股價(jià)的走勢(shì)及其波動(dòng)受制于各種政治、經(jīng)濟(jì)、心理等諸多因素，以至于人們往往難以精確的預(yù)測(cè)股價(jià)的走勢(shì)。而股票的價(jià)格，卻是每一位投資者最關(guān)心的問(wèn)題。自從有了股票交易市場(chǎng)，各種專(zhuān)家和投資資深者都在探索分析和預(yù)測(cè)股票價(jià)格走勢(shì)的方法，期望能夠準(zhǔn)確地對(duì)股價(jià)的走勢(shì)進(jìn)行預(yù)測(cè)。

基于以上因素，本實(shí)驗(yàn)選擇了2004年11月到2010年3月的股市交易數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)。對(duì)2004年到2010年2月份的數(shù)據(jù)做模型訓(xùn)練，并對(duì)2010年3月份的數(shù)據(jù)進(jìn)行預(yù)測(cè)。本算法對(duì)股市交易數(shù)據(jù)中的收盤(pán)數(shù)據(jù)做了預(yù)測(cè)。從表（1）可以看出，該算法對(duì)3月份收盤(pán)數(shù)據(jù)的預(yù)測(cè)值與實(shí)際值的絕對(duì)誤差、相對(duì)誤差值都很小，精度很高。從圖（3）可以看出，預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)的趨勢(shì)很相近，幾乎重合。

表1 截取的5個(gè)樣本的預(yù)測(cè)結(jié)果

圖3 原始數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)趨勢(shì)圖

3 結(jié)論

本文針對(duì)非線性趨勢(shì)預(yù)測(cè)問(wèn)題，在前人對(duì)BP算法存在的問(wèn)題改進(jìn)的基礎(chǔ)上，利用遺傳算法具有的良好全局搜索能力的特點(diǎn)，再次對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了優(yōu)化，并將該算法應(yīng)用于對(duì)股市交易收盤(pán)數(shù)據(jù)的預(yù)測(cè)。經(jīng)過(guò)檢驗(yàn)，證實(shí)了該方法的有效性。

參考文獻(xiàn)：

[1]曹星平，易東云，吳翊.基于神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)方法進(jìn)展[J].電腦與信息技術(shù)， 1999（6）.

[2]胡冰蕾.基于遺傳優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)算法的短期負(fù)荷預(yù)測(cè)[J]. 供用電，2010（6）：42-44.

[3]任謝楠. 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究及MATLAB仿真[D].天津師范大學(xué)，2014.

[4]王宏剛，錢(qián)鋒.基于遺傳算法的前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化[J]，2007，14（4）：387-190.

[5]蔣宗禮. 人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].北京：高等教育出版社， 2001.

[6]王成寶，任傳祥，尹唱唱，等. 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)短時(shí)交通流預(yù)測(cè)[J]. 山東交通科技，2012（5）：5-7.

[7]Chen Hai-bo，Muller S G.Use of sequential learning for short- term traffic flow forecasting[J].TransportationResearch，2000，7（ 06） ： 11 - 13.

篇4

Abstract： The artificial neural network has a strong nonlinear mapping ability， has been applied to various fields such as pattern recognition， intelligent control， image processing and time series etc.， in this paper， the heuristic improvement of BP algorithm was proposed aimed at the deficiencies of BP algorithms， and a common type of improvement was introduced aimed at the main drawback of the genetic algorithm through analysis and research on genetic neural network model and its algorithm.

關(guān)鍵詞： BP算法；神經(jīng)網(wǎng)絡(luò)；遺傳算法；改進(jìn)

Key words： BP algorithm；neural network；genetic algorithm；improvement

中圖分類(lèi)號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2012）34-0209-02

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 BP神經(jīng)網(wǎng)絡(luò)概述 在神經(jīng)網(wǎng)絡(luò)模式識(shí)別系統(tǒng)中，應(yīng)用最廣泛的要算是BP網(wǎng)絡(luò)，它是基于誤差反向傳播算法的一種具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)。由于多層前饋網(wǎng)絡(luò)的訓(xùn)練經(jīng)常采用誤差反向傳播算法，人們常把多層前饋網(wǎng)絡(luò)直接稱(chēng)為BP網(wǎng)絡(luò)。

BP算法可以小結(jié)為以下三個(gè)步驟：

①通過(guò)網(wǎng)絡(luò)輸入反向傳播：

a0=p

am+1=fm+1（Wm+1am+bm+1），m=0，1，…，M-1

a=aM

②通過(guò)網(wǎng)絡(luò)將敏感性反向傳播：

sm=Fm（nm）（Wm+1）Tsm+1，m=M-1，…，2，1

③使用近似均方誤差的BP算法更新權(quán)值和偏置值：

Wm（k+1）=Wm（k）-αsm（am-1）T

bm（k+1）=bm（k）-αsm

1.2 BP神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題 盡管BP網(wǎng)絡(luò)有很多顯著的優(yōu)點(diǎn)，但也存在著一定的局限性。其主要問(wèn)題如下：

①隨著訓(xùn)練樣本維數(shù)的增大，使收斂速度緩慢，從而降低學(xué)習(xí)效率。

②從數(shù)學(xué)角度上看BP算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小值的問(wèn)題，而得不到全局最優(yōu)。

③網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取缺乏理論指導(dǎo)，尚無(wú)明確的定義。

由于BP神經(jīng)網(wǎng)絡(luò)存在局部性，因此利用BP網(wǎng)絡(luò)進(jìn)行模式識(shí)別時(shí)，所得網(wǎng)絡(luò)模型的參數(shù)容易陷入局部極小，因此需要對(duì)BP神經(jīng)網(wǎng)絡(luò)容易陷入局部極小的缺陷進(jìn)行改進(jìn)。

2 遺傳算法

2.1 遺傳算法概述 遺傳算法（Genetic Algorithm——GA）正是以達(dá)爾文的自然進(jìn)化論與遺傳變異理論為基礎(chǔ)的求解復(fù)雜全局優(yōu)化問(wèn)題的仿生型算法。該算法摒棄了傳統(tǒng)的搜索方式，模擬自然界生物進(jìn)化的過(guò)程，采用人工進(jìn)化的方式對(duì)目標(biāo)函數(shù)空間進(jìn)行隨機(jī)導(dǎo)向優(yōu)化搜索。遺傳算法求解問(wèn)題的基本思想是：從問(wèn)題的解出發(fā)的，將問(wèn)題的一些可行解進(jìn)行編碼，這些已編碼的解即被當(dāng)做種群中的個(gè)體，每個(gè)個(gè)體實(shí)際上是染色體帶有特征的實(shí)體；個(gè)體對(duì)環(huán)境適應(yīng)能力的評(píng)價(jià)函數(shù)就是問(wèn)題的目標(biāo)函數(shù)；模擬遺傳學(xué)中的雜交、變異、復(fù)制來(lái)設(shè)計(jì)遺傳算子，用優(yōu)勝劣汰的自然選擇法則來(lái)指導(dǎo)學(xué)習(xí)和確定搜索方向；對(duì)由個(gè)體組成的中卻進(jìn)行演化，利用遺傳算子來(lái)產(chǎn)生具有更高平均適應(yīng)值和更好個(gè)體的種群，經(jīng)過(guò)若干代后，選出適應(yīng)能力最好的個(gè)體，它就是問(wèn)題的最優(yōu)解或滿(mǎn)意解[1]。

2.2 遺傳算法的缺陷及改進(jìn) 遺傳算法作為一種通用性好、魯棒性強(qiáng)的新型優(yōu)化搜索算法，為求解很多困難的問(wèn)題打開(kāi)了局面，但是在實(shí)際應(yīng)用中，存在著：①早熟問(wèn)題；②局部搜索能力差；③控制參數(shù)難以確定缺陷。

針對(duì)上述問(wèn)題，目前已經(jīng)提出的一些改進(jìn)方法，概括起來(lái)主要有如下幾種類(lèi)型：

①改進(jìn)遺傳算法的使用技術(shù)或者組成成分，如選用適合問(wèn)題特性的編碼技術(shù)、優(yōu)化控制參數(shù)等。

②采用混合遺傳算法，即融合一些優(yōu)化方法來(lái)提高遺傳算法運(yùn)行效率。如將遺傳算法和模擬退火算法、爬山法等方法結(jié)合的混合遺傳算法。

③采用非標(biāo)準(zhǔn)的遺傳操作算子，如記憶算子、頂端增強(qiáng)算子等。

④采用動(dòng)態(tài)自適應(yīng)技術(shù)，在遺傳過(guò)程中自適應(yīng)的調(diào)整控制參數(shù)和編碼精度，在保持種群多樣性的同時(shí)保證遺傳算法的收斂。

⑤采用并行遺傳算法。

3 BP算法與遺傳算法的結(jié)合

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是基于梯度下降法的，由于該算法搜索速度緩慢以及對(duì)初始值的依賴(lài)，導(dǎo)致存在局部最小值問(wèn)題。而遺傳算法作為一種具有較強(qiáng)全局搜索能力的算法，其搜索能夠遍及整個(gè)尋優(yōu)空間，因此容易接近全局最優(yōu)解；且遺傳算法有很強(qiáng)的魯棒性，不要求目標(biāo)函數(shù)連續(xù)可微，甚至不要求目標(biāo)函數(shù)具有顯函數(shù)形式，只要求問(wèn)題可以計(jì)算[2]。因此將擅長(zhǎng)全局搜索的遺傳算法和具有很強(qiáng)局部尋優(yōu)能力的BP算法結(jié)合起來(lái)，可以避免局部極小值問(wèn)題并提高收斂速度，很快獲得全局最優(yōu)解。本文利用改進(jìn)的遺傳算法對(duì)BP神經(jīng)網(wǎng)絡(luò)同時(shí)進(jìn)行權(quán)值和閾值的同步學(xué)習(xí)優(yōu)化，提高算法的收斂速度和收斂精度，構(gòu)造了一個(gè)能夠獲得待求問(wèn)題滿(mǎn)意解的三層GA-BP神經(jīng)網(wǎng)絡(luò)。

3.1 GA-BP神經(jīng)網(wǎng)絡(luò)的模型 GA-BP神經(jīng)網(wǎng)絡(luò)的基本構(gòu)造思想就是先通過(guò)遺傳算法在解空間中搜索到一個(gè)較優(yōu)的網(wǎng)絡(luò)形式，再利用BP算法在這個(gè)較優(yōu)的解空間內(nèi)定位最優(yōu)解或滿(mǎn)意解[3]；具體地說(shuō)就是先通過(guò)遺傳算法對(duì)最佳的網(wǎng)絡(luò)權(quán)值和閾值做快速的全局性搜索，當(dāng)群體收斂至全局最優(yōu)解附近區(qū)域時(shí)，以群體中的最優(yōu)個(gè)體作為BP算法的初始點(diǎn)，利用BP算法進(jìn)行進(jìn)一步的局部搜索，同步學(xué)習(xí)網(wǎng)絡(luò)的權(quán)值和閾值。當(dāng)幾代內(nèi)遺傳算法進(jìn)化的目標(biāo)函數(shù)不再減小或目標(biāo)函數(shù)小于預(yù)設(shè)值時(shí)，表示兩種算法需要進(jìn)行切換。由于在實(shí)際應(yīng)用中，求得的網(wǎng)絡(luò)目標(biāo)誤差函數(shù)往往為人們預(yù)先設(shè)定的一個(gè)滿(mǎn)意值，因此利用這種GA-BP順序?qū)?yōu)的方法是切實(shí)可行的。

3.2 BP算法與GA-BP算法的仿真比較 利用傳統(tǒng)的BP算法及本文提出的GA-BP算法分別對(duì)兩種算法的時(shí)間收斂曲線進(jìn)行對(duì)比研究，考慮故障診斷問(wèn)題。應(yīng)用樣本訓(xùn)練后的節(jié)點(diǎn)連接權(quán)值，向網(wǎng)絡(luò)輸入待診斷的樣本征兆參數(shù)，計(jì)算得出網(wǎng)絡(luò)的實(shí)際輸出值，根據(jù)輸出值的大小，從而確定故障的類(lèi)別。

BP算法與GA-BP算法的訓(xùn)練誤差曲線如圖1和圖2所示。

GA-BP算法訓(xùn)練后的總誤差為0.000417。通過(guò)兩個(gè)實(shí)驗(yàn)時(shí)間訓(xùn)練曲線可以得出，基于GA-BP算法的神經(jīng)網(wǎng)絡(luò)能夠有效地實(shí)現(xiàn)故障預(yù)測(cè)數(shù)據(jù)的訓(xùn)練，具有較快的學(xué)習(xí)速度及一定適用性。

4 總結(jié)

本文針對(duì)BP算法訓(xùn)練多層前饋網(wǎng)絡(luò)模式識(shí)別系統(tǒng)的缺陷，提出了結(jié)合遺傳算法的BP改進(jìn)算法——GA-BP算法，并建立了對(duì)應(yīng)的模式識(shí)別系統(tǒng)模型。然后利用該模型對(duì)實(shí)際的問(wèn)題進(jìn)行了模式分類(lèi)訓(xùn)練和測(cè)試，測(cè)試結(jié)果表明GA-BP算法有效克服了網(wǎng)絡(luò)訓(xùn)練時(shí)容易陷入局部極小值，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練失敗的不足。

參考文獻(xiàn)：

[1]楊南達(dá)，李世平.遺傳算法研究[J].兵工自動(dòng)化，2008，27（9）：60～62.

篇5

1公路工程造價(jià)估算概述

1.1 公路工程造價(jià)估算的重要性

公路工程造價(jià)估算作為公路工程管理的重要組成部分其重要性主要體現(xiàn)在如下幾個(gè)方面。

第一,公路工程造價(jià)的估算是實(shí)現(xiàn)工程成本控制的基礎(chǔ)。其中工程施工前期造價(jià)估算、施工前的編制預(yù)算以及施工圖設(shè)計(jì)階段的編制預(yù)算等環(huán)節(jié)作為工程造價(jià)估算的核心,同樣是公路工程施工成本控制的起點(diǎn),因此,實(shí)現(xiàn)公路工程造價(jià)的合理估算是實(shí)現(xiàn)工程成本控制的重要前提條件。

第二,公路工程造價(jià)的估算可以為施工企業(yè)成本控制計(jì)劃方案的制定提供重要的參考依據(jù)。施工企業(yè)通過(guò)工程造價(jià)的估算可以尋找到降低工程成本的有效途徑,從而為工程施工過(guò)程中施工成本的控制提供正確的方向。

第三,公路工程造價(jià)的估算可以幫助施工企業(yè)在進(jìn)行設(shè)計(jì)招標(biāo)前可以確定工程的大致造價(jià)。這樣一來(lái),施工企業(yè)在招標(biāo)的過(guò)程中就可以有效避免中間商的欺詐以及保標(biāo)等惡意行為的發(fā)生。

1.2 傳統(tǒng)公路工程造價(jià)估算中存在的問(wèn)題

盡管工程造價(jià)估算在公路工程建設(shè)中越來(lái)越受到人們的重視,但是由于受各方面因素的影響,在傳統(tǒng)公路工程造價(jià)估算中還存在一系列的問(wèn)題,其中我國(guó)傳統(tǒng)公路造價(jià)估算中主要存在如下幾個(gè)方面的問(wèn)題:一是相關(guān)規(guī)章制度的限制,造價(jià)估算結(jié)果往往與投標(biāo)報(bào)價(jià)相差懸殊;二是預(yù)算結(jié)果與概算結(jié)果差距較大,不利于工程實(shí)際造價(jià)的控制和確定;三是缺少對(duì)工程造價(jià)估算的有效監(jiān)督機(jī)制,從而使最終的造價(jià)結(jié)果變的十分不確定;四是由于各參與方利益的問(wèn)題,在進(jìn)行工程造價(jià)估算時(shí)很難早到平衡點(diǎn),以至于造價(jià)估算精度不能得到有效的保證。

2認(rèn)識(shí)模糊神經(jīng)網(wǎng)絡(luò)

2.1 模糊數(shù)學(xué)概述

(1)模糊數(shù)學(xué)的概念,我們通常說(shuō)的模糊就是指一些模棱兩可的、即可能又不可能、即是又不是的概念。而模糊數(shù)學(xué)就是要用數(shù)學(xué)的方法來(lái)表示那些模糊概念發(fā)生的可能性的大小,換句話講就是明確那些模糊概念所處的狀態(tài),從而利用數(shù)學(xué)的思想來(lái)解決那些模棱兩可的、不確定的實(shí)際問(wèn)題。

(2)模糊數(shù)學(xué)的數(shù)學(xué)描述,一般模糊數(shù)學(xué)的數(shù)學(xué)描述,多采用的是類(lèi)似與集合的數(shù)學(xué)表示方法。與集合的區(qū)別就在于模糊數(shù)學(xué)在表示集合元素時(shí)需要附帶一個(gè)稱(chēng)為隸屬函數(shù)值的參數(shù),其中該參數(shù)的值是隸屬函數(shù)與元素的值進(jìn)行運(yùn)算的結(jié)果。

2.2 神經(jīng)網(wǎng)絡(luò)概述

(1)神經(jīng)網(wǎng)絡(luò)的概念,所謂的神經(jīng)網(wǎng)絡(luò)是一個(gè)借鑒物理和生物技術(shù)來(lái)實(shí)現(xiàn)的用來(lái)模仿人類(lèi)大腦神經(jīng)細(xì)胞結(jié)構(gòu)和功能的系統(tǒng),與人類(lèi)的大腦結(jié)構(gòu)相似,它也由大量的模擬神經(jīng)元所組成的,而且這些神經(jīng)元之間相互連接,并行工作,作為一個(gè)系統(tǒng)協(xié)同完成一系列復(fù)雜的信息處理活動(dòng)。

(2)神經(jīng)網(wǎng)絡(luò)的基本原理,神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)和功能上都是模擬人腦的神經(jīng)系統(tǒng)來(lái)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)的,它同時(shí)作為模擬生物神經(jīng)元的一種計(jì)算方法,其基本原理是這樣的,與生物神經(jīng)元的基本原理相似,用那些具有突的網(wǎng)絡(luò)結(jié)點(diǎn)來(lái)接受信息,并不斷的將接受到的信息累加起來(lái),這些信息有些是抑制神經(jīng)元,有些則是激發(fā)神經(jīng)元,對(duì)于那些激發(fā)神經(jīng)元,一旦積累到一定的閾值后,相應(yīng)的神經(jīng)元便會(huì)被激活,被激活的神經(jīng)元就會(huì)沿其稱(chēng)為軸突的部件向其它神經(jīng)元傳遞信息,并完成信息的處理。

2.3 模糊神經(jīng)網(wǎng)絡(luò)概述

模糊神經(jīng)網(wǎng)絡(luò)是模糊數(shù)學(xué)和神經(jīng)網(wǎng)絡(luò)有效結(jié)合的應(yīng)用研究成果。其中在模糊神經(jīng)網(wǎng)絡(luò)中模糊數(shù)學(xué)的應(yīng)用體現(xiàn)在它可以根據(jù)那些假定的隸屬函數(shù)以及相應(yīng)的規(guī)律,用邏輯推理的方法去處理各種模糊的信息。

3模糊神經(jīng)網(wǎng)絡(luò)在公路工程造價(jià)估算中的應(yīng)用

3.1 基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法的實(shí)現(xiàn)

將模糊神經(jīng)網(wǎng)絡(luò)應(yīng)用于公路工程造價(jià)估算方面,是近年來(lái)公路工程造價(jià)估算發(fā)展的特點(diǎn)和重點(diǎn)。從本質(zhì)上來(lái)看,模糊神經(jīng)網(wǎng)絡(luò)就是一個(gè)系統(tǒng),它即有輸入又有輸出,與公路工程的造價(jià)估算十分相似,因?yàn)楣饭こ淘靸r(jià)估算就是在輸入公路工程施工的一系列要求和特點(diǎn)后輸出相應(yīng)結(jié)果的,所以與模擬神經(jīng)網(wǎng)絡(luò)所提供的輸入輸出機(jī)制非常相似,其中結(jié)合模糊神經(jīng)網(wǎng)絡(luò)的原理,基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法的實(shí)現(xiàn)過(guò)程如下。

第一，構(gòu)建已施工公路工程的造價(jià)信息庫(kù),其中包括應(yīng)經(jīng)施工的公路工程的各種特征因素以及工程造價(jià)等其他各方面的材料。

第二，結(jié)合擬建工程的施工需求來(lái)確定其包括評(píng)價(jià)指標(biāo)等在內(nèi)的各種特征因素的數(shù)據(jù)取值。

第三，按照模糊數(shù)學(xué)的思想法在已施工公路工程的造價(jià)信息庫(kù)中選取若干個(gè)(至少三個(gè))與擬建工程最相似的已施工的工程,將其作為神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和訓(xùn)練的基礎(chǔ)數(shù)據(jù)。其中,將信息庫(kù)中公路工程的各種特征因素值的隸屬度作為神經(jīng)網(wǎng)絡(luò)的輸入向量,信息庫(kù)中公路工程的造價(jià)值作為神經(jīng)網(wǎng)絡(luò)的輸出向量。

第四,將擬建公路工程的各種特征因素值的隸屬度作為神經(jīng)網(wǎng)絡(luò)的輸入向量,通過(guò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)后所得到的輸出向量即為擬建公路工程的造價(jià)估算值。

第五,建立公路施工工程造價(jià)信息數(shù)據(jù),編制神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的算法通用程序。將學(xué)習(xí)訓(xùn)練的基礎(chǔ)數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò),然后合理設(shè)計(jì)學(xué)習(xí)率,經(jīng)過(guò)一定次數(shù)的迭代運(yùn)算,有效提高公路工程造價(jià)估算結(jié)果的精度。

3.2 基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法的優(yōu)點(diǎn)

基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法有效的克服了傳統(tǒng)上工程造價(jià)估算方法的一系列缺點(diǎn),與傳統(tǒng)的工程造價(jià)估算方法相比,其顯著優(yōu)點(diǎn)就在于造價(jià)估算的迅速以及估算結(jié)果的精確。其中該方法的優(yōu)點(diǎn)可以概括為如下幾點(diǎn)。

第一,模糊神經(jīng)網(wǎng)絡(luò)中所采用的模糊數(shù)學(xué)可以對(duì)公路工程造價(jià)估算中的模糊信息進(jìn)行有效的處理,通過(guò)對(duì)已竣工的公路工程和計(jì)劃施工的公路工程的相似度進(jìn)行定量化描述,從而使模糊的公路工程造價(jià)問(wèn)題得以模型化。

第二,基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法的估算結(jié)果科學(xué)合理,因?yàn)樵摲椒ú捎玫氖腔跀?shù)學(xué)模型的數(shù)學(xué)計(jì)算分析,所以其結(jié)果受人為因素的影響較小。

第三,模糊神經(jīng)網(wǎng)絡(luò)中所采用的神經(jīng)網(wǎng)絡(luò)模型對(duì)公路工程造價(jià)的估算具有很好的適應(yīng)性,與傳統(tǒng)的造價(jià)估算方法相比,該方法能更好的適應(yīng)公路工程造價(jià)的動(dòng)態(tài)變化。

第四,基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法是借助計(jì)算機(jī)來(lái)完成的,所以還具有運(yùn)算速度快和運(yùn)算精度高的優(yōu)點(diǎn)。

4結(jié)語(yǔ)

由于影響公路工程造價(jià)的因素比較多,而且各因素的構(gòu)成比較復(fù)雜,計(jì)算相對(duì)繁瑣,所以公路工程的造價(jià)估算具有很大的模糊性。對(duì)于使用傳統(tǒng)的工程造價(jià)估算方法而言,公路工程造價(jià)的估算將是一項(xiàng)非常復(fù)雜的工作。然而結(jié)合模糊數(shù)學(xué)和神經(jīng)網(wǎng)絡(luò)的理論思想,利用工程之間所存在的相似性,使用基于模糊神經(jīng)網(wǎng)絡(luò)的公路工程造價(jià)估算方法可以迅速的得出精確的工程造價(jià)估算結(jié)果。

篇6

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；人臉識(shí)別；奇異值

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9599 (2011) 13-0000-01

Face Recognition Based on the BP Neural Network

Liu Weiwei

(Chinese People's Public Security University,Beijing100872,China)

Abstract:In order to achieve the purpose of face recognition by classifying the feature vector of face image,a new methods for face recognition on neural networks is presented in this paper.Singular values features of face image matrix are used as features,Back-Propagation(BP)networks are used as recognition.Through the experiments,it show that the method of face recognition is reliable and have a ability of high maneuverability.

Kewwords:BP neural network;Face recognition;Singular values

一、引言

人臉識(shí)別的發(fā)展應(yīng)用廣泛，利用人臉圖像進(jìn)行識(shí)別身份容易被接受，具有非打擾性、直接性、唯一性。人臉識(shí)別主要是對(duì)人臉特征向量分類(lèi)識(shí)別。神經(jīng)網(wǎng)絡(luò)可以用做人臉特征的分類(lèi)器。它是一種模擬人類(lèi)大腦的思維方式和組織形式而建立的數(shù)學(xué)模型。具有強(qiáng)大的自適應(yīng)、自學(xué)習(xí)、高度容錯(cuò)能力，因此成功運(yùn)用在模式識(shí)別和預(yù)測(cè)等領(lǐng)域。BP網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中最完美的，采用BP神經(jīng)網(wǎng)絡(luò)可以進(jìn)行人臉特征向量識(shí)別分類(lèi)。

二、BP神經(jīng)網(wǎng)絡(luò)

BP網(wǎng)絡(luò)是一種單向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)，它包括一個(gè)輸入層、若干隱含層和一個(gè)輸出層，上下層之間實(shí)現(xiàn)全連接，而每層神經(jīng)元之間沒(méi)有連接。利用BP神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)輸入向量 到輸出向量 的非線性映射。該網(wǎng)絡(luò)的前層和后層都有連接權(quán)值 ，每一層有閾值 ，這些值在初始時(shí)刻是隨機(jī)生成的。在具體的應(yīng)用中，將特征值向量作為輸入向量，特征值所對(duì)應(yīng)的結(jié)果作為輸出向量，BP網(wǎng)絡(luò)載入這些數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，從而對(duì)連接權(quán)值和閾值不斷進(jìn)行修正，使網(wǎng)絡(luò)達(dá)到的最優(yōu)狀態(tài)，完成網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過(guò)程，為后續(xù)的數(shù)據(jù)分類(lèi)做準(zhǔn)備。因此可以將BP神經(jīng)網(wǎng)絡(luò)作為人臉特征向量的分類(lèi)器，以達(dá)到人臉識(shí)別的目的。

三、基于BP神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別

人臉識(shí)別是基于人臉的唯一性進(jìn)行識(shí)別，這里采用奇異值分解的方法提取人臉特征向量。本實(shí)驗(yàn)的數(shù)據(jù)取自O(shè)RL人臉數(shù)據(jù)庫(kù)，該庫(kù)由40人、每人10幅、共400幅人臉圖像組成。這些照片包含測(cè)試者的不同面部表情。本實(shí)驗(yàn)選擇兩個(gè)測(cè)試者進(jìn)行識(shí)別，每個(gè)測(cè)試者的十幅圖像作為一個(gè)類(lèi)，每個(gè)類(lèi)的前九幅圖像的特征向量作為網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練樣本，第十幅圖像的特征向量作為測(cè)試數(shù)據(jù)。

（一）樣本數(shù)據(jù)的獲取

采用奇異值分解的方法提取人臉圖像的特征向量，這些特征向量作為BP網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練樣本數(shù)據(jù)，對(duì)樣本數(shù)據(jù)進(jìn)行歸一化后得到。例如 =（0.55650.53230.36750.40620.35990.38540.37030.3062）表示第一個(gè)測(cè)試者的第一副圖像的特征向量，在BP網(wǎng)絡(luò)中對(duì)應(yīng)的輸出向量為（1，0）。

（二）BP神經(jīng)網(wǎng)絡(luò)的建立

第一，確定隱含層的層數(shù)。對(duì)于一般的模式識(shí)別問(wèn)題，三層網(wǎng)絡(luò)可以有效的解決此問(wèn)題。本試驗(yàn)采用三層網(wǎng)絡(luò)，輸入層的神經(jīng)元個(gè)數(shù)為特征向量的維數(shù)n=8，隱含層的神經(jīng)元個(gè)數(shù)為p=2n+1=17，輸出層的神經(jīng)元個(gè)數(shù)為輸出向量的維數(shù)為m=2。隱含層神經(jīng)元傳遞函數(shù)選用tansig，輸出層神經(jīng)元傳遞函數(shù)選用logsig。輸出向量為（1，0）和（0，1）表示為第一個(gè)和第二個(gè)測(cè)試者。

第二，載入樣本數(shù)據(jù)學(xué)習(xí)和訓(xùn)練。樣本數(shù)據(jù)包括輸入向量和輸出向量，通過(guò)學(xué)習(xí)和訓(xùn)練不斷的修正網(wǎng)絡(luò)中的權(quán)值和閾值。訓(xùn)練曲線的收斂情況如圖2.

在matlab環(huán)境下運(yùn)行，采用測(cè)試樣本進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果輸出為（0.98490.0027）；（0.00270.9547），試驗(yàn)結(jié)果接近（1，0）和（0，1），分別為一號(hào)和二號(hào)測(cè)試者，實(shí)驗(yàn)達(dá)到預(yù)期結(jié)果。

圖1.訓(xùn)練曲線

四、結(jié)語(yǔ)

運(yùn)用BP人工神經(jīng)網(wǎng)絡(luò)建立了人臉識(shí)別模型，解決了對(duì)人臉特征向量進(jìn)行分類(lèi)識(shí)別的問(wèn)題，從而達(dá)到對(duì)人臉識(shí)別這一最終目的。識(shí)別結(jié)果表明，在小樣本空間下，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別運(yùn)算速度快、操作簡(jiǎn)單、識(shí)別率高，BP神經(jīng)網(wǎng)絡(luò)可以用于人臉識(shí)別系統(tǒng)中的識(shí)別部分，并且可以擴(kuò)展到其他模式識(shí)別問(wèn)題。

參考文獻(xiàn)：

[1]郝文化.MATLAB圖像圖像應(yīng)用教程[M].中國(guó)水利水電出版社,2004

[2]邵擁軍等.基于BP神經(jīng)網(wǎng)絡(luò)的湘西金礦成礦預(yù)測(cè)[J].中南大學(xué)學(xué)報(bào),2007

[3]高全學(xué)等.SVD用于人臉識(shí)別存在的問(wèn)題及解決方法[J].中國(guó)圖象圖形學(xué)報(bào),2006

[4]楊天軍,張曉春等.基于BP神經(jīng)網(wǎng)絡(luò)的城市道路交通安全評(píng)價(jià)研究[J].中國(guó)礦業(yè)大學(xué)學(xué)報(bào),2005

篇7

中圖分類(lèi)號(hào)：TP3文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2012）04-0000-00

交通流量預(yù)測(cè)是現(xiàn)在研究智能交通系統(tǒng)的熱門(mén)研究課題，通過(guò)交通流量預(yù)測(cè)方法對(duì)相關(guān)數(shù)據(jù)進(jìn)行建模，預(yù)測(cè)未來(lái)交通流量，進(jìn)一步更好地制定忙時(shí)交通分流預(yù)案，配備合適的運(yùn)營(yíng)資源。因此我們?cè)诒疚姆治隽爽F(xiàn)在流行的交通流量預(yù)測(cè)的發(fā)展方向及進(jìn)展。具體介紹了交通流量預(yù)測(cè)的相關(guān)模型，并對(duì)這些模型進(jìn)行了討論，驗(yàn)證數(shù)據(jù)挖掘技術(shù)在高速公路流量監(jiān)測(cè)上應(yīng)用的可行性。。

現(xiàn)有的短時(shí)交通流量預(yù)測(cè)方法大致可以分為以下兩大類(lèi)：第一類(lèi)是以數(shù)理統(tǒng)計(jì)和微積分等傳統(tǒng)數(shù)學(xué)和物理方法為基礎(chǔ)的，它主要包括早期的歷史平均模型，自回歸滑動(dòng)平均模型(ARMA)，以及后來(lái)研究的更復(fù)雜、更精度的多元回歸模型，Kalman濾波模型，ARIMA模型等；第二類(lèi)是無(wú)數(shù)學(xué)模型的預(yù)測(cè)方法，它需要自己建立新的算法來(lái)實(shí)現(xiàn)，主要方法有非參數(shù)回歸，譜分析法，基于小波理論的方法，神經(jīng)網(wǎng)絡(luò)等。

BP神經(jīng)網(wǎng)絡(luò)模型把一組樣本的I/O的輸入輸出問(wèn)題轉(zhuǎn)化一個(gè)非線性?xún)?yōu)化的問(wèn)題，它實(shí)際是優(yōu)化中最普通的梯度下降法。假如把這種神經(jīng)網(wǎng)絡(luò)的看作是從輸入層到輸出層的映射，則這個(gè)映射是一個(gè)高度非線性得關(guān)系。

設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型其重點(diǎn)在于模型網(wǎng)絡(luò)的構(gòu)成以及學(xué)習(xí)算法的取向問(wèn)題。總體來(lái)看，結(jié)構(gòu)是根據(jù)所研究領(lǐng)域以及所要解決的實(shí)際問(wèn)題所決定的。通過(guò)對(duì)其所研究的問(wèn)題的大量歷史資料數(shù)據(jù)的研究以及當(dāng)前對(duì)神經(jīng)網(wǎng)絡(luò)理論發(fā)展水平，建立適當(dāng)?shù)木W(wǎng)絡(luò)模型，并針對(duì)所選的網(wǎng)絡(luò)模型采用適合這種模型的學(xué)習(xí)算法，在整個(gè)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，要不斷地調(diào)整網(wǎng)絡(luò)從而調(diào)整其相應(yīng)的參數(shù)，直到輸出精確的結(jié)果，達(dá)到預(yù)測(cè)的目的。

BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)步驟為：

首先是要對(duì)訓(xùn)練樣本進(jìn)行選取和預(yù)處理。根據(jù)研究狀況以及目標(biāo)，選取合適的訓(xùn)練樣本和檢驗(yàn)樣本，由于BP神經(jīng)網(wǎng)絡(luò)各層轉(zhuǎn)換函數(shù)以及學(xué)習(xí)規(guī)則是不同的，所以在輸入樣本之前要對(duì)輸入的樣本作一下預(yù)處理；然后再去確定建造BP網(wǎng)絡(luò)的結(jié)構(gòu)，這包括變量的選取，隱層和隱層節(jié)點(diǎn)數(shù)的選取等問(wèn)題；把輸入樣本輸入到BP神經(jīng)網(wǎng)絡(luò)模型中，再進(jìn)行仿真訓(xùn)練，最后預(yù)測(cè)出該網(wǎng)絡(luò)的輸出值，再拿該期望值與實(shí)際輸出進(jìn)行比較，根據(jù)誤差去反復(fù)的修改誤差，從而改變權(quán)值以及閾值，直到誤差一個(gè)可接受的范圍，完了再用檢驗(yàn)樣本進(jìn)行對(duì)比，判斷結(jié)果；然后對(duì)結(jié)果進(jìn)行比較分析，最后認(rèn)可該網(wǎng)絡(luò)模型的算法，就可以對(duì)未來(lái)交通流量進(jìn)行精確地預(yù)測(cè)了。

BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)大致可以包含以下幾個(gè)部分：首先是對(duì)模型的建立、數(shù)據(jù)采集并且預(yù)處理，然后對(duì)輸入到模型特征向量的數(shù)據(jù)進(jìn)行預(yù)測(cè)、通過(guò)預(yù)測(cè)的數(shù)值去判斷是否符合實(shí)際數(shù)值等。該模型網(wǎng)絡(luò)的建立是整個(gè)系統(tǒng)是否成功的關(guān)鍵，本文的設(shè)計(jì)也是神經(jīng)網(wǎng)絡(luò)的一個(gè)應(yīng)用，只要選擇的數(shù)據(jù)完備、可靠、準(zhǔn)確，就有可能得到符合預(yù)測(cè)的網(wǎng)絡(luò)模型。數(shù)據(jù)的采取需要有實(shí)時(shí)的數(shù)據(jù)采集系統(tǒng)。事實(shí)上預(yù)處理的過(guò)程要求根據(jù)數(shù)據(jù)的實(shí)際情況進(jìn)行預(yù)處理，我們的文章的數(shù)據(jù)都是來(lái)自高速公路監(jiān)控部門(mén)，故具有完備的、一致的，因此要首先要對(duì)其進(jìn)行數(shù)據(jù)變換。對(duì)于系統(tǒng)的輸出數(shù)值是否滿(mǎn)足實(shí)際數(shù)值，只要將其所得到的預(yù)測(cè)值和數(shù)學(xué)期望值進(jìn)行比較，所得的數(shù)值滿(mǎn)足在數(shù)學(xué)期望值的附近(一般誤差在10％以下，該系統(tǒng)設(shè)計(jì)是成功的)且其誤差值小于預(yù)先設(shè)定的誤差值時(shí)，就可以認(rèn)為該系統(tǒng)可以成功預(yù)測(cè)高速公路交通流量，可以先把它記下來(lái)；反之，認(rèn)為將得不到合適的數(shù)值，需要不斷的改變權(quán)值。

對(duì)輸入到網(wǎng)絡(luò)模型特征向量數(shù)據(jù)進(jìn)行預(yù)測(cè)是我所研究的重點(diǎn)，這第一步首先是需要建立合適的網(wǎng)絡(luò)模型，首先將對(duì)應(yīng)的高速公路交通流量的特征向量數(shù)據(jù)預(yù)處理后，輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，仿真訓(xùn)練結(jié)束后，用檢驗(yàn)樣本的特征向量進(jìn)行檢驗(yàn)，然后用最后一組數(shù)據(jù)對(duì)該模型測(cè)試，分析其模型的實(shí)際是否有效，判斷其是否是符合實(shí)際交通流量預(yù)測(cè)的模型，那么此系統(tǒng)就可以進(jìn)入到實(shí)際的預(yù)測(cè)階段。綜上所述，只要特征向量的數(shù)值的選擇較為合適，就有可能建立起較為合適的模型，可以用此來(lái)對(duì)高速公路交通流量進(jìn)行預(yù)測(cè)。所以，BP神經(jīng)網(wǎng)絡(luò)作用于高速公路交通流量的預(yù)測(cè)中是可行的并且是可靠地。

在相同的結(jié)構(gòu)的網(wǎng)絡(luò)中，因?yàn)锽P算法它本身存在多個(gè)局部的極小點(diǎn)，所以要不斷的改變賦予網(wǎng)絡(luò)連接權(quán)值以此來(lái)求得相應(yīng)的網(wǎng)絡(luò)極小點(diǎn)，從而通過(guò)比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差，然后再確定整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的極小點(diǎn)，以此得到適合該網(wǎng)絡(luò)的合適權(quán)值。在該網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練的過(guò)程事實(shí)上是求該網(wǎng)絡(luò)結(jié)構(gòu)的極小點(diǎn)的問(wèn)題，所以，在全局極小點(diǎn)領(lǐng)域內(nèi)，各個(gè)網(wǎng)絡(luò)連接權(quán)值之間存在著巨大的差異，也會(huì)導(dǎo)致各個(gè)神經(jīng)元的重要性發(fā)生相應(yīng)的變化。當(dāng)在不滿(mǎn)足隱含層節(jié)點(diǎn)數(shù)的條件時(shí)，也可以求得該網(wǎng)絡(luò)模型的訓(xùn)練樣本誤差很小的極小點(diǎn)值，同時(shí)該檢驗(yàn)樣本的誤差也許比該值要大許多；如果網(wǎng)絡(luò)的初值改變了，相應(yīng)的網(wǎng)絡(luò)計(jì)算出的結(jié)果會(huì)發(fā)生很大的改變。

篇8

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；入侵檢測(cè)；模塊

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1009-3044（2015）13-0171-02

網(wǎng)絡(luò)給我們帶來(lái)巨大機(jī)會(huì)和發(fā)展的同時(shí)也給我們帶來(lái)了惡意入侵的危險(xiǎn)。就現(xiàn)在的整體情況來(lái)看，經(jīng)常使用的網(wǎng)絡(luò)安全技術(shù)還局限于防火墻等一些靜態(tài)的安全保護(hù)方式，要是沒(méi)有積極主動(dòng)的一些安全防護(hù)方式相配合，他的安全性能就是有殘缺的。開(kāi)發(fā)一種主動(dòng)防御、及時(shí)控制的技術(shù)就很有必要。入侵檢測(cè)技術(shù)恰恰就是這樣的一種技術(shù)。入侵檢測(cè)在國(guó)內(nèi)有很多文獻(xiàn)進(jìn)行研究，目前入侵檢測(cè)存在的最大問(wèn)題是檢測(cè)中誤報(bào)率較高。所以我們要提高入侵檢測(cè)的智能型。神經(jīng)網(wǎng)絡(luò)顧名思義模仿人的大腦，具有很好的并行計(jì)算，自適應(yīng)計(jì)算，抗干擾和智能判斷的特征，可以準(zhǔn)確處理失真信號(hào)。這些特征能優(yōu)化現(xiàn)有的入侵檢測(cè)方法，是發(fā)展的必然趨勢(shì)。

1網(wǎng)絡(luò)攻擊的分類(lèi)

從攻擊的技術(shù)手段方面看，網(wǎng)絡(luò)攻擊分為兩大類(lèi)。第一類(lèi)分析攻擊行為，并在數(shù)據(jù)包的載荷部分把其特征隱藏。有字符串結(jié)合而成的，服務(wù)于系統(tǒng)的一些常用命令，沒(méi)有被顯示出來(lái)。但是一旦點(diǎn)擊包含此字符串的對(duì)象，入侵行為就被激活。這種利用計(jì)算機(jī)本身系統(tǒng)結(jié)構(gòu)特點(diǎn)和應(yīng)用層協(xié)議的一些漏洞產(chǎn)生的攻擊稱(chēng)為高層網(wǎng)絡(luò)攻擊。第二類(lèi)攻擊稱(chēng)為低層網(wǎng)絡(luò)攻擊。主要攻擊發(fā)生在網(wǎng)絡(luò)連接的時(shí)間和數(shù)據(jù)流量上，這類(lèi)攻擊主要是針對(duì)TCP/IP協(xié)議棧中的基礎(chǔ)協(xié)議的漏洞進(jìn)行攻擊。

2入侵檢測(cè)原型總體結(jié)構(gòu)

圖1描述了原型的總體結(jié)構(gòu)模型。對(duì)主要模塊的總體功能進(jìn)行如下介紹。

1）數(shù)據(jù)捕獲模塊，捕獲在系統(tǒng)中運(yùn)行的數(shù)據(jù)包，預(yù)處理模塊處理這些數(shù)據(jù)包。在實(shí)現(xiàn)時(shí)，將網(wǎng)絡(luò)接口設(shè)成混雜模式，方便數(shù)據(jù)流通，并同時(shí)監(jiān)聽(tīng)經(jīng)過(guò)設(shè)備的數(shù)據(jù)[1]。

2）數(shù)據(jù)預(yù)處理模塊分析網(wǎng)絡(luò)上獲得的信息，對(duì)數(shù)據(jù)包根據(jù)協(xié)議類(lèi)型一層一層解析。記錄和計(jì)算TCP連接信息，半開(kāi)連接信息，保護(hù)網(wǎng)絡(luò)主機(jī)不同端口連接信息和半開(kāi)連接信息，并對(duì)SYN報(bào)文和FIN報(bào)文的鏈表狀態(tài)和鏈表結(jié)點(diǎn)進(jìn)行維護(hù)。IP協(xié)議處理函數(shù)中進(jìn)行碎片信息的處理和記錄，目的是把基于碎片的拒絕服務(wù)攻擊提供給神經(jīng)網(wǎng)絡(luò)模塊?？偨Y(jié)信息并把信息轉(zhuǎn)化，進(jìn)行歸一化處理，結(jié)合TCP數(shù)據(jù)報(bào)的標(biāo)志位送入神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊，檢測(cè)攻擊的存在。最后把得到的特征用于ICMP協(xié)議的掃描或攻擊檢測(cè)。

3）數(shù)據(jù)預(yù)處理模塊把得到的特征傳給神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊，神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊負(fù)責(zé)計(jì)算輸出層的輸出結(jié)果，并根據(jù)結(jié)果判斷攻擊。神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊有三大模塊構(gòu)成。能檢測(cè)網(wǎng)絡(luò)漏洞掃描和TCP協(xié)議中拒絕服務(wù)攻擊的TCP神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊；能通過(guò)檢測(cè)到拒絕服務(wù)攻擊和ICMP的IP神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊；基于ICMP的主機(jī)活性掃描和拒絕服務(wù)攻擊的檢測(cè)被神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊實(shí)現(xiàn)。

4）神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊對(duì)己知的網(wǎng)絡(luò)攻擊離線訓(xùn)練，以矩陣形式將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的各層連接權(quán)存入磁盤(pán)文件中，在系統(tǒng)開(kāi)始運(yùn)行時(shí)神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊讀入磁盤(pán)中的權(quán)值到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中。神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊也可分為T(mén)CP神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊、m神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊和ICMP神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊[1]。

5）響應(yīng)報(bào)警模塊報(bào)告當(dāng)前的被檢測(cè)數(shù)據(jù)對(duì)象是否存在攻擊的跡象，判斷依據(jù)是神經(jīng)網(wǎng)絡(luò)的輸出。

3基于神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)原型詳細(xì)設(shè)計(jì)

詳細(xì)設(shè)計(jì)分為數(shù)據(jù)捕獲模塊、數(shù)據(jù)預(yù)處理模塊、神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊、神經(jīng)網(wǎng)絡(luò)測(cè)試模塊、響應(yīng)報(bào)警模塊五個(gè)模塊。

數(shù)據(jù)捕獲模塊。網(wǎng)絡(luò)數(shù)據(jù)的捕獲通過(guò)Libpcap編程接口實(shí)現(xiàn)。這種接口是網(wǎng)絡(luò)數(shù)據(jù)包的標(biāo)準(zhǔn)捕獲接口，它效率高、獨(dú)立性和移植性強(qiáng)。使用具有快速的網(wǎng)絡(luò)數(shù)據(jù)包過(guò)濾功能的BPF數(shù)據(jù)包捕獲機(jī)制。數(shù)據(jù)捕獲過(guò)程中通過(guò)Libpcap截獲網(wǎng)絡(luò)數(shù)據(jù)包。

數(shù)據(jù)預(yù)處理模塊。數(shù)據(jù)預(yù)處理模塊接收網(wǎng)絡(luò)數(shù)據(jù)包，這些數(shù)據(jù)包由數(shù)據(jù)捕獲模塊送過(guò)來(lái)。接收后先處理這些數(shù)據(jù)包，并將處理的結(jié)果轉(zhuǎn)化為向量送入神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊檢測(cè)。數(shù)據(jù)預(yù)處理模塊處理的數(shù)據(jù)包分別針對(duì)三種協(xié)議：IP、TCP、ICMP。IP協(xié)議的預(yù)處理主要提取針對(duì)基于m碎片的攻擊特征；TCP協(xié)議的預(yù)處理針對(duì)基于TCP協(xié)議網(wǎng)絡(luò)掃描并對(duì)拒絕服務(wù)攻擊特征提取。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊。采用雙隱層BP神經(jīng)網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊的網(wǎng)絡(luò)結(jié)構(gòu)。離線狀態(tài)下運(yùn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊。網(wǎng)絡(luò)攻擊和正常網(wǎng)絡(luò)流通的一些知識(shí)，讓檢測(cè)模塊在對(duì)網(wǎng)絡(luò)攻擊事件進(jìn)行檢查入侵之前學(xué)會(huì)。提供給神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊已知攻擊的輸入特征向量和與之對(duì)應(yīng)的期望輸出向量由系統(tǒng)管理員負(fù)責(zé)。本原型輸入特征向量是預(yù)處理模塊得到的可描述攻擊行為的特征向量；期望輸出數(shù)據(jù)一般為一串二進(jìn)制0、1串指示了是何種具體的攻擊。本原型對(duì)基于IP、ICMP、TCP協(xié)議的網(wǎng)絡(luò)掃描和拒絕服務(wù)攻擊進(jìn)行檢測(cè)，相應(yīng)定義了三種（IP、ICMP、TCP）神經(jīng)網(wǎng)絡(luò)[2]。

神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊。神經(jīng)網(wǎng)絡(luò)檢測(cè)模塊接受的特征向量是由預(yù)處理模塊送來(lái)，這些特征向量做為神經(jīng)網(wǎng)絡(luò)的輸入向量，是由神經(jīng)網(wǎng)絡(luò)的各層計(jì)算出結(jié)果，然后把結(jié)果在輸出層輸出。輸出結(jié)果可能顯示的是正常的數(shù)據(jù)流，可能指示某一種網(wǎng)絡(luò)攻擊，也可能是未知的結(jié)果即這個(gè)結(jié)果在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)沒(méi)有定義。針對(duì)這種情況，對(duì)于前兩種情況，系統(tǒng)管理員應(yīng)記錄下這時(shí)神經(jīng)網(wǎng)絡(luò)的輸入向量和輸出向量，在神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，加入這兩種情況。對(duì)于后一種情況，需要在進(jìn)行分析。

響應(yīng)報(bào)警模塊。響應(yīng)報(bào)警模塊對(duì)接受神經(jīng)網(wǎng)絡(luò)輸出向量，根據(jù)編碼的對(duì)應(yīng)關(guān)系，判斷攻擊行為。發(fā)現(xiàn)對(duì)應(yīng)的攻擊。就會(huì)有相應(yīng)的消息打印在屏幕上，并會(huì)有指示這種攻擊的全局變量在系統(tǒng)中設(shè)置；若沒(méi)有找到對(duì)應(yīng)攻擊，則不打印消息。理論上講訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，對(duì)輸出向量的編碼是0、1串。但真正的輸出不會(huì)嚴(yán)格的是0、1串，所以約定，數(shù)值大于0.7的按1對(duì)待，小于0.3的按0對(duì)待。

改進(jìn)后BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

4神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程

P代表樣本總數(shù)。

F代表不合格樣本數(shù)。

M代表正確率，設(shè)在1%-100%之間。

E為網(wǎng)絡(luò)訓(xùn)練后要達(dá)到的精度，設(shè)為小數(shù)。

5神經(jīng)網(wǎng)絡(luò)檢測(cè)

對(duì)參數(shù)和變量進(jìn)行初始化；

從記事本文件中讀取檢測(cè)樣本、期望值、權(quán)值、閾值；

for（n=1；n

{放入矩陣第一行；

{for（n=1；n

根據(jù)閾值和權(quán)值的到線性輸出，放入矩陣第二行；

…

}

if（小于正確率） 不合格樣本數(shù)++；

}

輸出該組數(shù)據(jù)的檢測(cè)結(jié)果；

end

正確率輸出結(jié)果越接近l，表明可能受到攻擊。

6 結(jié)束語(yǔ)

本文調(diào)研了常見(jiàn)的網(wǎng)絡(luò)攻擊手段，探討了入侵檢測(cè)技術(shù)的研究方法、入侵檢測(cè)的發(fā)展方向。根據(jù)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，將神經(jīng)網(wǎng)絡(luò)與入侵檢測(cè)結(jié)合。設(shè)計(jì)了一個(gè)簡(jiǎn)化的基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測(cè)原型。原型通過(guò)統(tǒng)計(jì)底層網(wǎng)絡(luò)協(xié)議的數(shù)據(jù)流量信息數(shù)據(jù)包協(xié)議頭的信息，將這些信息預(yù)處理后送入已訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)模塊，以此判斷當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)流量存在的攻擊或掃描行為。此原型提出了具有更高檢測(cè)率并且能檢測(cè)變種攻擊的模塊設(shè)計(jì)。

參考文獻(xiàn)：

[1] 張文修，梁怡.基于包含度的不確定推理[M]. 北京：清華大學(xué)出版社，2007.

篇9

人工神經(jīng)網(wǎng)絡(luò)是近年來(lái)迅猛發(fā)展的前沿課題，它對(duì)突破現(xiàn)有科學(xué)技術(shù)的瓶頸起到重大的作用。本文剖析了人工神經(jīng)網(wǎng)絡(luò)的特征、模型結(jié)構(gòu)以及未來(lái)的發(fā)展趨勢(shì)。

【關(guān)鍵詞】人工神經(jīng)網(wǎng)絡(luò) 神經(jīng)元 矩陣

1 人工神經(jīng)網(wǎng)絡(luò)概述

人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種用計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)模擬生物神經(jīng)網(wǎng)絡(luò)的智能神經(jīng)系統(tǒng)，它是在現(xiàn)代神經(jīng)生物學(xué)研究成果的基礎(chǔ)上發(fā)展起來(lái)的，模擬人腦信息處理機(jī)制的一種網(wǎng)絡(luò)系統(tǒng)，它不但具有處理數(shù)值數(shù)據(jù)的計(jì)算能力，而且還具有處理知識(shí)的學(xué)習(xí)、聯(lián)想和記憶能力。

人工神經(jīng)網(wǎng)絡(luò)模擬了大腦神經(jīng)元的組織方式，反映了人腦的一些基本功能，為研究人工智能開(kāi)辟了新的途徑。它具有以下基本特征：

1.1 并行分布性

因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)中的神經(jīng)元排列并不是雜亂無(wú)章的，往往是以一種有規(guī)律的序列排列，這種結(jié)構(gòu)非常適合并行計(jì)算。同時(shí)如果將每一個(gè)神經(jīng)元看作是一個(gè)基本的處理單元，則整個(gè)系統(tǒng)可以是一個(gè)分布式處理系統(tǒng)，使得計(jì)算快速。

1.2 可學(xué)習(xí)性和自適應(yīng)性

一個(gè)相對(duì)很小的人工神經(jīng)網(wǎng)絡(luò)可存儲(chǔ)大量的專(zhuān)家知識(shí)，并能根據(jù)學(xué)習(xí)算法，或利用指導(dǎo)系統(tǒng)模擬現(xiàn)實(shí)環(huán)境（稱(chēng)為有教師學(xué)習(xí)），或?qū)斎脒M(jìn)行自適應(yīng)學(xué)習(xí)（稱(chēng)為無(wú)教師學(xué)習(xí)），可以處理不確定或不知道的事情，不斷主動(dòng)學(xué)習(xí)，不斷完善知識(shí)的存儲(chǔ)。

（3）魯棒性和容錯(cuò)性

由于采用大量的神經(jīng)元及其相互連接，具有聯(lián)想映射與聯(lián)想記憶能力，容錯(cuò)性保證網(wǎng)絡(luò)將不完整的、畸變的輸入樣本恢復(fù)成完整的原型，魯棒性使得網(wǎng)絡(luò)中的神經(jīng)元或突觸遭到破壞時(shí)網(wǎng)絡(luò)仍然具有學(xué)習(xí)和記憶能力，不會(huì)對(duì)整體系統(tǒng)帶來(lái)嚴(yán)重的影響。

1.3 泛化能力

人工神經(jīng)網(wǎng)絡(luò)是大規(guī)模的非線性系統(tǒng)，提供了系統(tǒng)協(xié)同和自組織的潛力，它能充分逼近任意復(fù)雜的非線性關(guān)系。如果輸入發(fā)生較小變化，則輸出能夠保持相當(dāng)小的差距。

1.4 信息綜合能力

任何知識(shí)規(guī)則都可以通過(guò)對(duì)范例的學(xué)習(xí)存儲(chǔ)于同一個(gè)神經(jīng)網(wǎng)絡(luò)的各連接權(quán)值中，能同時(shí)處理定量和定性的信息，適用于處理復(fù)雜非線性和不確定對(duì)象。

2 人工神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)是在對(duì)人腦思維方式研究的基礎(chǔ)上，將其抽象模擬反映人腦基本功能的一種并行處理連接網(wǎng)絡(luò)。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元。

在神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程中，從不同角度對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了不同層次的描述和模擬，提出了各種各樣的神經(jīng)網(wǎng)絡(luò)模型，其中最具有代表性的神經(jīng)網(wǎng)絡(luò)模型有：感知器、線性神經(jīng)網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)、徑向基函數(shù)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)等等。

3 神經(jīng)元矩陣

神經(jīng)元矩陣是神經(jīng)網(wǎng)絡(luò)模型的一種新構(gòu)想，是專(zhuān)門(mén)為神經(jīng)網(wǎng)絡(luò)打造的一個(gè)矩陣，它符合神經(jīng)元的一切特征。

神經(jīng)元矩陣采用矩陣形式，它可為n維向量組成。引入向量觸頭和信使粒的概念，向量觸頭可生長(zhǎng)，即長(zhǎng)度可變，方向可變，信使?？伞坝问帯痹诰仃囍?，建立各種聯(lián)系。如圖1即是神經(jīng)元矩陣模型

（1）容器可產(chǎn)生一種無(wú)形的約束力，使系統(tǒng)得以形成，容器不是全封閉的，從而保證系統(tǒng)與外界的溝通和交互；各向量間可用相互作用的力來(lái)聯(lián)系，而各個(gè)信使粒則受控于容器、中空向量以及其它的信使粒。各神經(jīng)元之間自主交互，神經(jīng)元矩陣是一種多層次的管理，即一層管理一層。系統(tǒng)具有明顯的層級(jí)制和分塊制，每層每塊均獨(dú)立且協(xié)同工作，即每層每塊均含組織和自組織因素。

（2）向量觸頭是中空的，信使?？梢酝ㄟ^(guò)向量或存儲(chǔ)于向量中，所以又稱(chēng)為中空向量。向量存儲(chǔ)了信使粒后，可以吸引更多的信使粒在附近，或使鄰近向量轉(zhuǎn)向、伸長(zhǎng)，進(jìn)而形成相對(duì)穩(wěn)定的信息通路。

（3）當(dāng)兩條或更多的信息通路匯集時(shí)，可能伴隨著通路的增強(qiáng)、合并，以及信使粒的聚集、交換，這是神經(jīng)元矩陣運(yùn)算的一種主要形式。通路的形成過(guò)程，也就是是神經(jīng)元矩陣分塊、分層、形成聯(lián)接的過(guò)程，也為矩陣系統(tǒng)宏觀管理、層級(jí)控制的實(shí)現(xiàn)奠定了基礎(chǔ)。

神經(jīng)元矩陣亦是一種具有生物網(wǎng)絡(luò)特征的數(shù)學(xué)模型，綜合了數(shù)學(xué)上矩陣和向量等重要概念，是一種立體的矩陣結(jié)構(gòu)。尤其是將矩陣的分塊特性和向量的指向特征結(jié)合起來(lái)，更好的體現(xiàn)了神經(jīng)網(wǎng)絡(luò)的整體性和單元獨(dú)立性，系統(tǒng)的組織和自組織特征也更為凸顯。信使粒以“點(diǎn)”的數(shù)學(xué)概念，增強(qiáng)了系統(tǒng)的信息特征，尤其是增強(qiáng)了矩陣的存儲(chǔ)和運(yùn)算功能。

4 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢(shì)

人工神經(jīng)網(wǎng)絡(luò)是邊緣叉科學(xué)，它涉及計(jì)算機(jī)、人工智能、自動(dòng)化、生理學(xué)等多個(gè)學(xué)科領(lǐng)域，研究它的發(fā)展具有非常重要意義。針對(duì)神經(jīng)網(wǎng)絡(luò)的社會(huì)需求以及存在的問(wèn)題，今后神經(jīng)網(wǎng)絡(luò)的研究趨勢(shì)主要側(cè)重以下幾個(gè)方面。

4.1 增強(qiáng)對(duì)智能和機(jī)器關(guān)系問(wèn)題的認(rèn)識(shí)

人腦是一個(gè)結(jié)構(gòu)異常復(fù)雜的信息系統(tǒng)，我們所知道的唯一智能系統(tǒng)，隨著信息論、控制論、計(jì)算機(jī)科學(xué)、生命科學(xué)的發(fā)展，人們?cè)絹?lái)越驚異于大腦的奇妙。對(duì)人腦智能化實(shí)現(xiàn)的研究，是神經(jīng)網(wǎng)絡(luò)研究今后的需要增強(qiáng)的地發(fā)展方向。

4.2 發(fā)展神經(jīng)計(jì)算和進(jìn)化計(jì)算的理論及應(yīng)用

利用神經(jīng)科學(xué)理論的研究成果，用數(shù)理方法探索智能水平更高的人工神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)的算法和性能，使離散符號(hào)計(jì)算、神經(jīng)計(jì)算和進(jìn)化計(jì)算相互促進(jìn)，開(kāi)發(fā)新的網(wǎng)絡(luò)數(shù)理理論。

4.3 擴(kuò)大神經(jīng)元芯片和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的作用

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)體現(xiàn)了結(jié)構(gòu)和算法的統(tǒng)一，是硬件和軟件的混合體，神經(jīng)元矩陣即是如此。人工神經(jīng)網(wǎng)絡(luò)既可以用傳統(tǒng)計(jì)算機(jī)來(lái)模擬，也可以用集成電路芯片組成神經(jīng)計(jì)算機(jī)，甚至還可以生物芯片方式實(shí)現(xiàn)，因此研制電子神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)潛力巨大。如何讓傳統(tǒng)的計(jì)算機(jī)、人工智能技術(shù)和神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)相融合也是前沿課題，具有十分誘人的前景。

4.4 促進(jìn)信息科學(xué)和生命科學(xué)的相互融合

信息科學(xué)與生命科學(xué)的相互交叉、相互促進(jìn)、相互滲透是現(xiàn)代科學(xué)的一個(gè)顯著特點(diǎn)。神經(jīng)網(wǎng)絡(luò)與各種智能處理方法有機(jī)結(jié)合具有很大的發(fā)展前景，如與專(zhuān)家系統(tǒng)、模糊邏輯、遺傳算法、小波分析等相結(jié)合，取長(zhǎng)補(bǔ)短，可以獲得更好的應(yīng)用效果。

參考文獻(xiàn)

[1]鐘珞.饒文碧.鄒承明著.人工神經(jīng)網(wǎng)絡(luò)及其融合應(yīng)用技術(shù).科學(xué)出版社.

篇10

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)，多元回歸，遺傳算法，算法集成

Integration Algorithm Based on Genetic Algorithm, BP neural network and multiple regressions

Cheng ChenGuiping LiaoJinwei LiXiaohui Shi

（Agricultural Information Institute of Hunan Agricultural UniversityChangsha430000）

Abstract: Genetic Algorithm, BP neural network and multiple regression are used widely in data mining algorithms, each of them have their benefits. Simultaneously, they have some inevitable flaws. On the basis of previous three, I made some improvements in the structure of them. First, I propose a hybrid BP network based on the integration of BP Network and multiple regression models. Then I used the hybrid genetic algorithm to optimize the initial weights of hybrid BP network. In that way, I effectively avoid the inevitable flaws when they alone. Validation results show, in convergence speed accuracy and generalization ability, the model of new methods is better than Genetic Algorithm, BP neural network and multiple regressions. In addition, the model of new methods has significant improvements compared with ELM, SVRKM and SVM.

Key words: BP Neural Network; Multiple regression; Genetic Algorithms; Algorithm integration

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A

基金項(xiàng)目：湖南省研究生科技創(chuàng)新基金項(xiàng)目（CX2010B280）

作者簡(jiǎn)介：陳誠(chéng)（1986-），男，安徽蚌埠人，碩士研究生，研究方向：人工智能、信息處理。通訊作者：廖桂平（1964-），男，博士生導(dǎo)師，教授，主要從事農(nóng)業(yè)信息技術(shù)的研究。Email：.cn

1 引言

近年來(lái)，隨著“云”概念的普及和發(fā)展，當(dāng)今社會(huì)的信息量越來(lái)越龐大，信息結(jié)構(gòu)變得越來(lái)越復(fù)雜，信息的表現(xiàn)形式已經(jīng)呈現(xiàn)出從“信息庫(kù)”向“信息云”靠攏的趨勢(shì)，如何在“信息云”中發(fā)掘出準(zhǔn)確有益的信息已經(jīng)成為現(xiàn)今研究的熱門(mén)問(wèn)題，而數(shù)據(jù)挖掘技術(shù)正是解決這一問(wèn)題的最佳方法之一。在面對(duì)各種復(fù)雜數(shù)據(jù)時(shí)，數(shù)據(jù)挖掘技術(shù)能夠方便快捷地挖掘出大量數(shù)據(jù)中隱含的內(nèi)在規(guī)律，提煉出有用的信息，從而為決策提供可靠的依據(jù)。

遺傳算法、BP神經(jīng)網(wǎng)絡(luò)和多元回歸是數(shù)據(jù)挖掘算法中應(yīng)用較廣泛的三種方法，在很長(zhǎng)的一段時(shí)間內(nèi)都是數(shù)據(jù)挖掘常用的算法。然而，隨著當(dāng)今社會(huì)信息量的急劇增大、信息結(jié)構(gòu)的不斷復(fù)雜化，它們的缺陷也越來(lái)越明顯：（1）遺傳算法雖然能很快的接近最優(yōu)解，但隨后會(huì)在最優(yōu)解附近左右擺動(dòng)，收斂精度不高[1]。（2）BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度慢，容易陷入局部極值，在模擬線性關(guān)系時(shí)效果沒(méi)有多元線性回歸理想。（3）多元線性回歸模型的應(yīng)用領(lǐng)域較窄，雖然處理線性關(guān)系的數(shù)據(jù)效果很好，但是在面對(duì)非線性關(guān)系的數(shù)據(jù)時(shí)效果比較差。

由于遺傳算法、BP神經(jīng)網(wǎng)絡(luò)和多元回歸存在明顯的缺陷，因此已經(jīng)逐漸呈現(xiàn)出被ELM、SVRKM和SVM這幾種當(dāng)今主流方法所取代的趨勢(shì)。但是，遺傳算法、BP神經(jīng)網(wǎng)絡(luò)和多元回歸并不會(huì)真的成為過(guò)去，他們依然存在自己的巨大優(yōu)勢(shì)，這是其他方法無(wú)法具備的。本文在遺傳算法、BP神經(jīng)網(wǎng)絡(luò)和多元回歸的基礎(chǔ)上，結(jié)合三者的優(yōu)點(diǎn)，提出一種BP網(wǎng)絡(luò)與多元回歸模型融合的雜合BP網(wǎng)絡(luò)，并采用遺傳算法優(yōu)化雜合BP網(wǎng)絡(luò)的初始權(quán)值，有效地避免幾種方法在單獨(dú)使用時(shí)存在的缺陷。驗(yàn)證實(shí)驗(yàn)結(jié)果表明：新方法所建立的模型在收斂速度、精度和泛化能力上都明顯優(yōu)于GA、BP神經(jīng)網(wǎng)絡(luò)和多元回歸，并且較ELM、SVRKM和SVM也有較顯著的改進(jìn)。

2相關(guān)知識(shí)

2.1BP神經(jīng)網(wǎng)絡(luò)

2.1.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介