導語：如何才能寫好一篇神經(jīng)網(wǎng)絡的算法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

【關鍵詞】深度學習 卷積神經(jīng)網(wǎng)絡 權值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術的快速發(fā)展，芯片的設計與生產(chǎn)進入了納米時代，計算機的計算能力與計算速度得到了空前的提高，但是人們的需求是無限的，要求計算機能更加任性化的服務于我們的生活，這也就要求計算機本身能像人一樣識別與感知周圍的環(huán)境，并對復雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計算機能對為的環(huán)境做出識別與判斷也就要求計算機能夠智能的識別圖像信息。深度學習是機器學習中的一個新的研究領域。通過深度學習的方法構建深度網(wǎng)絡來抽取目標特征進而識別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡對圖像的處理具有平移，旋轉，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡使得計算機在感知識別周圍環(huán)境的能力有了巨大的提升，使得計算機更加智能。卷積神經(jīng)網(wǎng)絡擁有強大的特征提取能力，使得其在圖像分類識別，目標跟蹤等領域有著強大的運用。

1.1 國內外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導神經(jīng)網(wǎng)絡輸出誤差進行訓練神經(jīng)網(wǎng)絡。通過BP算法，神經(jīng)網(wǎng)絡能夠從大量訓練數(shù)據(jù)中的學習到相關統(tǒng)計信息，學習到的數(shù)據(jù)統(tǒng)計信息能夠反映關于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關系。

自2006年以來，Geoffery Hinton教授提出深度信念網(wǎng)絡。從此深度學習在學術界持續(xù)升溫。深度學習不僅改變著傳統(tǒng)的機器學習方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應用領域引起了突破性的變革。各種相關的算法和模型都取得了重要的突破，使得深度學習在圖像分類，語音識別，自然語言處理等領域有廣泛的運用。

2013年百度成立百度深度學習研究院以來我國的人工智能領域取得了長足的進步。在人工智能專家吳恩達的帶領下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無人駕駛技術，DuerOS語音交互計算平臺，人臉識別技術，美樂醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡結構，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說人工智能技術在近幾年得到了空前的發(fā)展。

2 深度學習概述

深度學習是機器學習的一個新方向，通過學習樣本數(shù)據(jù)內在規(guī)律和深層特征深度，深度學習神經(jīng)網(wǎng)絡能夠像人一樣有分析和學的能力，尤其在文字處理，圖像識別，語音等領域更加突出。能夠自主學習一些新的東西。目前深度學習使用的典型技術是通過特征表達和分類器來進行目標識別等任務的。并在語音識別、圖像處理、機器翻譯等領域取得很多成果。

深度學習不同于以往的淺層學習，淺層學習模型值包含一個隱藏層，或者不存在隱藏層，深度學習則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實驗對輸入信息進行分級表達。目前深度學習框架主要包含三種深度學習框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡的結構層次比傳統(tǒng)的神經(jīng)網(wǎng)絡復雜，卷積神經(jīng)網(wǎng)絡包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡訓練參數(shù)的數(shù)量遠比傳統(tǒng)神經(jīng)網(wǎng)絡少，卷積神經(jīng)網(wǎng)絡在訓練和前向測試的復雜度大幅度降低，同時也減少了神經(jīng)網(wǎng)絡訓練參數(shù)過擬合的幾率。卷積神經(jīng)網(wǎng)絡主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進行卷積運算，提取圖像特征，下采樣核則是對上層的數(shù)據(jù)進行將為處理，減少神經(jīng)網(wǎng)絡的復雜度。

卷積神經(jīng)網(wǎng)絡中每一個神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡架構，LeNet5架構中卷積核和下采樣核交替出現(xiàn)，下采樣核及時的將卷積核生成的特征向量進行降維，減少神經(jīng)網(wǎng)絡的運算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數(shù)字mnist中有極高的準確率。

4 R-CNN、Fast-R-CNN對比分析

卷積神經(jīng)網(wǎng)絡在對圖像進行識別具有平移，旋轉，扭曲不變的優(yōu)良特性，并且能夠實現(xiàn)高準確率識別圖像，但是在現(xiàn)實生活運用中往往需要神經(jīng)網(wǎng)絡標記出目標的相對位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎上對卷積神經(jīng)網(wǎng)絡進行改進，產(chǎn)生了具有對圖像中目標進行識別和定位的卷積神經(jīng)網(wǎng)絡R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對物體探測中位置信息進行精確處理和利用監(jiān)督式預訓練和區(qū)域特殊化的微調方法，代替了傳統(tǒng)的非監(jiān)督式預訓練和監(jiān)督式微調。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計算機視覺算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進行變換，生成固定大小的候選圖片，在訓練提取特征時一般采用經(jīng)過預訓練的模型參數(shù)進行finetuning，榱嗽黽友盜費本，模型在也將生成的候選框以及標定的標簽作為訓練樣本進行訓練。R-CNN采用SVMs分類器對特征向量進行分類，在訓練SVMs時將候選框經(jīng)過卷積神經(jīng)網(wǎng)絡提取的特征和SVM標定結果輸入到SVMs分類器訓練分類器模型。而在測試時將圖像全部候選框經(jīng)過卷積神經(jīng)網(wǎng)絡提取的特征輸入到SVMs分類器中，得到每一類的評分結果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個候選區(qū)圖像進行前向運算，保存所有后選取圖片的特征值，要求計算硬件有大量的存儲空間，同時處理每一張圖片的時間也會增加。由于訓練集龐大，本文采用hard negative mining method方法提高存儲的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計算的時間成本很大，達不到實時的計算效果，R-CNN在對候選區(qū)進行處理時會使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進的一種基于卷積神經(jīng)網(wǎng)絡目標跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個輸出，引入了Rol層。

Fast-R-CNN在運行的時候同樣會生成大量的候選區(qū)，同時將原始的圖片用卷積神經(jīng)網(wǎng)絡進行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標送入Rol層為每一個候選區(qū)生成一個固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計算K+1分類的損失，K為第K個目標，1為背景；Regression LOSS計算候選區(qū)的四個角的坐標。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實驗測試

對于本文提出的卷積神經(jīng)網(wǎng)絡識別圖像定位圖像目標算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實驗結果。實驗平臺為基于Linux系統(tǒng)的debian8下運行caffe進行訓練，采用顯卡K620進行實驗。

訓練模型初始化參數(shù)在是服從高斯隨機分布，R-CNN采用的網(wǎng)絡結構如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡結構如圖8所示。

本次實現(xiàn)的訓練樣本為錄制實驗室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉換成幀圖片，對每張圖片數(shù)據(jù)進行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進行旋轉，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓練樣本，7.2萬張作為測試樣本。

6 總結

在目標識別定位領域，卷積神經(jīng)網(wǎng)絡具有強大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡架構R-CNN和Fast-R-CNN都有強大的圖像處理能力。Fast-R-CNN在識別準確率上比R-CNN高。R-CNN算法復雜，對一張圖片需要進行1000-2000次的卷積運算，特征重復提取。因此在訓練和前向測試時，R-CNN用的時間長，不能很好的適用于處理實時圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對每個候選區(qū)進行特征提取之后需要將提取的特征向量存入內存，降低訓練測試時間的同時也需要耗費大量內存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡圖像分類方法研究[D].合肥工業(yè)大學，2015.

[2]鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡的深度學習算法與運用研究[D].杭州：浙江工商大學，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡研究綜述[J].計算機應用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

篇2

人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，ANN），是基于人類大腦的生物活動所提出的，是一個數(shù)學模型。它由眾多節(jié)點通過一定的方式互聯(lián)組成，是一個規(guī)模巨大、自適應的系統(tǒng)。其中有一種學習算法是誤差傳遞學習算法即BP算法。BP算法是人工智能最常用到的學習方法，從一定意義上來講，BP算法的提出，終結了多層網(wǎng)絡在學習訓練算法上的空白史，是在實際應用中最有效的網(wǎng)絡訓練方法，對ANN的應用和發(fā)展起到了決定性的作用。

BP算法是使用從輸出層得到的誤差來估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進行，就會獲得其他所有各層的估算誤差。這樣就實現(xiàn)了將從輸出層的得到誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡的輸入端傳遞的過程[1]。但是，BP算法也存在著不可忽視的缺陷?；诖耍撐目偨Y介紹了BP的改進方法。

2 BP算法的基本思想

2.1 BP算法的基本原理

BP算法是有監(jiān)督指導的算法，它的學習訓練過程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過輸出層輸出，中間層對樣本數(shù)據(jù)進行處理操作，利用各層的權值和激活函數(shù)對數(shù)據(jù)進行操作然后在輸出層獲得輸出[2]；接下來就是反向傳遞，算法得到的實際輸出值與期望目標輸出之間必然會有誤差，根據(jù)誤差的大小來決定下一步的工作。如果誤差值較小滿足訓練的精度要求，則認為在輸出層得到的值滿足要求，停止訓練；反之，則將該誤差傳遞給隱藏層進行訓練，按照梯度下降的方式，對權值和閾值進行調整，接著進行循環(huán)，直到誤差值滿足精度要求停止訓練[3]。

3 BP算法的缺陷

盡管BP算法有著顯著的優(yōu)點，但是在實際應用過程中，BP算法會出現(xiàn)很多問題。尤其是下面的問題，對BP神經(jīng)網(wǎng)絡更好的發(fā)展有很大影響。有的甚至會導致算法崩潰。

3.1 收斂速度的問題

BP算法在進行訓練學習時，收斂速度慢，特別是在網(wǎng)絡訓練達到一定的精度時，BP算法就會出現(xiàn)一個長時間的誤差“平原”，算法的收斂速度會下降到極慢[4]。如果盲目的加快收斂速度，則會使算法產(chǎn)生震蕩現(xiàn)象。

3.2 局部極小點問題

在一些初始權值的條件下，BP算法在訓練過程中會陷入局部極值。這是由于BP網(wǎng)絡采用最速下降法，誤差曲面非常復雜且分布著許多局部極值點，一旦陷入，BP算法就很難逃脫，進而會使BP網(wǎng)絡的訓練停止。算法可以在某處得到一個收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會使網(wǎng)絡難以達到事先規(guī)定的誤差精度[5]。

3.3 網(wǎng)絡癱瘓問題

在算法的學習訓練過程中，網(wǎng)絡的權值會變得很大，從而使得節(jié)點的輸入變大，這就會導致其激活函數(shù)的導函數(shù)在改點取得的值很小，接著會導致算法的訓練速度變得極低，最終會導致BP網(wǎng)絡停止收斂，網(wǎng)絡癱瘓。

3.4 步長問題

BP的收斂是建立在無窮小權修改量的基礎上，而這就意味著網(wǎng)絡所需要的訓練時間是無窮的，這顯然是不可取的。因此，要限定權值修改量的值。這主要是因為，如果步長太小，那么網(wǎng)絡的收斂速度就會下降，如果步長太大，就會使BP神經(jīng)網(wǎng)絡產(chǎn)生癱瘓和振蕩。學者們經(jīng)過研究提出一個較好的方法，就是用自適應的步長代替原來的定值步長，以使權值修改量隨著BP網(wǎng)絡的訓練而不斷變化[6]。

4 改進BP算法的方法

BP算法應用廣泛，但它又存在很多缺陷，針對BP算法的問題，國內外許多學者提出各種改進方法，主要的改進方法分為兩類：一是啟發(fā)式改進，如附加動量法和自適應學習率等；二是結合新理論的改進。這些方法在不同程度上提高了網(wǎng)絡的收斂速度，避免了局部最小問題。

4.1 啟發(fā)式改進方法

啟發(fā)式改進方法是建立在BP網(wǎng)絡梯度下降規(guī)則的基礎上，通過對BP神經(jīng)網(wǎng)絡的權值和學習率的改進，從而解決BP網(wǎng)絡在學習訓練過程中遇到的問題。它的核心思想是：使權重的調整量最大限度的適應誤差下降的要求。該文主要介紹了附加動量法。

傳統(tǒng)的BP算法實際上是運用最速下降規(guī)則來搜索最優(yōu)點的算法，該規(guī)則是順著梯度的反方向進行權值的修正，并不將前一階段積累的經(jīng)驗考慮進來。因此會在訓練過程中發(fā)生震蕩，導致收斂速度緩慢。但是將動量項引入到BP網(wǎng)絡中后，當輸入樣本依照順序輸入時，則可以將權值的修正公式看作為以t為變量的時間序列，那么權值的修改公式就改變?yōu)槿缦滤荆?/p>

加入動量項以后若本次。

4.2 BP網(wǎng)絡結構的優(yōu)化

在BP算法中，輸入和輸出節(jié)點的個數(shù)由實際問題確定，網(wǎng)絡結構的優(yōu)化主要是針對隱藏層的節(jié)點數(shù)和層數(shù)。許多研究表明，一個隱藏層就可以解決各種分類問題。那么對于隱藏層節(jié)點的個數(shù)的確定，有的學者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節(jié)點數(shù)，[NI]表示輸入層節(jié)點數(shù)，[NO]表示輸出層節(jié)點數(shù)），但是公式缺乏一定的理論支持，所以目前最好的方法是通過經(jīng)驗和在學習訓練過程中不斷的調整隱藏層節(jié)點數(shù)，最后得到一個合適的網(wǎng)絡結構。

4.3 基于新理論的算法改進

隨著對BP網(wǎng)絡結構知識的研究，能夠更加深刻的理解BP算法誤差傳遞的本質。出現(xiàn)了許多基于新興理論的BP算法的改進，這種改進方式是結合了其它領域比較成功的優(yōu)化算法和理論，比如將遺傳算法與BP算法相結合，將遺傳算法高效的全局尋優(yōu)能力引入進來，利用GA算法來優(yōu)化BP算法的權值和閾值，解決BP神經(jīng)網(wǎng)絡存在容易陷入局部極值和收斂速度慢的問題，兩種算法的結合實現(xiàn)了各自優(yōu)勢的互補，取得了良好的效果[8]；將粒子群優(yōu)化算法用于BP神經(jīng)網(wǎng)絡的學習訓練，使算法更容易找到全局最優(yōu)解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數(shù)學理論、小波理論、混沌算法等相結合。這些改進使得BP神經(jīng)網(wǎng)絡得到更進一步的應用。

5 小結

BP算法是目前在神經(jīng)網(wǎng)絡學習算法中得到最廣泛應用的。該文總結了BP算法的原理，針對BP算法中出現(xiàn)的問題，雖然給出了BP算法的改進方法，但還是有很多不足之處。隨著科學日新月異的發(fā)展，各種新的優(yōu)化算法 不斷的提出，BP算法也會得到更廣泛的發(fā)展。

參考文獻：

[1] 胡彩萍.基于BP神經(jīng)網(wǎng)絡的排序評價算法研究及應用[D].南昌：江西師范大學碩士學位論文，2009.

[2] 劉翔.BP算法的改進及其應用[D].太原：太原理工大學碩士學位論文，2012.

[3] 張璐璐.基于遺傳神經(jīng)網(wǎng)絡的人民幣識別方法研究[D].長春：吉林大學碩士學位論文，2009.

[4] 張波.DRP決策支持系統(tǒng)及小波網(wǎng)絡在其中的應用[D].成都：四川大學碩士學位論文，2006.

[5]付海兵，曾黃麟.BP神經(jīng)網(wǎng)絡的算法及改進[J].中國西部科技，2012，11（8）：1671-6396.

[6] 周羽.紅外圖像人臉識別研究[D].大連：大連理工大學碩士學位論文，2007.

篇3

關鍵詞： BP算法； 入侵檢測； 神經(jīng)網(wǎng)絡； 隨機優(yōu)化算子

中圖分類號： TN915.08?34； TP393.08 文獻標識碼： A 文章編號： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

隨著通信技術和計算機技術的快速發(fā)展，計算機的網(wǎng)絡規(guī)模越來越大，通信系統(tǒng)也越來越復雜，由于計算機網(wǎng)絡本身具有漏洞，同時還有黑客對網(wǎng)絡進行攻擊，因此計算機網(wǎng)絡受到的威脅和攻擊日益增加[1?3]。網(wǎng)絡安全形勢越來越嚴峻。通過入侵檢測技術可收集計算機網(wǎng)絡中的若干關鍵點信息，同時對這些信息進行分析，并對網(wǎng)絡是否遭到襲擊、是否存在違反安全策略行為進行檢查，并做出及時響應，對網(wǎng)絡連接進行切斷并報警等[4?6]。目前傾向于通過入侵檢測技術結合人工智能算法進行相關研究，對于各種入侵行為，采用人工智能算法通過自學習、自適應能力進行識別、檢測[7]。

作為一種重要的模式識別方法，人工神經(jīng)網(wǎng)絡具有自學習、自組織、推廣能力強等特點[8]。在入侵檢測系統(tǒng)中，應用人工神經(jīng)網(wǎng)絡方法可使系統(tǒng)能較好地識別已知攻擊，同時還具有對未知攻擊進行檢測的能力[9]。但是在異常入侵檢測系統(tǒng)中，應用標準BP算法存在收斂局部極小值、學習速度慢等缺點，這在很大程度上影響了入侵檢測系統(tǒng)的性能[10]。本文在對原有BP神經(jīng)網(wǎng)絡算法進行改進的基礎上，研究了優(yōu)化的神經(jīng)網(wǎng)絡BP算法及其在網(wǎng)絡入侵檢測中的應用。

1 BP神經(jīng)網(wǎng)絡

BP神經(jīng)網(wǎng)絡是一種多層前饋神經(jīng)網(wǎng)絡，包括輸入信號前向傳遞和誤差反向傳播兩個過程，在結構上一般由輸入層、隱含層、輸出層三層構成，每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。它被廣泛應用在BP神經(jīng)網(wǎng)絡預測模型中。網(wǎng)絡結構一般只需單個隱含層就能以任意精度逼近任意有理函數(shù)。訓練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡的輸入、輸出層神經(jīng)節(jié)點個數(shù)，典型的只有單個隱含層、單個輸出的BP神經(jīng)網(wǎng)絡結構如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡拓撲結構

圖1中，為BP神經(jīng)網(wǎng)絡的一組輸入向量；為網(wǎng)絡的目標輸出值；為輸入層與隱含層之間的連接權值；為隱含層c輸出層之間的連接權值；分別為隱含層和輸出層的節(jié)點閾值。若設隱含層節(jié)點個數(shù)為則在前向傳遞中，輸入信號向量從輸入層經(jīng)隱含層逐層傳輸，最后到輸出層，通過各層連接權值矢量、閾值矢量和每一層相應的激勵函數(shù)進行計算。得到輸出層的預測輸出值若預測值與目標值之間有誤差，則誤差部分轉入反向逐層傳遞，沿誤差減小方向調整網(wǎng)絡各層連接的權值、閾值。反復執(zhí)行以上過程，使得BP神經(jīng)網(wǎng)絡的預測值不斷逼近實際輸出值。

2 入侵檢測算法

網(wǎng)絡入侵檢測通過分析系統(tǒng)數(shù)據(jù)，一旦有網(wǎng)絡攻擊行為、非授權網(wǎng)絡訪問時，入侵檢測系統(tǒng)就會報警，同時對入侵線路進行切斷。入侵檢測系統(tǒng)應具有監(jiān)視系統(tǒng)、用戶的活動，對系統(tǒng)、用戶活動進行分析，對異常行為模式進行分析，對已知進攻模式進行識別，審計系統(tǒng)弱點、構造，跟蹤管理系統(tǒng)審計，對系統(tǒng)、數(shù)據(jù)文件完整性進行評估，對用戶違反安全策略行為進行識別。常見的攻擊手段目前包括非授權獲得權限、非授權訪問、探測、拒絕服務等。在實際中，這些攻擊手段變異很大，入侵檢測難度較大。BP神經(jīng)網(wǎng)絡具有較強的自學習和自組織能力，經(jīng)過訓練后，對以前觀察到的入侵檢測行為模式，BP神經(jīng)網(wǎng)絡會進行歸納和總結，可識別出已觀察到的攻擊和已知攻擊變異的新攻擊，圖2為網(wǎng)絡的入侵檢測過程。

3 改進的BP神經(jīng)網(wǎng)絡入侵檢測

3.1 BP神經(jīng)網(wǎng)絡用于檢測系統(tǒng)存在的問題

BP神經(jīng)網(wǎng)絡采用分布式存儲，但傳統(tǒng)的BP算法存在一些不足，包括極小的局部，較慢的學習收斂速度，缺乏理論隱含層節(jié)點的選取，已經(jīng)學完樣本會受到新加入樣本的影響，每次樣本的輸入必須具有確定相同的特征數(shù)目。

在入侵檢測中，BP神經(jīng)網(wǎng)絡的實現(xiàn)方式主要是與現(xiàn)有系統(tǒng)結合進行，BP神經(jīng)網(wǎng)絡與應用模式識別系統(tǒng)相結合使用，例如與專家系統(tǒng)結合。在這種方式中，BP神經(jīng)網(wǎng)絡可作為系統(tǒng)組成部分，通常是作為信息過濾模塊或信息預處理模塊，當信息輸入系統(tǒng)后，神經(jīng)網(wǎng)絡會對信息做過濾處理。另外，神經(jīng)網(wǎng)絡可規(guī)則自動生成模塊，進而更新入侵檢測系統(tǒng)規(guī)則庫、模式庫。這種方式的優(yōu)點是能將入侵檢測系統(tǒng)的工作性能提高，缺點是這種方式神經(jīng)網(wǎng)絡的真正優(yōu)勢不能得到充分發(fā)揮。

3.2 改進的神經(jīng)網(wǎng)絡算法

在信號檢測、非線性處理、模式識別等領域，人工神經(jīng)網(wǎng)絡應用較多，這是因為人工神經(jīng)網(wǎng)絡自組織性、自適應性非常好，同時其非線性特性明顯，信息存儲為分布式模式、可進行大規(guī)模的并行處理。實質上BP神經(jīng)網(wǎng)絡算法屬于非線性優(yōu)化的梯度算法，在收斂性上，該算法存在不足，也就是說該算法的學習結果有可能落入到均方誤差全局最小點，也有可能落入到局部極小點，造成算法不收斂，使工作模式陷入錯誤。

入侵檢測系統(tǒng)的主要功能是對入侵計算機網(wǎng)絡的行為和計算機系統(tǒng)進行檢測，包括數(shù)據(jù)聚類、數(shù)據(jù)采集、分析判斷行為、對入侵行為進行響應、報警等。BP網(wǎng)絡各層神經(jīng)元僅連接相鄰層神經(jīng)元；在各層內部，神經(jīng)元間無連接；同時各層神經(jīng)元間也無反饋連接。在信號輸入后，傳播到隱節(jié)點經(jīng)變換函數(shù)再將信息傳播到輸出節(jié)點，經(jīng)過處理，輸出結果。本文將改進的BP 神經(jīng)網(wǎng)絡用于入侵檢測系統(tǒng)，其檢測模型見圖3。

3.2.1 采用自動變速率學習法

傳統(tǒng)BP算法在梯度基礎上，采用最陡下降法LMS學習問題，學習步長為一個較小值，并且這個值是固定不變的，對網(wǎng)絡收斂無益處。因而選擇基于梯度方向自動對學習速率進行調節(jié)。通過梯度對學習方向做最終確定，在梯度方向上，學習步長由速率決定。若相鄰兩次梯度方向是相同的，表明該方向的收斂有利；若相鄰兩次梯度方向是相反的，表明該方向的收斂不穩(wěn)定。根據(jù)這個規(guī)律，通過兩次相對梯度的變化確定學習步長。當兩次梯度為相同方向時，學習步長增大，該方向上學習速度要加快；在兩次梯度為相反方向時，學習步長減小，整個網(wǎng)絡收斂速度要加快，自適應速率調節(jié)方法如下：

（1）

（2）

式中表示在時刻和時刻梯度的乘積。

3.2.2 引入遺忘因子

根據(jù)相鄰兩次梯度變化，通過自適應變速率學習法對學習步長算法進行確定。變化單純學習速率，這時收斂速度不能完全保證，但不會有振蕩產(chǎn)生，因此考慮變速率學習法，在權值調節(jié)量上，加一個量，這個量正比于前幾次的加權，權值調節(jié)量采用式（3）計算：

（3）

式中：表示遺忘因子，引入遺忘因子項，在學習過程中可通過對學習速率進行等效微調的效果進行說明。遺忘因子的作用是緩沖平滑，并使調節(jié)的平均方向朝底部變化。

3.2.3 引入隨機優(yōu)化算子

BP神經(jīng)網(wǎng)絡算法在引入遺忘因子，采用自動變速率學習法后，雖然可微調學習速率，但BP神經(jīng)網(wǎng)絡的不足和限制仍存在，為了進一步對BP神經(jīng)網(wǎng)絡進行優(yōu)化，本文引入隨機優(yōu)化算子，當網(wǎng)絡權值誤差迭代達到一定次數(shù)后，收斂不明顯或連續(xù)幾次發(fā)生系統(tǒng)誤差函數(shù)梯度變化，這種情況表明網(wǎng)絡進入疲乏狀態(tài)，要借助外界推動力對網(wǎng)絡進行激活。當出現(xiàn)這兩種情況時，與權值維數(shù)相同的隨機數(shù)就產(chǎn)生了，直接將權值和隨機數(shù)相加，對系統(tǒng)誤差變化進行判斷，若誤差未降低，繼續(xù)產(chǎn)生隨機數(shù)，進行權值修改，當誤差出現(xiàn)減少時停止，然后再從新權值繼續(xù)開始BP算法，隨機優(yōu)化算子可隨機變化搜索方向，局部極小點就擺脫掉了，圖4為改進的BP算法流程圖。

4 仿真實驗

本文的仿真實驗在Matlab 7.0實驗平臺進行，以此來驗證提出改進的BP神經(jīng)網(wǎng)絡算法是否能達到較好的效果，本文同時給出采用未改進的BP算法網(wǎng)絡入侵檢測和改進的BP神經(jīng)網(wǎng)絡算法網(wǎng)絡入侵檢測模型仿真實驗結果。

圖5為兩種算法得到的訓練精度。從兩種算法的實驗仿真結果可看出，將改進的BP神經(jīng)網(wǎng)絡算法用于入侵檢測，速度快、易收斂，目標精度0.02很快達到。在規(guī)定周期內，未改進的BP算法不能達到規(guī)定的目標精度，易陷入局部極小，本文提出的改進的BP算法所用訓練周期較短，學習時間縮短顯著，效果良好。

評價檢測模型的標準為漏報率、誤報率、檢測率，其定義分別如下：

表1為未改進的BP算法與改進的BP算法的比較結果，從表1中可看出，改進的BP神經(jīng)網(wǎng)絡算法的檢測率、漏報率、誤報率分別為96.17%，3.83%，4.15%，檢測率比未改進的BP算法要高出11.65%，漏報率比未改進的BP算法要低10.66%，誤報率比未改進的BP算法要低4.07%。

表1 兩種算法的入侵檢測結果

[算法 訓練周期 /s 檢測率 /% 漏報率 /% 誤報率 /% 基本BP算法 480 84.52 14.49 8.22 改進的BP算法 480 96.17 3.83 4.15 ]

5 結 語

本文在對原有BP 神經(jīng)網(wǎng)絡算法進行改進的基礎上，研究了改進優(yōu)化的BP神經(jīng)網(wǎng)絡算法及其在網(wǎng)絡入侵檢測中的應用。通過分析BP神經(jīng)網(wǎng)絡用于檢測系統(tǒng)存在的問題，在傳統(tǒng)BP算法基礎上，采用自動變速率學習法，引入遺忘因子、隨機優(yōu)化算子，并將其用于網(wǎng)絡入侵檢測系統(tǒng)。仿真實驗表明，改進的BP神經(jīng)網(wǎng)絡算法用于入侵檢測，速度快易收斂，目標精度0.02很快達到。本文算法具有明顯的優(yōu)越性，各種入侵行為檢測率得到明顯提高，系統(tǒng)誤報率也降低了，入侵檢測系統(tǒng)性能得到有效改進，本文算法優(yōu)越性明顯。

參考文獻

[1] 宋玲，常磊.變異粒子群優(yōu)化的BP神經(jīng)網(wǎng)絡在入侵檢測中的應用[J].智能系統(tǒng)學報，2013，8（6）：558?563.

[2] 劉伉伉，謝福，郭雪雪.基于BP神經(jīng)網(wǎng)絡的云計算入侵檢測技術研究[J].計算機與數(shù)字工程，2014（12）：2357?2361.

[3] 黃煜坤.基于BP神經(jīng)網(wǎng)絡算法的入侵檢測技術[J].電子制作，2015（10）：60?62.

[4] 沈夏炯，王龍，韓道軍.人工蜂群優(yōu)化的BP 神經(jīng)網(wǎng)絡在入侵檢測中的應用[J].計算機工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神經(jīng)網(wǎng)絡建模研究[J].裝備制造技術，2014（1）：162?164.

[6] 王俊士，李江濤.一種改進的BP神經(jīng)網(wǎng)絡算法在入侵檢測中的應用[J].電腦知識與技術，2014，10（3）：614?617.

[7] 顏謙和，顏珍.遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡入侵檢測系統(tǒng)[J].計算機仿真，2011，28（4）：141?144.

[8] 汪潔.基于神經(jīng)網(wǎng)絡的入侵z測系統(tǒng)的設計與實現(xiàn)[J].計算機應用與軟件，2013（5）：320?322.

篇4

為降低神經(jīng)網(wǎng)絡的冗余連接及不必要的計算代價，將量子免疫克隆算法應用于神經(jīng)網(wǎng)絡的優(yōu)化過程，通過產(chǎn)生具有稀疏度的權值來優(yōu)化神經(jīng)網(wǎng)絡結構。算法能夠有效刪除神經(jīng)網(wǎng)絡中的冗余連接和隱層節(jié)點，并同時提高神經(jīng)網(wǎng)絡的學習效率、函數(shù)逼近精度和泛化能力。該算法已應用于秦始皇帝陵博物院野外文物安防系統(tǒng)。經(jīng)實際檢驗，算法提高了目標分類概率，降低了誤報率。

關鍵詞：神經(jīng)網(wǎng)絡；量子免疫克隆算法；目標分類；冗余連接；網(wǎng)絡優(yōu)化

中圖分類號： TP273

文獻標志碼：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神經(jīng)網(wǎng)絡已經(jīng)被廣泛地應用于模式分類、函數(shù)逼近、信號預測等各種領域，是近年來的研究熱點之一[1-2]。在應用過程中，研究人員發(fā)現(xiàn)，當神經(jīng)網(wǎng)絡的規(guī)模過大會產(chǎn)生連接數(shù)量冗余大、計算代價過高的問題，降低了大規(guī)模神經(jīng)網(wǎng)絡的實用性。針對此問題，研究人員提出了多種方法在保持神經(jīng)網(wǎng)絡的前提下優(yōu)化神經(jīng)網(wǎng)絡的結構和參數(shù)權值。Leung等[3-4]改進了傳統(tǒng)的遺傳算法（Genetic Algorithm， GA）并將其應用于神經(jīng)網(wǎng)絡的結構和權值優(yōu)化過程，利用遺傳算法的快速收斂性來提高神經(jīng)網(wǎng)絡的學習速度，其缺點在于當目標函數(shù)維數(shù)過大時容易陷入局部最優(yōu)。Xiao等[5]使用混合優(yōu)點（Hybrid Good Point， HGP）優(yōu)化前向神經(jīng)網(wǎng)絡的參數(shù)和結構，避免權值陷入局部最優(yōu)，但其對網(wǎng)絡結構的優(yōu)化沒有達到最優(yōu)。Shu等[6]提出正交模擬褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的優(yōu)點來同時優(yōu)化神經(jīng)網(wǎng)絡結構和參數(shù)，其算法收斂速度快、魯棒性好，缺點則在于計算代價較大。杜文莉等[7]提出了使用量子差分進化（Cooperative Quantum Differential Evolution， CQGADE）算法來優(yōu)化神經(jīng)網(wǎng)絡權值，使用量子遺傳算法優(yōu)化網(wǎng)絡結構和隱層節(jié)點數(shù)，算法綜合了量子遺傳算法和量子差分算法的優(yōu)點，收斂速度快，但其缺點在于需要同時協(xié)同兩種算法的優(yōu)化結果，算法復雜度較高，且容易陷入局部最優(yōu)。Tsai等[8]提出混合田口遺傳算法（Hybrid Taguchi Genetic Algorithm， HTGA），將傳統(tǒng)的GA與Taguchi方法結合起來，使得算法具有魯棒性好、收斂性快等優(yōu)點，但其缺點在于獲得最優(yōu)解的計算代價較大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也稱為量子遺傳算法（Quantum Genetic Algorithm， QGA），其將量子搜索機制和免疫算法克隆選擇原理相結合，利用量子編碼的疊加性和隨機性構造抗體，利用遺傳算法的克隆操作產(chǎn)生原始種群和克隆子群實現(xiàn)種群擴張，使搜索空間擴大，提高了局部搜索能力；同時借助全干擾交叉操作避免陷入局部最優(yōu)。QICA采用了多狀態(tài)量子比特編碼方式和通用的量子旋轉門操作， 引入動態(tài)調整旋轉角機制和量子交叉[11]。QICA在組合優(yōu)化問題中具有良好的表現(xiàn)。

針對上述問題，提出了使用量子克隆免疫算法對神經(jīng)網(wǎng)絡的結構和連接權值同時進行優(yōu)化，通過產(chǎn)生具有一定稀疏度的連接權值對網(wǎng)絡隱層數(shù)量和連接權值進行優(yōu)化，提高了算法的效率和收斂速度，避免了算法陷入局部最優(yōu)。

1 帶開關權值的神經(jīng)網(wǎng)絡模型

在經(jīng)典的神經(jīng)網(wǎng)絡理論中，網(wǎng)絡結構在初始化后便不再變動，僅通過權值的變化來計算產(chǎn)生結果，這種算法增加了神經(jīng)網(wǎng)絡的結構復雜性，在實際應用中增加了計算結果的代價。Leung等[3-4]提出了帶開關權值的神經(jīng)網(wǎng)絡，通過調整開關的通斷就能調整神經(jīng)網(wǎng)絡的結構和連接數(shù)量，從而減少計算代價。帶開關權值的神經(jīng)網(wǎng)絡模型如圖1所示[7]。

2.2 權值計算及優(yōu)化方法

根據(jù)量子克隆免疫理論，將神經(jīng)網(wǎng)絡權值計算及優(yōu)化過程分為以下四個過程。

2.2.1 權值抗體初始化

量子克隆免疫算法是基于量子計算和遺傳算法組成的，其抗體的編碼方式采用量子比特編碼。一個抗體中的量子位的狀態(tài)是不確定的，可以為0或1，其狀態(tài)表示為式（5）：

3.1 算法復雜度分析

量子克隆免疫算法的實質是通過量子理論的隨機特性提供豐富的種群數(shù)量，并通過使用遺傳算法對種群進行淘汰和進化，因此其算法的復雜度等于種群生成算法的復雜度：假設神經(jīng)網(wǎng)絡有x個輸入，其隱層節(jié)點數(shù)量為N，輸出為y，則網(wǎng)絡中的輸入與隱層節(jié)點間的連接權值ω的數(shù)量為：x*N，隱層節(jié)點與輸出層的連接權值v的數(shù)量為：N*y。種群生成需要對所有節(jié)點進行權值初始化，并將隨機位置的n（nN）個節(jié)點的權值設置為0， 其算法復雜度為O（n2）。而克隆免疫算法在種群克隆及抗體選擇過程中使用遺傳算法，因此其算法的復雜度與傳統(tǒng)遺傳算法相同，其算法復雜度也為O（n2）。因此，使用量子免疫克隆的神經(jīng)網(wǎng)絡優(yōu)化算法的復雜度為O（n2）。

3.2 非線性函數(shù)逼近

選取復雜交互非線性函數(shù)（Complicated Interaction Function，CIF）：

其中0

選取樣本700組，其中500組用于訓練，其余200組用于檢測性能。神經(jīng)網(wǎng)絡的初始隱層神經(jīng)元設置為20個，初始網(wǎng)絡結構為：2-20-1，初始連接權值為隨機值。在此條件下驗證不同稀疏度條件下對CIF的二維逼近效果如圖3所示。

圖3顯示隨著稀疏度的不斷降低，神經(jīng)網(wǎng)絡的逼近能力有所減弱，逼近誤差則逐漸增大。這主要是因為神經(jīng)網(wǎng)絡中的連接權值數(shù)量降低，造成神經(jīng)網(wǎng)絡的適應性差。具體逼近效果見表2。

從表2中可以看出，隱層節(jié)點數(shù)量直接影響著神經(jīng)網(wǎng)絡的性能。高稀疏度條件下的計算量大，但逼近精度高；低稀疏度條件下的計算量小，但逼近精度較差。實驗表明當稀疏度大于0.6時，算法的逼近精度高于90%，優(yōu)化后的網(wǎng)絡具有較好的非線性逼近能力。當神經(jīng)網(wǎng)絡隱層節(jié)點數(shù)量低于12時逼近精度大幅下降，說明此時神經(jīng)網(wǎng)絡處理信息的能力也隨之大幅減弱，隱層節(jié)點的最合適的數(shù)量為12～14個，這也符合文獻[14]的實驗結果。

圖4為不同稀疏度下，算法適應度的收斂情況。可以看出量子克隆免疫算法具有很好的收斂特性，算法收斂速度很快，能夠在很短的進化次數(shù)內收斂至極值，且稀疏度越低，神經(jīng)網(wǎng)絡的連接權值數(shù)量越少，算法收斂速度越低，最優(yōu)適應度越差。

表3為相同條件下，不同算法的最優(yōu)計算結果，包括目標分類的準確度、隱藏層節(jié)點數(shù)量等?？梢钥闯?，當稀疏度高于0.8時，本文算法收斂性和適應度均優(yōu)于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）[16]、混合田口遺傳算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，說明算法具有很好的收斂速度、尋優(yōu)精度和魯棒性。

3.3 微地震信號目標分類

實驗場地選擇在秦始皇兵馬俑博物館內K9901號坑旁。所有傳感器節(jié)點沿公路一側直線部署，距離公路1m左右。可能產(chǎn)生地震波的活動物體包括人員行走、機動車和挖掘活動。將采集到的微地震信號進行濾波、分幀、特征提取等處理后輸入至神經(jīng)網(wǎng)絡進行模式識別。

系統(tǒng)對傳感器采集到的數(shù)據(jù)進行分幀，并使用功率譜二次分析[17]算法對其進行處理，最后將經(jīng)過預處理的數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡對其進行分類。根據(jù)其活動特點，將輸出目標分為三類：人員活動、挖掘活動以及機動車輛活動。傳感器采集到的三類活動的經(jīng)典波形如圖5所示。

表6中給出了算法的最優(yōu)計算結果，包括不同稀疏度條件下神經(jīng)網(wǎng)絡的隱藏層節(jié)點數(shù)量、最優(yōu)適應度以及分類準確率等。可以看出，算法能夠有效減少冗余的隱藏層節(jié)點數(shù)量，并降低節(jié)點連接數(shù)量。算法的稀疏度越高，其適應度越好，其分類的準確性越好，但稀疏度高帶來的則是計算代價增大、計算復雜度增加。當稀疏度低于0.7時，算法的適應度變差，目標的識別率為90%，在實際應用過程中帶來了誤判率較高的問題，降低了實用性。因此在秦始皇帝陵博物院野外文物安防系統(tǒng)中使用了稀疏度為0.7的算法對模式識別的神經(jīng)網(wǎng)絡進行優(yōu)化。

4 結語

本文提出了基于量子免疫克隆算法的神經(jīng)網(wǎng)絡優(yōu)化算法，該算法在訓練神經(jīng)網(wǎng)絡優(yōu)化權值的同時刪除了冗余連接和多余的隱層節(jié)點，實現(xiàn)了神經(jīng)網(wǎng)絡結構和網(wǎng)絡權值的優(yōu)化。通過經(jīng)典非線性函數(shù)逼近和目標識別檢驗，算法能夠有效地優(yōu)化神經(jīng)網(wǎng)絡，提高神經(jīng)網(wǎng)絡的優(yōu)化效率，減少計算復雜度。使用優(yōu)化后的神經(jīng)網(wǎng)絡已經(jīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)中。

參考文獻：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（喬輝，周雁舟，邵楠，等.基于學習向量量化神經(jīng)網(wǎng)絡的軟件可靠性預測[J].計算機應用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，鄧永紅，張全柱，等.小波神經(jīng)網(wǎng)絡模型的確定性預測及應用[J].計算機應用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，趙亮，等. 基于量子差分進化算法的神經(jīng)網(wǎng)絡優(yōu)化方法[J].清華大學學報：自然科學版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周傳華，錢峰.改進量子遺傳算法及其應用[J].計算機應用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周綺，姜淑娟，趙雪峰，等.改進的量子遺傳算法及其在測試數(shù)據(jù)生成中的應用[J].計算機應用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韓紅桂，喬俊飛，薄迎春，等.基于信息強度的RBF神經(jīng)網(wǎng)絡結構設計研究[J].自動化學報， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（趙亮.基于協(xié)同PSO算法的模糊辨識與神經(jīng)網(wǎng)絡學習[D].上海：上海交通大學，2008.）

篇5

關鍵詞： ATR2神經(jīng)網(wǎng)絡； 警戒值； 模式漂移； 模式識別

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神經(jīng)網(wǎng)絡的輸入為任意模擬輸入矢量，所以它有非常廣泛的應用范圍，通過對警戒值的調整，ART2神經(jīng)網(wǎng)絡可以對輸入的模擬矢量進行不同精度的分類。ART2是基于自適應諧振理論的一種自組織神經(jīng)網(wǎng)絡，通過競爭學習和自穩(wěn)機制原理實現(xiàn)分類，它主要是為了解決下列問題而提出的：設計一個學習系統(tǒng)，同時擁有穩(wěn)定性和可塑性，即系統(tǒng)在不斷學習新知識的時候能保持原有的知識[1?2]。

迄今為止，基于ART網(wǎng)絡的模式分類方法有很大發(fā)展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類和自適應模式分類方法[3?4]。

傳統(tǒng)的自適應諧振神經(jīng)網(wǎng)絡也存在著一些缺陷，主要體現(xiàn)在：傳統(tǒng)的ART神經(jīng)網(wǎng)絡在網(wǎng)絡訓練前要給出警戒參數(shù)，該警戒參數(shù)對于網(wǎng)絡聚類結果具有直接的影響。當警戒參數(shù)較高時，ART系統(tǒng)對模式的相似性要求就越高，類的劃分就越細，形成的類別就越多；當警戒參數(shù)較低時，網(wǎng)絡有較強的容錯能力，因此就產(chǎn)生較少的分類數(shù)目[5?6]。

由于傳統(tǒng)的ART2網(wǎng)絡在對輸入模式識別分類時，會產(chǎn)生模式漂移現(xiàn)象，從而無法實現(xiàn)更準確的分類。對部分權值的修正放慢學習速度，將改善模式漂移現(xiàn)象。

1 ART2神經(jīng)網(wǎng)絡的結構和原理

1.1 ART2神經(jīng)網(wǎng)絡結構

ART2系統(tǒng)由定向子系統(tǒng)OS和注意子系統(tǒng)AS構成，注意子系統(tǒng)AS由感受層SL和反應層RL和控制增益GC組成，既有短時記憶[OS（t）]和[OR（t）]，又有長時記憶，包括自低向上的長時記憶[Ω（SR）]和自頂向下的長時記憶[Ω（RS）]。作為神經(jīng)計算的模型，ART2系統(tǒng)是由人工神經(jīng)元形成的系統(tǒng)。感覺神經(jīng)元構成了系統(tǒng)的感受層，而反應神經(jīng)元構成了系統(tǒng)的反應層，ART2網(wǎng)絡的結構如圖1所示。

圖1 ART2神經(jīng)網(wǎng)絡基本結構

在系統(tǒng)中，各感覺神經(jīng)元之間的聯(lián)結關系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之間的聯(lián)結關系式對應元素之間的聯(lián)結，因而，其聯(lián)結關系矩陣[Dij（i，j∈{a，b，c，d，e，f}）]均為對角矩陣。

在感受層SL中，只有子集[SLa（V（s）a）]可以接受外部輸入信號[x]，另外只有子集[SLe（V（S）e）]的狀態(tài)向量[OSe]能作為系統(tǒng)感受層SL的輸出，用于系統(tǒng)的反應層RL[3]。

1.2 ART2神經(jīng)網(wǎng)絡的工作原理

1.2.1 參數(shù)及聯(lián)結權值初始化

所有神經(jīng)元的輸出置0向量，計數(shù)器初始值為[C=0]；SL層從下到上的長時記憶初始為：

[Ω（SR）=0.5（1-α3）?mnm]

RL層從上到下的長時記憶初始為：

[Ω（RS）=（0）mn]

各參數(shù)確定為：

[α1>0， α2>0，0

1.2.2 計算步驟

ART2網(wǎng)絡的運行按照如下的步驟進行：

（1） [SLa]運算：

[O（S）a=x+α1O（S）d]

（2） [SLb]運算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]運算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]時[f（x）=x]，[x≤α3]時[f（x）=0]。

（4） [SLd]運算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]運算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]運算：

[O（S）f=O（S）eε+O（S）e]

（7） SL測試：如果短時記憶[O（S）i（i∈a，b，c，d，e，f）]沒有達到穩(wěn)定狀態(tài)，轉到步驟（11）。

（8） 計數(shù)和轉移：如果[C=0]，轉到步驟（11）。

（9） OS運算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 復位操作：如果復位信號[r=1]，則置[O（S）k=0]，抑制[v（R）k]到ART2系統(tǒng)達到“諧振”狀態(tài)，重置短時記憶[OS=0]和[C=0]，轉到步驟（1）；否則[r=0]，轉向步驟（14）。

（11） RL運算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的單元[v（R）k]記作競爭獲勝單元。

（12） 引發(fā)期待：[Ω（RS）Tω（RS）k]。

（13） 計數(shù)和轉移：[C=C+1]，轉向步驟（5） 。

（14） 諧振：[r=1]說明[x]與[ω（RS）k]匹配，ART2系統(tǒng)達到諧振狀態(tài)，ART2快速學習機制啟動。

（15） 前饋學習：更新前饋聯(lián)結關系[Ω（SR）]的第[k]個列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反饋學習：更新反饋聯(lián)結關系[Ω（RS）]的第[k]個行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停機條件：若對于任意輸入[x]，[Ω（RS）]和[Ω（SR）]都是穩(wěn)定的，ART2系統(tǒng)停止運行；否則刪除輸入模式，RL中所有被抑制的反應神經(jīng)元恢復起始，重置短時記憶[OR=0]和[OS=0]，重置計數(shù)器[C=0]。

2 改進的ART2神經(jīng)網(wǎng)絡

在上述傳統(tǒng)的ART2神經(jīng)網(wǎng)絡算法中對于警戒值[ρ]的選擇是根據(jù)經(jīng)驗所得，這里提出了一種在神經(jīng)網(wǎng)絡計算前對[ρ]的選取算法。同時為了解決模式漂移的問題，對ART2神經(jīng)網(wǎng)絡中F2至p層和p層至F2層的權值進行修改，減緩學習速率，從而可以有效地減少模式漂移帶來的誤差[7]。

2.1 具體算法描述

（1） 設置警戒參數(shù)初值ρ，開始設置接近l，在初始聚類時，對于接近的輸人向量也會在這個過程進行融合，每個差異較大的輸入向量就會產(chǎn)生一個類別。

（2） 由于ART2模型的輸出端是一維陣列，可按神經(jīng)元模值將神經(jīng)元放置在x軸上，以模值大小順序對輸出層神經(jīng)元的位置進行重新排列，以模值為判斷依據(jù)，同時對自頂向下和自低向上權重矩陣進行調整。

（3） 在解決漂移模式問題中，模式漂移現(xiàn)象主要

原因是權值的修正方法不準確引起的，在傳統(tǒng)的ART2算法中，權值修正公式在每次輸入模式結束時，權值都近似等于[O（S）d1-α4]，在學習新的模式之后容易遺忘已經(jīng)學過的輸入模式，權值總是向當前的輸入數(shù)據(jù)靠近。所以對ART2神經(jīng)網(wǎng)絡中F2至p層和p層至F2層的權值進行修改，減緩學習速率，修正后的權值為：

從F2層到p層的權值為：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

從p層到F2層的權值為：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具體算法步驟

加入警戒值選擇和權值修改后的改進ART2神經(jīng)網(wǎng)絡算法如下：

（1） ρ=ρ-del ；del為警戒參數(shù)遞減值；

（2） 將第k次迭代神經(jīng)網(wǎng)絡輸出層的每一個神經(jīng)元代表的類別向量組成第k+1次迭代神經(jīng)網(wǎng)絡的輸入向量樣本集X（k+1）；

（3） 按序輸入X（k）樣本集中每個向量，訓練的算法按照步驟（4）整個過程；

（4） 在傳統(tǒng)ART2神經(jīng)網(wǎng)絡學習中的對步驟（15），步驟（16）進行修改如下：

步驟（15） 前饋學習：更新前饋自適應聯(lián)結關系[Ω（SR）]的權值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步驟（16） 反饋學習：更新反饋自適應聯(lián)結關系[Ω（RS）]的權值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機條件不變。

3 實驗及其結果分析

為了驗證算法改進后的分類效果，對傳統(tǒng)ART?2神經(jīng)網(wǎng)絡算法和改進后的算法進行了實驗比較[8?10]。本文采用實際數(shù)據(jù)做為測試數(shù)據(jù)。實際數(shù)據(jù)采用來自美國加州Irvine大學信息與計算機科學系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學元素情況，記錄中包含了處理過與非處理過的建筑用窗戶、處理過與非處理過的貨車窗戶、容器、餐具以及車燈共7種類別，而在G1ass數(shù)據(jù)中則有9種不同的化學元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學元素的含量

在進行ART2神經(jīng)網(wǎng)絡的訓練時候，對于參數(shù)設為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經(jīng)網(wǎng)絡程序運行結果， 與數(shù)據(jù)集中正確分類進行對比之后，發(fā)現(xiàn)以前ART2網(wǎng)絡由于模式漂移和警戒參數(shù)人工設置問題設置產(chǎn)生了10個分類，產(chǎn)生了較大分錯率。由改進的ART2網(wǎng)絡下運行結果顯示降低了這些問題的影響，只產(chǎn)生了8個分類，而且在每一類的分類中，改進后的神經(jīng)網(wǎng)絡可以更好地對每一組數(shù)據(jù)進行正確的分類。如表2所示。

表2 傳統(tǒng)神經(jīng)網(wǎng)絡和改進后神經(jīng)網(wǎng)絡的分類比較

4 結 語

針對本文中摘要提出的警戒值選取問題，在改進的ART2神經(jīng)網(wǎng)絡聚類算法中，利用以前警戒參數(shù)訓練神經(jīng)網(wǎng)絡結果的基礎上迭代，改變了神經(jīng)網(wǎng)絡主觀設定警戒參數(shù)的問題。針對模式漂移的問題，通過改進聯(lián)結權值，使改進后的ART2神經(jīng)網(wǎng)絡網(wǎng)絡減慢了學習速率，近而降低了模式漂移的速度。實驗證明，在改進選取警戒值和對聯(lián)結權值修改后的ART2神經(jīng)網(wǎng)絡更好地實現(xiàn)了聚類分類，同時提高了模式識別的精度。

參考文獻

[1] 陳國燦，高茂庭.ATR2神經(jīng)網(wǎng)絡的一種改進[J].計算機工程與應用，2013（4）：2?3.

[2] 沈艷超，葉青.車輛特征提取和分類方法的研究[D].長沙：長沙理工大學，2010.

[3] 阮曉剛.神經(jīng)計算科學[M].北京：國防工業(yè)出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢曉東，王正歐.基于算法改進的ART2數(shù)據(jù)聚類方法研究[J].哈爾濱工業(yè)大學學報，2006（9）：1549?1553.

[6] 錢曉東，王正歐.基于神經(jīng)網(wǎng)絡等技術的數(shù)據(jù)與文本聚分類研究[D].天津：天津大學，2005.

[7] 譚錦華，鄺獻濤.基于ART2神經(jīng)網(wǎng)絡與動態(tài)聚類的分類器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經(jīng)網(wǎng)絡的缺點及其改進[J].儀器儀表用戶，2008（2）：117?118.

篇6

關鍵詞：字符識別；BP神經(jīng)網(wǎng)絡；車牌識別

中圖分類號：TP391.41 文獻標識碼：A

1 引言（Introduction）

汽車牌照的識別是計算機視覺與模式識別應用于的重要研究課題，車牌識別的準確率和高效性是識別的關鍵。由于車牌圖像難免會受到光照、天氣等因素影響，車牌圖像質量會有所下降，為了對車牌字符的進行有效地識別，首先要對其進行去噪、增強等預處理，之后應用識別算法對其進行識別[1]。本文研究了用BP神經(jīng)網(wǎng)絡方法對汽車牌照字符的識別算法。首先對分割、歸一化后的字符特征進行提取，所提取的特征向量記錄的就是字符的特征。把這個特征向量送到BP網(wǎng)絡中進行訓練，就可以得到訓練好的權值，用這個權值對車牌字符進行識別。對于車牌圖像的識別率達90%以上，表明該方法是有效的。

2 字符識別的原理（The principle of character

recognition）

字符識別的基本原理即對字符進行匹配識別。提取代表未知字符基本特征、結構的樣本庫和提前在計算機中保存的標準字符的字典（字符基本特征和結構的集合），在一定的規(guī)則下逐個匹配比較。在計算機中保存的標準字符的字典中，尋找與輸入字符樣本最相似的表達項，然后找出對應的字符就是識別的結果[2]。字符識別的原理框圖如圖1所示。

3 BP神經(jīng)網(wǎng)絡字符識別算法（The BP neural network

character recognition algorithm）

BP算法基本原理是利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計[3]。對BP網(wǎng)絡的設計要點是高效率的特征提取方法、具有代表性的大量訓練樣本和穩(wěn)定高效的學習方法。

3.1 BP神經(jīng)網(wǎng)絡學習算法

算法的基本流程就是：

（1）設置變量和參量，包括輸入向量（訓練樣本和樣本個數(shù)）、每次迭代中輸入層和隱含層之間、隱含層與隱含層之間、隱含層與輸出層之間的權值向量矩陣、迭代次數(shù)、每次迭代的實際輸出、期望輸出和學習效率。

（2）隨機初始化權值矩陣。給三類權值矩陣賦一個相對較小的隨機非零值。

（3）進行樣本輸入。采用隨機輸入的方法。

（4）前向傳播。按照公式一層一層的前向計算隱藏神經(jīng)元和輸出神經(jīng)元的輸入和輸出。

（5）誤差計算，判斷。根據(jù)每次迭代的期望值和實際輸出結果算出誤差，判斷誤差值滿足要求與否，如果滿足進行第8步，否則進行下一步。

（6）迭代次數(shù)判斷。如果已經(jīng)達到最大的迭代次數(shù)，則進行第8步，否則進行反響傳播，即反向按照公式一層層迭代計算每層神經(jīng)元的局部梯度。

（7）權值更新。依據(jù)反向傳播過程計算出的局部梯度值，計算出各矩陣的權值修正值，并進行修正。

（8）終止判斷。終止條件為：所有的樣本都學習完成。否則進行第3步。

3.2 實際使用BP神經(jīng)網(wǎng)絡過程中的一些問題

①樣本的處理。可適當放寬輸出條件，例如當輸出大于0.9時就當作是1，輸出小于0.1時當作0。對于輸入樣本，也應該進行歸一化處理。

②初始化權值的選擇。權值的不同對學習結果會產(chǎn)生影響，因此選擇一個相對比較合理的權值是非常重要的。實際使用時，應該用較小的隨機數(shù)來對權值進行初始化，隨機數(shù)的大小的分布也應該是均勻的。

③學習率的選擇。神經(jīng)網(wǎng)絡中有一個學習率的概念，為了保證系統(tǒng)的穩(wěn)定性，通常應該取較小的學習率，一般選取范圍在0.01―0.8。如果學習率過大，可能會導致系統(tǒng)不穩(wěn)定。如果學習率過小，會使得學習時間變長，收斂也會變慢。

3.3 BP神經(jīng)網(wǎng)絡應用過程

BP神經(jīng)網(wǎng)絡應用過程如圖2所示。

3.4 BP網(wǎng)絡三個層的神經(jīng)元數(shù)目的確定

目前還沒有什么成熟的定理能確定各層神經(jīng)元的神經(jīng)元個數(shù)和含有幾層網(wǎng)絡，大量經(jīng)驗表明，三層的網(wǎng)絡可以逼近任意一個非線性網(wǎng)絡。

首先，使用已知的樣本對BP網(wǎng)絡進行訓練。對于輸入層的結點，其數(shù)目是之前車牌圖像預處理后輸出特征的維數(shù)。

對于隱含層的結點數(shù)目，一般情況下，隱含層神經(jīng)元數(shù)目和BP網(wǎng)絡精確度成正比，數(shù)目越多，神經(jīng)網(wǎng)絡的訓練時間也會越長。但是，當隱含層神經(jīng)元數(shù)目過大時，識別的準確率就會受到影響，同時也會使得網(wǎng)絡的抗噪聲能力下降[4]。綜合考慮上述情況，根據(jù)以往經(jīng)驗，使用10個隱含層的神經(jīng)元。

對于輸出層結點數(shù)目，受輸入層結點數(shù)的約束。本文中，我們采用8421碼對數(shù)字0―9，字母A―Z，省名簡稱“京津滬冀魯豫鄂蘇皖晉湘桂閩川浙甘寧陜吉遼臺”依次進行編碼。例如，對于輸出“1”，表示為（0，0，0，0，0，1），對于輸出“A”，表示為（0，0，1，0，1，0），對于輸出“京”，表示為（1，0，0，1，0，0）。因此，采用6個輸出層神經(jīng)元。

然而，實驗中發(fā)現(xiàn)，當使用上述結構的標準輸出向量時，會出現(xiàn)BP神經(jīng)網(wǎng)絡無法收斂的問題。原因在于BP網(wǎng)絡學習中采用的激活函數(shù)的輸出只可能無限接近1或0，但不會是1或0。針對這個問題，對標準輸出向量的編碼方式進行如下調整：用0.1代替0，用0.9代替1。即對于輸出“0”，表示為（0.1，0.1，0.1，0.1，0.1，0.1），對于輸出“1”，表示為（0.1，0.1，0.1，0.1，0.1，0.9），對于輸出“A”，表示為（0.1，0.1，0.9，0.1，0.9，0.1），對于輸出“京”，表示為（0.9，0.1，0.1，0.9，0.1，0.1），以此類推。

3.5 BP神經(jīng)網(wǎng)絡識別字符的流程

使用BP神經(jīng)網(wǎng)絡進行字符識別，實際上可看作是訓練和識別兩個過程。其中，訓練就是提取訓練樣本的特征向量。第一步，將挑選好的圖像形式的已知數(shù)據(jù)作為訓練樣本，這些已知數(shù)據(jù)能夠很好的反應樣本的可分性。第二步，在訓練樣本圖像經(jīng)過進行特征提取操作后送入BP網(wǎng)絡中進行訓練。訓練之前，要提前輸入一系列訓練參數(shù)。

經(jīng)過BP網(wǎng)絡的訓練后，就可以用其對待識別數(shù)據(jù)進行識別。待識別數(shù)據(jù)在經(jīng)過灰度化、二值化、歸一化、分割等預處理操作后，再經(jīng)過特征向量提取，最后在BP網(wǎng)絡中進行識別，得出識別結果。

3.6 實驗結果

實驗中采用了在不同環(huán)境下拍攝到的100張車牌圖像，這些牌照的清晰程度、區(qū)域大小都不相同，按照前文所述BP神經(jīng)網(wǎng)絡算法進行模擬實驗。根據(jù)表1所示識別結果，由于個別字母與數(shù)字之間有相似之處，導致其識別率相對較低，分別為95.9%、96.2%。而車牌中漢子字符數(shù)量很少，且特征相對比較明顯，使得其識別率相對較高，實驗結果為98.0%。

4 結論（Conclusion）

基于BP神經(jīng)網(wǎng)絡的車牌字符識別方法，對于比較清晰的車牌圖像，本方法能有效識別其中的字符，但對于較低解析度和較為模糊的車牌還需要進行很多預處理的工作，因為必須將車牌中的字符獨立地被分割后，才能用該方法進行識別。而事實上，在那些圖像不夠清晰的車牌上分割出獨立的字符也是特別困難的。雖然，BP神經(jīng)網(wǎng)絡在識別效果上提高的余地較大，具有較強的容錯能力，還可進一步訓練學習，識別率較高，但其識別速度較慢，不能滿足實時性的要求。

參考文獻（References）

[1] 郭榮燕，胡雪惠.BP神經(jīng)網(wǎng)絡在車牌字符識別中的應用[J].計

算機仿真，2010（9）：299-301；350.

[2] 劉靜.幾種車牌字符識別算法的比較[J].電腦與電信，2008（8）：

72-73；78.

[3] 石云.BP神經(jīng)網(wǎng)絡的Matlab實現(xiàn)[J].湘南學院學報，2010（5）：86-

88；111.

[4] 尹念東.BP神經(jīng)網(wǎng)絡的應用設計[J].信息技術，2003（6）：18-20.

作者簡介：

篇7

關鍵詞：自主角色; 神經(jīng)網(wǎng)絡; 遺傳算法

中圖分類號： TP183

文獻標識碼：A

0引言

隨著計算機圖形學和硬件技術的高速發(fā)展，計算機游戲近十幾年也取得了很大的發(fā)展，游戲軟件已成為軟件產(chǎn)業(yè)中非常重要的內容。游戲的類型主要包括FPS（第一人稱射擊）、RPG（角色扮演類型）和RTS（即時戰(zhàn)略游戲）等幾種類型，這些不同類型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對游戲的興趣度。因此，對NPC與PLAYER之間的角色交互行為方式的研究已經(jīng)成為游戲軟件中的一個非常重要的研究課題。

目前大多數(shù)游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現(xiàn)在角色的行為都是預先確定的，這種類型的行為實現(xiàn)起來較為簡單，也是目前大多數(shù)游戲所采用的交互方式。像這種確定性的行為往往體現(xiàn)不出角色的自主性，而且還會導致角色行動單調乏味，其行動很容易被玩家所預測,降低游戲的可玩性。為此,我們需要在游戲軟件中設計和實現(xiàn)這樣的NPC角色，它能夠根據(jù)當前環(huán)境的變化以及以往的經(jīng)驗知識來動態(tài)地改變對PLAYER的行為。具有這種能力的角色，我們稱之為自主角色,也稱為自適應角色。具有自主和自適應特點的角色可具有推理能力和自適應能力,在游戲環(huán)境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長這款游戲的生命周期，因此促使游戲開發(fā)人員花更多的時間來研究自主角色的實現(xiàn)。一些公司已經(jīng)開始嘗試從人工智能領域發(fā)展出更加高級的技術，如采用決策樹或者強化學習來實現(xiàn)角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學習系統(tǒng)和神經(jīng)網(wǎng)絡來實現(xiàn)角色的自主性。

有關自主角色行為的論文已經(jīng)有很多做出了卓有成效的成績，如在Reynolds的文獻［1］中，對自主角色的群體行為進行了描述。Blumberg和Galyean［2］中引入更多的行為控制機制，并考慮了行為學習這樣一個令人感興趣的問題。對于自主角色的更高層次的認知能力方面，John David Fungc［3］中指出，認知模型是用于創(chuàng)建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認知模型和物理學模型之間的緩沖區(qū)，并將情景演算(situation calculus)［4］用于高度動態(tài)的虛擬世界。

但是，上述各種方法因為側重點不同，各有優(yōu)缺點，且相互之間較為獨立，因此本文結合上述一些方法的優(yōu)點，在此基礎上提出了基于認知角色建模，采用神經(jīng)網(wǎng)絡和遺傳算法相結合的游戲自主角色的設計思路。基于此，各小節(jié)安排如下：

第一節(jié)確定了基于認知建模方法的游戲自主角色模型；第二節(jié)介紹了神經(jīng)網(wǎng)絡在實現(xiàn)自主角色中的應用；第三節(jié)說明了遺傳算法對神經(jīng)網(wǎng)絡的優(yōu)化；第四節(jié)對自主角色的實驗進行了分析。

1基于認知建模的角色自主性模型

由于認知建模方法能夠采用精確的數(shù)學方式來定義自主角色的行為和學習模式，因此本文采用認知建模方法來對游戲角色的自主性進行建模。這里將游戲中存在的非玩家控制的角色簡稱為NPC,通過認知建模方法研究NPC的高級行為規(guī)劃，指導NPC,提高NPC的智能水平能力，使NPC能夠對環(huán)境作出判斷，并根據(jù)當前的狀態(tài)進行推理，進而完成相應的行動序列,有利于創(chuàng)建聰明自主的智能體――具有認知能力的自主的角色。

在計算機游戲中，我們將游戲角色關于他所在世界的內部模型稱“認知模型”(Cognitive Model)。認知模型可以用于游戲中，控制一類自主的角色。通過認知模型支配游戲角色對其所在環(huán)境的了解程度，如何獲取知識，以及如何利用知識選擇行動。

NPC的行為分為“預定義的”和“非確定性的”兩種，建立的認知模型也各不相同。建立預定義行為的認知模型比較簡單，只要將事先定義好的NPC所在環(huán)境的領域知識賦予NPC系統(tǒng)，NPC就可以根據(jù)人們的要求采取某種行動。而非確定性的行為不容易控制。為了實現(xiàn)人為的控制，我們采取一種折中的方法，即將領域知識和人的指導賦予NPC，使NPC主動地向人們希望它達到的目標發(fā)展?？捎上旅娴墓奖硎?

知識+指導=行為

領域知識能夠用來規(guī)劃目標，而指導對如何達到目標提供一種框架計劃。

當然NPC在決定采取什么樣的行動時并不需要整個虛擬世界的知識。所以，我們認為NPC的認知模型是角色對其虛擬世界的一種內部簡化模型〔simplified model〕。

為此我們在現(xiàn)有游戲系統(tǒng)之上營造一個通過認知模型定義的高級行為規(guī)劃器來實現(xiàn)對NPC的行為指導。規(guī)劃器模型設計如圖1所示。

NPC的預定義行為和非確定行為都可以形式化為認知模型，通過認知模型來指導NPC高級行為規(guī)劃器，由于神經(jīng)網(wǎng)絡在非確定中的強大的學習作用，因此本項目通過神經(jīng)網(wǎng)絡來實現(xiàn)NPC高級行為規(guī)劃器的三個方面：目標引導、行為協(xié)調、約束滿足。

2基于人工神經(jīng)網(wǎng)絡的角色自主系統(tǒng)

這里,我們采用的是神經(jīng)網(wǎng)絡中的BP網(wǎng)絡作為NPC的感知系統(tǒng)。BP算法是一種用于多層前向網(wǎng)絡的學習算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結構。BP網(wǎng)絡的學習過程包括兩個階段:第一階段計算前向輸出;第二階段從反向調整連接權矩陣。

在前向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的輸出作為上層神經(jīng)元的輸入.如果在輸出層，實際輸出值與期望輸出值有誤差時，則以反向將誤差信號逐層修改連接權系數(shù)并且反復迭代，最后使實際輸出值與期望值的均方差為最小。在修正連接權系數(shù)時，通常采用梯度下降算法。

BP神經(jīng)網(wǎng)絡使用的是指導式的學習方法,即在學習過程中,向網(wǎng)絡提供有明確輸入和輸出目標的樣本對。BP學習算法是基于最小二乘法LMS 算法,運用梯度下降方法,使網(wǎng)絡的實際輸出與期望輸出的均方差最小。網(wǎng)絡的學習過程是一種誤差邊向后傳播邊修正連接權的過程。因為BP網(wǎng)絡對以分類為主要目的的學習非常有效,所以,我們采用B P網(wǎng)絡進行NPC分類的自學習。需要輸入NPC自主系統(tǒng)中BP網(wǎng)絡的特征參數(shù)主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環(huán)境下，在與玩家的不斷交互中刺激著感知系統(tǒng)，在外界環(huán)境發(fā)生變化時產(chǎn)生認知模型指導下的自主行為，通過神經(jīng)網(wǎng)絡最終演化成具有自主性的行為系統(tǒng)，同時，利用遺傳算法使適應度有一定程度的增加，使NPC更適應外界環(huán)境的變化。關于NPC的感知系統(tǒng)的設置如下：

1） 輸入?yún)?shù)的確定

NPC的感知系統(tǒng)由人工神經(jīng)網(wǎng)絡構成，虛擬游戲環(huán)境的特征參數(shù)作為輸入送入神經(jīng)網(wǎng)絡進行學習。在我們的游戲項目中，輸入主要包括三種類型：布爾類型、枚舉類型和連續(xù)類型三種，但是這三種類型都需要轉化成神經(jīng)網(wǎng)絡所認可的實數(shù)類型。

2） 權重的確定

權重有些類似于生物神經(jīng)網(wǎng)絡的樹突聯(lián)結，權重影響了輸出變量的值，并且定義了神經(jīng)網(wǎng)絡的行為，實際上訓練或者演化神經(jīng)網(wǎng)絡的主要目標就是確定NPC神經(jīng)網(wǎng)絡的權重。為了確定每個輸入?yún)?shù)的權重，需要確定激活函數(shù)。

3） 激活函數(shù)的確定

激活函數(shù)確定了輸入與輸出參數(shù)之間的映射關系，針對NPC自主角色的神經(jīng)網(wǎng)絡，我們采用的是非線性激活函數(shù)，具體采用的是S型激活函數(shù)。

3基于遺傳算法的神經(jīng)網(wǎng)絡優(yōu)化

神經(jīng)網(wǎng)絡的基本特征是大規(guī)模并行處理、容錯性、自適應性和自組織性，適合處理直覺和形象思維信息。神經(jīng)網(wǎng)絡與遺傳算法的結合使神經(jīng)網(wǎng)絡的訓練有了一個嶄新的面貌，目標函數(shù)既不要求連續(xù)，也不要求可微，僅要求該問題可計算，而且它的搜索始終遍及整個解空間，因此容易得到全局最優(yōu)解。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡，可以使得神經(jīng)網(wǎng)絡具有自進化、自適應能力，從而構造出進化的神經(jīng)網(wǎng)絡(ENN)［5］。

研究NPC的進化,要建立NPC在虛擬環(huán)境中進行的各種行為模型。另外,同虛擬環(huán)境本身也會發(fā)生競爭。由于適應度是NPC競爭力大小的直接反映,為了建立NPC的競爭機制,首先要建立NPC的適應度函數(shù)。

首先,NPC的適應度函數(shù)和NPC的種類相關。在同一環(huán)境下,不同NPC的適應度肯定是不相同的［6］。同時,為了表現(xiàn)NPC自學習對進化的影響,有了學習能力的同種NPC適應度的取值也有所不同。其次,NPC的適應度還與其所處的不同階段有關。適應度取值在其不同階段中不是一成不變的。

在環(huán)境不發(fā)生變化時,NPC的適應度函數(shù)F(t)可以用此函數(shù)表示:

其中,參數(shù)a表示NPC的生命力值;參數(shù)k表示NPC的類型,不同的NPC對同一游戲環(huán)境的適應性是不一樣的,當k取不同的值時,會得到適應度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經(jīng)網(wǎng)絡中提取權重向量；

2） 用遺傳算法演化出一個新的網(wǎng)絡權重群體；

3） 把新的權重插入到NPC神經(jīng)網(wǎng)絡；

4） 轉到第一步進行重復，直至獲得理想的性能。

4試驗分析

我們的實驗測試場景如下：

在一個仿真的三維游戲環(huán)境下,游弋著若干個NPC角色和一個玩家控制的虛擬角色,主角可以漫游整個游戲場景,這些NPC當遇到主角后,可能會對主角采取不同的行為,比如攻擊行為,逃避行為,團隊作戰(zhàn)行為,對話行為等,所有這些行為的決策都取自于神經(jīng)網(wǎng)絡的訓練。

在采用神經(jīng)網(wǎng)絡算法之前，所有的NPC無論強弱，都會主動向玩家角色發(fā)起攻擊，而在采用神經(jīng)網(wǎng)絡算法之后，這些NPC都具有了一個人工大腦，每個NPC在與玩家角色的交互過程不斷地學習，不斷地演化，最終變成自主角色，具體表現(xiàn)在：NPC根據(jù)以往與玩家角色交互過程中的經(jīng)驗，從而產(chǎn)生較為理智的行為，比如當NPC感覺玩家的綜合實力要高于自己時，它可能會采取逃避的行為，而當NPC感覺其綜合實力要高于玩家時，它往往會主動攻擊玩家。

表1和表2列舉了應用神經(jīng)網(wǎng)絡算法前后的測試數(shù)據(jù)。

應用神經(jīng)網(wǎng)絡算法所采取的實驗方案如下：

(1) 對于NPC感知系統(tǒng)的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽度。并將參數(shù)歸一化，使最終的參數(shù)范圍位于[-1, 1]之間；

(2) 對于NPC感知系統(tǒng)的輸出，包括躲避，單獨攻擊，潛伏，召喚同伴，團隊攻擊等行為。即將神經(jīng)元的輸出元設計成五個，這些行為通過一些標志符來確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過對比兩組測試試驗,可以發(fā)現(xiàn)后一組試驗中,NPC能夠根據(jù)自己的實力和玩家的實力對比，理智的采取一些行為（比如退避，呼喚同伴協(xié)同作戰(zhàn)）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

篇8

關鍵詞：遺傳算法 神經(jīng)網(wǎng)絡 瓦斯突出 預測

中圖分類號：TD712 文獻標識碼：A 文章編號：1672-3791（2017）01（a）-0000-00

預測煤層中的瓦斯含量是進行煤與瓦斯突出風險研究的重要一環(huán)，由于影響瓦斯含量的地質因素復雜多樣，以及各因素間存在著復雜的非線性關系，迄今為止，對瓦斯突出的預測主要使用回歸分析方法，預測的結果往往跟實際的情況差別較大，因此需要使用新的方法建立預測模型來實現(xiàn)對瓦斯突出高精度的預測。

1 利用遺傳算法改進的神經(jīng)網(wǎng)絡建立瓦斯突出預測模型

（1）網(wǎng)絡輸入?yún)?shù)的確定：經(jīng)查閱相關文獻和咨詢得知瓦斯突出的主要影響因素有：煤層底板標高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統(tǒng)計單元中有無斷層、基巖厚度、煤厚。

（2）網(wǎng)絡輸出參數(shù)的確定：選擇二進制數(shù)0和1分別表征瓦斯不突出和突出。

（3）網(wǎng)絡的構造： 一般地可以用一個三層神經(jīng)網(wǎng)絡實現(xiàn)預測功能，此神經(jīng)網(wǎng)絡的輸入層有n個神經(jīng)元，根據(jù)經(jīng)驗公式選取隱含層有（2n+1）個神經(jīng)元，輸出層有m個神經(jīng)元，因此本模型中的神經(jīng)網(wǎng)絡可以采用3層神經(jīng)網(wǎng)絡。

（4）網(wǎng)絡的訓練：訓練樣本取自唐山開灤多個礦井具有代表性的10個突出點，利用突出點的數(shù)據(jù)訓練神經(jīng)網(wǎng)絡，得到預測模型。

（5）網(wǎng)絡的精確度驗證： 利用已完成的人工神經(jīng)網(wǎng)絡對實際問題進行試驗研究。把在開灤礦井采取的11～20組數(shù)據(jù)的瓦斯突出指標輸入已經(jīng)訓練的網(wǎng)絡中，驗證人工神經(jīng)網(wǎng)絡的預測結果與實際突出情況的吻合度，如果吻合度低，就需要對網(wǎng)絡進行改動，直至達到滿意的吻合度。

（6）利用遺傳算法對神經(jīng)網(wǎng)絡的權值和閾值進行優(yōu)化

個體的編碼：將神經(jīng)網(wǎng)絡各層之間可能存在的連接權值和閾值編碼成實數(shù)碼串或者進行二進制碼串，每條碼串中包含著網(wǎng)絡中的所有權值、閾值其排列順序可以隨意定義，不受限制，組成一個染色體。

產(chǎn)生初始種群：隨機生成一定數(shù)量的碼串個體作為一個初始種群。

計算適應度：設網(wǎng)絡有K個訓練樣本，讓所有的訓練樣本依次通過解碼后生成的神經(jīng)網(wǎng)絡，計算所有訓練樣本一次通過的平均總誤差作為每條染色體的適應度， 其中， 為瓦斯含量的實測值， 為網(wǎng)絡的輸出值。

④將網(wǎng)絡的所有連接權值和閾值進行實數(shù)編碼，構成一個染色體，每條染色體代表一個神經(jīng)網(wǎng)絡模型的權值和閾值。設定初始種群規(guī)模為20，進化代數(shù)為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現(xiàn)象，變異概率先定義為0.1，然后在逐漸遞增。算法運行到158代時獲得最佳的連接權值，網(wǎng)絡平均總誤差為0.001。

2 實例分析及算例求解

選取唐山開灤煤礦為例，對該地進行瓦斯含量預測研究。對影響瓦斯含量的主要因素進行分析，歸納確定了神經(jīng)網(wǎng)絡的輸入層神經(jīng)元個數(shù)為7，對應為7個輸入變量即7個影響瓦斯含量的因素。其中對輸入變量中的頂板砂巖比、統(tǒng)計單元中有無斷層、頂板基巖厚度、煤層厚度四個影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經(jīng)元個數(shù)是1。在開灤集團獲得的相關數(shù)據(jù)如表2所示，其中1～10作為網(wǎng)絡訓練樣本，11～20作為網(wǎng)絡檢驗樣本，用來檢驗模型的預測精度。

利用前10組數(shù)分別訓練自適應的BP神經(jīng)網(wǎng)絡和與遺傳算法結合改進的網(wǎng)絡得到瓦斯突出預測模型，如圖1和2所示。然后利用11～20組的樣本對網(wǎng)絡性能進行檢驗，并將檢驗結果和實測值的數(shù)據(jù)進行對比，對比后的結果如表3所示。 由圖1、2可知用遺傳算法改進的神經(jīng)網(wǎng)絡收斂速度更快，由表3可知用遺傳算法改進后的神經(jīng)網(wǎng)絡預測的值跟實際的值更加的逼近即預測精度高。

3 結論

本文采用遺傳算法與神經(jīng)網(wǎng)絡相結合的方法，通過優(yōu)化神經(jīng)網(wǎng)絡的權值和閾值，使得預測的絕對誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預測的精度，加快了收斂速度。對煤礦安全發(fā)展具有一定的意義。

參考文獻

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應用研究[J]，軟件導刊，2009

[2]梁芳.遺傳算法的改進及其應用[D].武漢理工大學，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學，2013.

篇9

【關鍵詞】人工神經(jīng)網(wǎng)絡 BP算法 故障診斷 發(fā)動機

近年來，汽車越來越多地出現(xiàn)在普通百姓家庭。發(fā)動機系統(tǒng)是汽車的心臟，大部分零件處于高溫、高壓的工作環(huán)境且處在高速運動當中，設備復雜、參數(shù)多，其故障的發(fā)生率高，診斷起來困難繁瑣，本文針對這一問題，在掌握發(fā)動機運行流程后，引入了BP神經(jīng)網(wǎng)絡故障診斷方法，并適當改進，測試結果表明，該方法可靠有效實用。

3 自適應BP網(wǎng)絡實例應用

3.1 網(wǎng)絡輸入輸出向量及參數(shù)的選取

由汽車維修專家提供典型發(fā)動機系統(tǒng)故障現(xiàn)象及相應的故障原因實例作為訓練樣本。以故障類型X=（x1，x2，x3，x4）作為輸入，故障原因R=（r1，r2，…，r12）作為輸出，建立故障模式與故障原因之間的映射關系。如表1所示。

3.2 網(wǎng)絡的創(chuàng)建、訓練與檢驗

按照樣本的模式對，確定輸入層節(jié)點個數(shù)為4，輸出層節(jié)點個數(shù)為12。輸出節(jié)點值的大小反映了故障出現(xiàn)的可能程度。而隱含層節(jié)點的個數(shù)可參照經(jīng)驗公式選?。浩渲袨檩敵龉?jié)點數(shù)，n為輸入節(jié)點數(shù)，為1至10的常數(shù)。

將故障類型及原因分析表中的文字描述進行轉換并編碼，就得到樣本訓練表，如表2所示。

選取網(wǎng)絡的初始學習率=1，動量因子=0.01，初始學習率調整因子β=1，訓練過程中根據(jù)誤差變化實時調整學習率，取β=0.9（誤差變大時），β=1.1（誤差變小時）。

采用Matlab軟件編寫程序對樣本進行訓練。

3.3 誤差分析與判定

利用同一組樣本對改進的BP算法和傳統(tǒng)BP算法分別進行測試，并對照研究，進行誤差分析。表3為階段性均方誤差所需要的訓練次數(shù)對比，圖1為增加動量項的BP算法對網(wǎng)絡訓練誤差的影響，圖2為采用自適應學習率BP算法對網(wǎng)絡訓練誤差的影響，可以直觀地看出，兩種方法都可以極大地加快網(wǎng)絡的訓練過程，將兩種方法結合到一起，則效果更好，如圖3所示。

需要注意的是，建議學習率調整率不能取值太大，使步長平穩(wěn)，同時設定學習率的最大值，超過后就不再調整，防止出現(xiàn)過調。

4 結論

本文把基于BP神經(jīng)網(wǎng)絡的故障診斷技術引入汽車發(fā)動機故障診斷系統(tǒng)，通過增加動量項和自適應調節(jié)學習率兩種方法來對基本的BP網(wǎng)絡學習算法進行改進，可以極大地加快BP 神經(jīng)網(wǎng)絡收斂過程，提高學習速度。通過分析，人工神經(jīng)網(wǎng)絡能夠在發(fā)動機系統(tǒng)的監(jiān)測及診斷中發(fā)揮較大的作用，并且在設計診斷工具和改進診斷方式中有一定的借鑒功能。

參考文獻

[1]韓力群.人工神經(jīng)網(wǎng)絡理論、設計及應用[M].北京：化學工業(yè)出版社，2002.

[2]黃勇，郭曉平.基于改進BP神經(jīng)網(wǎng)絡的柴油機故障診斷研究[J].汽車科技，2009（03）.

[3]張冉，趙成龍.改進BP網(wǎng)絡在汽輪發(fā)電機組故障診斷中的應用[J].計算機仿真，2011（07）.

[4]張延林，佟德軍.BP神經(jīng)網(wǎng)絡的汽車故障診斷研究[J].自動化儀表，2009（04）.

[5]禹建麗，卞帥.基于BP神經(jīng)網(wǎng)絡的變壓器故障診斷模型[J].系統(tǒng)仿真學報，2014（06）.

[6]姜蕊.基于改進BP神經(jīng)網(wǎng)絡的速度預測模型[J].交通工程，2013（04）.

[7]陳懷琛，吳大正，高西全.MATLAB及在電子信息課程中的應用[M].北京：電子工業(yè)出版社，2006（03）.

篇10

關鍵詞：矸石和粉煤灰配合比； BP神經(jīng)網(wǎng)絡；遺傳算法；最優(yōu)配比

河北金牛能源股份有限公司邢臺礦綜采面充填采煤技術，自應用以來取得了非常好的經(jīng)濟效益和社會效益，在7606工作面進行了系統(tǒng)的試驗和研究，在試驗過程中發(fā)現(xiàn)矸石與粉煤灰作為充填開采的骨料，其物理力學基本特性對充填開采運輸系統(tǒng)及充填工藝的設計至關重要，因此合理的最優(yōu)的矸石和粉煤灰的配比是控制開采巖層移動和地表沉降的關鍵所在，本文結合計算智能領域的遺傳算法和神經(jīng)網(wǎng)絡方法，利用遺傳算法的非線性尋優(yōu)能力和神經(jīng)網(wǎng)絡的非線性擬合能力，來尋找最優(yōu)方案。[1]，[2]

1 矸石與粉煤灰的物理化學特性

1.1 矸石的物理化學特性

1.1.1礦物成分測試

本測試采用的測試儀器為D/Max-3B型X射線衍射儀，由日本理學公（Rigaku）生產(chǎn)。測試條件為：Cu靶，Kα輻射，石墨彎晶單色器。狹縫系統(tǒng)為： DS（發(fā)散狹縫）：1°，RS（接收狹縫）：1°，SS（防散射狹縫）：0.15mm，RSM（單色器狹縫）： 0.6°。其中：X射線管電流為30mA，電壓為35kV。在定量分析過程中采用的掃描方式為步進掃描，掃描速度0.25°/min，采樣間隔0.01°。

定量分析所采用的分析標準為：按照中國標準（GB5225--86）的K值法進行定量分析，洗選矸石的組成成分分別見表1-1，X-射線衍射圖譜分別如圖1-1所示。

在定性分析過程中采用的掃描方式為連續(xù)掃描，采樣間隔為0.02°，掃描速度為3°/min。定性分析所采用的分析標準為：利用粉末衍射聯(lián)合會國際數(shù)據(jù)中心（JCPDS--ICDD）提供的各種物質標準粉末衍射資料（PDF），并按照標準分析方法進行對照分析。兩種樣品分析結果表明，洗選矸石主要成分是高嶺石、石英，有部分伊蒙混層、伊利石、非晶物質和少量的其它礦物，其中的部分非晶物質，分析認為可能是煤或其它物質；粉煤灰主要成分是非晶物質，含有略多的石英，有部分莫來石、伊利石和少量的方解石、CaSO4、長石等礦物。樣品中的非晶態(tài)物質無法確定，分析認為可能含有部分煤等非晶物質，也可能是粘土中溫加熱產(chǎn)生的非晶物質。

1.1.2化學成分測試

洗選矸石與粉煤灰的礦物組成直接影響煤矸石的工程性質。洗選矸石的化學成分與化學元素分別見表1-2、表1-3。

由表1-2、表1-3知，洗選矸石試樣的物質組成中，SiO2的含量較高，是矸石充填開采時骨架的主要成分，可使充填后的矸石強度較高；此外，由于矸石中含有碳、鋁和CaO等物質，易使矸石發(fā)生水解和風化等現(xiàn)象。

1.1.3 致密度電鏡掃描分析

通過電鏡掃描SEM（Scanning Electron Microscope）對矸石的致密度進行了分析，得到不同分辨率條件下洗選矸石的SEM圖片，如圖1-2所示，其SEM圖片細觀結構描述見表1-4。

1.1.4 含水量測試

a.試驗設備

本試驗采用JA2003電子精密天平（Electronic Precision Balance）、YZH1-30遠紅外自控焊條烘箱進行測試。

JA2003電子精密天平量程為200g，可讀性為0.001g，重復性≤±0.001g，線性≤±0.002g，秤盤尺寸為Ф=110mm，如圖1-3所示。YZH1-30烘箱能夠自動測量、顯示和控制溫度，具有結構簡單、性能穩(wěn)定等優(yōu)點。烘箱內膽及擱板采用耐腐蝕不銹鋼材料和優(yōu)質鋼板二種，最高工作溫度可達到500℃。

b.試驗結果

從現(xiàn)場取洗選矸石測試試樣，為防止水分的揮發(fā)，采用雙層隔離層保存封裝，保持了其自然狀態(tài)下的含水量，并對試樣進行了一系列含水量測試。洗選矸石測試6組，分別為x1、x2、x3、x4、x5、x6，其試驗結果見表1-5。

由上述測試可知，自然狀態(tài)下洗選矸石的含水量為2.28%。

1.2 粉煤灰的物理化學特性

1.2.1 化學成分測試

同樣采用D/Max-3B型X射線衍射儀作為測試儀器，對粉煤灰試樣進行定量分析。

1.2.2 化學成分測試

洗選矸石與粉煤灰的礦物組成直接影響充填材料的工程性質。粉煤灰化學成分與化學元素分別見表1-6、表1-7。

由表1-6、表1-7知，粉煤灰試樣的物質組成中，SiO2的含量較高，是煤矸石充填開采時骨架的主要成分，使充填后的煤矸石強度較高。

1.2.3 致密度電鏡掃描分析

通過電鏡掃描SEM（Scanning Electron Microscope）對粉煤灰的致密度進行了分析，得到不同分辨率條件下粉煤灰的SEM圖片，如圖1-6所示。圖示細觀結構描述見表1-8。

選取與測試洗選矸石含水量的相同儀器，對六組粉煤灰試樣的含水量進行測試，其試驗結果見表1-9。

由上述測試可知，自然狀態(tài)下粉煤灰的含水量為21.17%。

1.3 充填材料性能分析

分析充填材料的化學成分發(fā)現(xiàn)，洗選矸石和粉煤灰均以二氧化硅和氧化鋁為主要成分，可以作為充填開采骨料的主要成分，但是粉煤灰的氧化鈣含量相對降低，活性較差，可以相應增加洗選矸石的量來提高整體骨料中氧化鈣的含量，提高骨料的活性性能。通過致密度電鏡掃描分析發(fā)現(xiàn)，洗選矸石的結構較致密，粗大孔洞及裂隙基本未見；粉煤灰以多孔玻璃體為主，孔洞連通情況較好，中量碎屑顆粒，可以看出粉煤灰的壓實變形量將會較大，碎屑顆粒會對充填產(chǎn)生一定的影響。在自然狀態(tài)下，粉煤灰的含水量較大，這對于充填開采將會產(chǎn)生不利影響，在實際的操作中，可以根據(jù)粉煤灰這一物理特性，控制充填膏體制備中水的加入量，改善充填體的性能。

2 矸石與粉煤灰的力學特性試驗

2.1 試驗目的及試驗內容

通過對洗選矸石與粉煤灰不同配比條件下壓實特性的測試，分析各種配比條件下各組試樣的壓實力與變形量的關系，并得出最有利于現(xiàn)場充填的配比條件。

2.2 試驗設備及試驗條件

本試驗采用美國MTS公司的MTS815.02電液伺服巖石力學試驗系統(tǒng)進行測試，如圖2-1所示。充填矸石與粉煤灰的盛樣裝置為自行設計的壓縮鋼筒，該裝置的內徑128 mm，鋼筒深度180 mm，壓縮活塞高度為110 mm，試驗中試樣高度為120 mm。

2.3 壓實試驗方案設計射線

在試驗前將取洗選矸石和粉煤灰作為測試樣品，按照二者不同的配比比例，將試樣共同分為12組，其中1∶0和0∶1分別代表純矸石和純粉煤灰，壓實試驗配比方案見表2-1。

在矸石與粉煤灰直接充填綜采項目現(xiàn)場工業(yè)性試驗中，充填材料中的矸石直接來自洗選矸石倉，而實驗室試驗矸石樣品來自于選煤廠排放于矸石山的矸石；充填材料中的粉煤灰直接來自電廠的粉煤灰，而實驗室試驗粉煤灰樣品來自于電廠堆積于地面噴水后（噴水為了防止揚塵）的粉煤灰。因此，實際充填時料的含水量與試驗的含水量是不同的，在實際配比時將會結合換算關系，進行配比換算。

矸石粉煤灰配比混合充填材料設計試驗的壓應力范圍為0～30 MPa，加載速率為0.1 MPa·s-1。每組測試的時間為300 s，數(shù)據(jù)每1.0 s采集一次。每組不同配比的試驗做三次，以防止試驗過程中出現(xiàn)無效數(shù)據(jù)等情況，確保試驗數(shù)據(jù)的真實有效性。

2.4 矸石與粉煤灰壓實特性

壓實度k的定義為充填材料在壓實過程中受外力作用而被壓實的程度。它用壓實后的體積Vys與原松散狀態(tài)下的總體積Vs之比來表示。

由圖2-3可知，充填材料的壓實度k隨著壓實力σ的增大而減小，特別在初始階段，由于材料的松散程度較大，因此產(chǎn)生的壓縮量較大，表現(xiàn)為壓實度k變化較快。在試驗曲線中取的當壓力為7 MPa時，不同配比的壓實度。由以上試驗數(shù)據(jù)，可知不同配比情況下有不同的壓實度，但是無法判斷最優(yōu)的配合比是否在試驗配比當中，因此有必要采用神經(jīng)網(wǎng)絡和遺傳算法進行尋優(yōu)。

3 BP神經(jīng)網(wǎng)絡和遺傳算法尋優(yōu)

3.1 BP神經(jīng)網(wǎng)絡和遺傳算法簡介

人工神經(jīng)網(wǎng)絡（Artificial Neural Network，簡稱ANN）是模擬人腦學習、處理和記憶方式，在人類對其大腦神經(jīng)網(wǎng)絡認識理解的基礎上人工構造的能夠實現(xiàn)某種功能的神經(jīng)網(wǎng)絡。它是理論化的人工神經(jīng)網(wǎng)絡的數(shù)學模型，是基于模仿大腦神經(jīng)網(wǎng)絡結構和功能而建立的一種信息處理系統(tǒng)。它是一個由大量簡單元件互相連接而成的復雜網(wǎng)絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現(xiàn)的系統(tǒng)。BP神經(jīng)網(wǎng)絡又稱為誤差反向傳播（Back Propagation）神經(jīng)網(wǎng)絡，是一種多層前饋神經(jīng)網(wǎng)絡，具有廣泛的適應性和有效性，主要應用于模式識別和分類等方面。[3]

遺傳算法（Genetic Algorithm，簡稱GA）是一種模仿自然界生物進化思想而得出的一種自適應啟發(fā)式全局搜索算法，其實質是由復制—交換—變異算子組成的周而復始的循環(huán)過程。這種方法由于仿效生物的進化與遺傳，根據(jù)“生存競爭”和“優(yōu)勝劣汰”的原則，借助復制、交換、變異等操作，使要解決的問題一步步逼近最優(yōu)解或近優(yōu)解。[4]

在充填配比試驗中，由于條件的限制，我們只能進行有限次的試驗，而且試驗配比是建立在經(jīng)驗的基礎上，所以得到的試驗結果往往不是最優(yōu)的配比，但是我們可以認為在一定的配比情況下獲得對應的壓實度值，兩者之間存在一定的非線性映射關系，通過建立神經(jīng)網(wǎng)絡結構，把配比作為輸入數(shù)據(jù)，把壓實度值作為輸出數(shù)據(jù)訓練神經(jīng)網(wǎng)絡，訓練后的網(wǎng)絡可以預測不同配比情況下的壓實度值。然后把配比值作為遺傳算法中種群個體，把網(wǎng)絡預測的壓實度值作為個體適應度值，通過遺傳算法推導最優(yōu)試驗結果及其對應的配比。

3.2 模型建立

神經(jīng)網(wǎng)絡遺傳算法極值尋優(yōu)主要分為BP神經(jīng)網(wǎng)絡訓練擬合和遺傳算法極值尋優(yōu)兩步。神經(jīng)網(wǎng)絡訓練擬合根據(jù)試驗條件和試驗結果的特點構建合適的BP神經(jīng)網(wǎng)絡，用部分試驗結果的輸入輸出訓練BP神經(jīng)網(wǎng)絡，訓練后的BP神經(jīng)網(wǎng)絡就可以預測函數(shù)輸出。遺傳算法極值尋優(yōu)把訓練后的BP神經(jīng)網(wǎng)絡預測結果作為個體適應度值，通過選擇、交叉和變異操作尋找壓實度的全局最優(yōu)值及對應輸入配比值。

3.3 BP神經(jīng)網(wǎng)絡訓練和遺傳算法計算

利用MATLAB神經(jīng)網(wǎng)絡工具箱進行網(wǎng)絡創(chuàng)建、訓練、仿真和輸出，網(wǎng)絡有2個輸入?yún)?shù)、1個輸出參數(shù)，通過試湊隱藏層神經(jīng)元個數(shù)比較輸出結果與期望結果的誤差，如圖2-2所示，發(fā)現(xiàn)當隱藏層為2層，第一個隱藏層有8個神經(jīng)元，第二個隱藏層有2個神經(jīng)元時，網(wǎng)絡的輸出誤差最低，因此確定BP神經(jīng)網(wǎng)絡結構為2-8-2-1。取試驗的12組數(shù)據(jù)訓練網(wǎng)絡，并測試網(wǎng)絡性能，網(wǎng)絡訓練好后用于預測輸出。通過預測輸出圖可以看出預測輸出與期望輸出基本上吻合，但是每次驗證的結果都會不同，因此BP神經(jīng)網(wǎng)絡的預測精度對于最優(yōu)位置的尋找具有非常重要的意義，在進行擬合的時候要尋找最優(yōu)BP網(wǎng)絡結果，然后進行遺傳算法尋優(yōu)計算。

遺傳算法中個體采用實數(shù)編碼，由于試驗配比只有兩個輸入?yún)?shù)，所以個體長度為2，迭代次數(shù)是100次，種群規(guī)模是20，個體適應度值為BP神經(jīng)網(wǎng)絡預測值，適應度值越大，個體最優(yōu)，交叉概率為0.2，變異概率為0.1。經(jīng)過遺傳算法得到的最優(yōu)個體適應度值為0.8490，最優(yōu)個體為[0.9972，0.6521]，此時的配比為1：0.654，這個比值只是某次試驗情況下的結果，不一定是所有試驗最優(yōu)結果，但是基本接近最優(yōu)結果，我們可以根據(jù)得到的結果優(yōu)化實際中的矸石和粉煤灰配比，達到最優(yōu)的狀態(tài)。[5]，[6]，[7]

4 結論

1）通過矸石與粉煤灰的物理化學特性實驗，得到了邢臺礦充填材料的化學成分和致密度情況以及含水率，發(fā)現(xiàn)二氧化硅和氧化鋁的含量對于充填性能有較大影響，致密結構將有助于提高充填強度，粉煤灰的含水量較高對充填會有不利的影響。

2）利用遺傳算法和人工神經(jīng)網(wǎng)絡，經(jīng)過尋優(yōu)計算得到了矸石和粉煤灰的近似最優(yōu)配比，配比為1：0.654。

3）現(xiàn)場應用的結果表明，在此配比時上部巖層受采動應力影響，出現(xiàn)了裂隙發(fā)育、局部離層、最終到裂隙閉合的發(fā)展過程，說明充填體可控制上覆巖層的運動，工作面頂板不會出現(xiàn)大面積的垮落。礦用鐵路沿線最大下沉值為16 mm， 沿南外環(huán)公路的觀測線沒有任何下沉。

4）國內同類礦山或采用充填法進行回采的礦山都可以通過計算智能方法，經(jīng)過優(yōu)化計算找到最優(yōu)的充填材料配合比，參數(shù)的數(shù)量可以根據(jù)實驗的條件進行改變，本文的方法有極大的參考價值。

參考文獻

[1] Liu Q G， Zhao Q B. Coal Mining Technology with Fully Mechanized Solid Back filling Under the Building Structures in Xingtai Mine. Coal Science andTechnology， 2010， 38（3）： 1（劉建功，趙慶彪.邢臺礦建筑物下綜合機械化固體充填采煤技術[J].煤炭科學技術，2010，38（3）：1.）

[2] Hao B S， Zhang S G. An experimental study on waste stone-fly ash mixture for stowing after mining.China coal. 2009，35（11）：1（郝寶生，張書國.矸石與粉煤灰混合充填開采的試驗研究[J].中國煤炭，2009，35（11）：1）