導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)、圖像分割、特征提取

Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.

Keywords: BP neural network, image segmentation, feature extraction

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A文章編號：

引言

BP人工神經(jīng)網(wǎng)絡(luò)算法是現(xiàn)今應(yīng)用較為廣泛的多層前向反饋式神經(jīng)網(wǎng)絡(luò)算法，BP人工神經(jīng)網(wǎng)絡(luò)有較好的容錯能力、魯棒性、并行協(xié)同處理能力和自適應(yīng)能力，受到了國內(nèi)外眾多領(lǐng)域?qū)W者的關(guān)注。由于神經(jīng)網(wǎng)絡(luò)高效率的集體計算能力和較強的魯棒性，它在圖像分割方面的應(yīng)用已經(jīng)很廣泛，Jain和Karu采用了多通道濾波與前向神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法實現(xiàn)圖像紋理分割算法。神經(jīng)網(wǎng)絡(luò)算法在特征提取階段，壓縮特征數(shù)量，以提高分類速度和精度。在圖像識別領(lǐng)域中神經(jīng)網(wǎng)絡(luò)作為分類器的研究也得到了很大的進展，尤其是其學(xué)習(xí)能力和容錯性對于模式識別是非常有利的，在一定程度上提高了訓(xùn)練速度和識別率。Le Cun等人提出了多層特征選擇(Multilayer Selection Procedure)方法用于字符識別，每一層神經(jīng)網(wǎng)絡(luò)處理較低層次的特征，獲取該層特征信息并傳給上一層。

BP神經(jīng)網(wǎng)絡(luò)的基本原理

人工神經(jīng)網(wǎng)絡(luò)的研究起源于對生物神經(jīng)系統(tǒng)的研究，它將若干處理單元（即神經(jīng)元）通過一定的互連模型連結(jié)成一個網(wǎng)絡(luò)，這個網(wǎng)絡(luò)通過一定的機制可以模仿人的神經(jīng)系統(tǒng)的動作過程，以達(dá)到識別分類的目的。人工神經(jīng)網(wǎng)絡(luò)區(qū)別于其他識別方法的最大特點是它對待識別的對象不要求有太多的分析與了解，具有一定的智能化處理的特點。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程實際上就是不斷地調(diào)整權(quán)值和閾值的過程。根據(jù)有無訓(xùn)練樣本的指導(dǎo)可以將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式分為兩種：監(jiān)督學(xué)習(xí)方式和非監(jiān)督學(xué)習(xí)方式，也稱為有導(dǎo)師指導(dǎo)學(xué)習(xí)方式和無導(dǎo)師指導(dǎo)學(xué)習(xí)方式。監(jiān)督學(xué)習(xí)方式，是在給定固定的輸入輸出樣本集的情況下，由網(wǎng)絡(luò)根據(jù)一定的學(xué)習(xí)規(guī)則進行訓(xùn)練學(xué)習(xí)，每一次學(xué)習(xí)完成后，通過對比實際的輸出和期望的輸出，以此決定網(wǎng)絡(luò)是否需要再學(xué)習(xí)，如果還沒有達(dá)到期望的誤差，則將實際誤差反饋到網(wǎng)絡(luò)，進行權(quán)值和閾值的調(diào)整，使實際的誤差隨著學(xué)習(xí)的反復(fù)進行而逐步減小，直至達(dá)到所要求的性能指標(biāo)為止。非監(jiān)督學(xué)習(xí)方式，是在沒有外界的指導(dǎo)下進行的學(xué)習(xí)方式，在學(xué)習(xí)過程中，調(diào)整網(wǎng)絡(luò)的權(quán)重不受外來教師的影響，但在網(wǎng)絡(luò)內(nèi)部會對其性能進行自適應(yīng)調(diào)節(jié)。

BP神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計

BP神經(jīng)網(wǎng)絡(luò)是基于誤差反向傳播算法(Back Propagation Algorithm，BPA)的多層前向神經(jīng)網(wǎng)絡(luò)，由輸入層、輸出層、一個或多個隱含層所組成。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定之后，通過對輸出和輸入樣本集進行訓(xùn)練，反復(fù)修正網(wǎng)絡(luò)的權(quán)值和閾值，達(dá)到學(xué)習(xí)訓(xùn)練的期望誤差，以使網(wǎng)絡(luò)能夠?qū)崿F(xiàn)給定的輸入輸出映射關(guān)系。BP人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程分為兩個階段，第一階段是輸入己知的學(xué)習(xí)樣本數(shù)據(jù)，給定網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)值和閾值，從輸入層逐層向后計算各神經(jīng)元的輸出；第二階段是對權(quán)值和閾值進行修改，即根據(jù)網(wǎng)絡(luò)誤差從最后一層向前反饋計算各層權(quán)值和閾值的增減量，來逐層修正各層權(quán)值和閾值。以上正反兩個階段反復(fù)交替，直到網(wǎng)絡(luò)收斂。具體實現(xiàn)步驟如下：

(1) 網(wǎng)絡(luò)的初始化：首先對輸入的學(xué)習(xí)訓(xùn)練樣本進行歸一化處理，對權(quán)值矩陣W和閾值向量賦初值，將網(wǎng)絡(luò)計數(shù)器和訓(xùn)練次數(shù)計數(shù)器置為1，網(wǎng)絡(luò)誤差置為0。

(2) 輸入訓(xùn)練樣本，計算輸入層，隱含層以及輸出層的實際輸出。

(3) 計算網(wǎng)絡(luò)輸出誤差。將實際的輸出和期望的輸出值進行對比，采用均方根誤差指標(biāo)作為網(wǎng)絡(luò)的誤差性能函數(shù)。

(4) 若誤差還沒達(dá)到期望標(biāo)準(zhǔn)，則根據(jù)誤差信號，逐層調(diào)整權(quán)值矩陣和閾值向量。

(5) 若最終調(diào)整之后的網(wǎng)絡(luò)輸出達(dá)到了誤差范圍之內(nèi)，則進行下一組訓(xùn)練樣本繼續(xù)訓(xùn)練網(wǎng)絡(luò)。

(6) 若全部的訓(xùn)練樣本訓(xùn)練完畢，并且達(dá)到了期望的誤差，則訓(xùn)練結(jié)束，輸出最終的網(wǎng)絡(luò)聯(lián)接權(quán)值和閾值。

BP神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)，具有很強的非線性映射能力，而且BP神經(jīng)網(wǎng)絡(luò)中間層數(shù)、各層神經(jīng)元數(shù)及網(wǎng)絡(luò)學(xué)習(xí)速率等參數(shù)均可以根據(jù)具體情況設(shè)定，靈活性較強，所以BP神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域中廣泛應(yīng)用。一般來說，神經(jīng)網(wǎng)絡(luò)方法應(yīng)同傳統(tǒng)的人工智能方法相聯(lián)系的。神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)及性能上的特點使其對問題的處理更富有彈性，更加穩(wěn)健。神經(jīng)網(wǎng)絡(luò)的基本特點是采用自下而上的設(shè)計思路，使其容易確定具體的目標(biāo)分割或識別算法，在增加了不確定因素的同時也產(chǎn)生了網(wǎng)絡(luò)最優(yōu)化的問題，這就是所謂的偽狀態(tài)(pseudo-trap)。盡管在實踐中并非所有的偽狀態(tài)對應(yīng)完全失敗的結(jié)果，但是畢竟這不符合對之完美的或者說合理的期望。人工智能則一般采用自上而下的方法，偏重于邏輯推理建立系統(tǒng)模型。因此將神經(jīng)網(wǎng)絡(luò)同人工智能結(jié)合起來，相當(dāng)于賦予神經(jīng)網(wǎng)絡(luò)高層指導(dǎo)的知識及邏輯推理的能力，具有潛在的優(yōu)勢。

輸入層中間層 輸出層

圖1 BP人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

4.1 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計

BP神經(jīng)網(wǎng)絡(luò)的設(shè)計主要包括兩方面內(nèi)容：一是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的確定，特別是隱含層層數(shù)及隱含層單元數(shù)目的確定；二是高精度收斂問題，隱含層和隱含層單元數(shù)過多，將導(dǎo)致訓(xùn)練時間過長并出現(xiàn)過度擬和的問題，隱含層單元數(shù)過少又導(dǎo)致網(wǎng)絡(luò)收斂速度慢甚至不收斂，達(dá)不到誤差精度要求。在確定隱含層層數(shù)以及隱含層單元數(shù)目時，沒有一個嚴(yán)格的理論依據(jù)指導(dǎo)，需要根據(jù)特定的問題，結(jié)合經(jīng)驗公式確定大致范圍來進行逐步試算比較得到。

4.2 數(shù)據(jù)預(yù)處理

為了加快網(wǎng)絡(luò)的訓(xùn)練速度，通常在網(wǎng)絡(luò)訓(xùn)練前進行神經(jīng)網(wǎng)絡(luò)輸入和輸出數(shù)據(jù)預(yù)處理，即將每組數(shù)據(jù)都?xì)w一化變?yōu)閇-1,1]之間的數(shù)值的處理過程。

4.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

%當(dāng)前輸入層權(quán)值和閾值

inputWeights=net.IW{1,1}

inputbias=net.b{1}

%當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值

layerWeights=net.LW{2,1}

layerbias=net.b{2}

%設(shè)置訓(xùn)練參數(shù)

net.trainParam.show = 1000;%限時訓(xùn)練迭代過程

net.trainParam.lr = 0.1; %學(xué)習(xí)率，缺省為0.01

net.trainParam.epochs = 100000; %最大訓(xùn)練次數(shù)，缺省為100

net.trainParam.goal = 0.001; %訓(xùn)練要求精度，缺省為0

[net,tr]=train(net,P,T);%調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò)

A = sim(net,P) %對 BP 網(wǎng)絡(luò)進行仿真

E = T - A;%計算仿真誤差

MSE=mse(E)

結(jié)束語

BP網(wǎng)絡(luò)因為具有較強的學(xué)習(xí)性、自適應(yīng)型和容錯性，在很多領(lǐng)域均已經(jīng)大量運用。本文將BP人工神經(jīng)網(wǎng)絡(luò)運用于圖像的識別，探索人工神經(jīng)網(wǎng)絡(luò)在圖像識別領(lǐng)域中的重要的現(xiàn)實意義。研究表明，BP人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識別在一定程度上提高了識別的效率和準(zhǔn)確率。但是，BP神經(jīng)網(wǎng)絡(luò)算法還存在以下幾點不足之處：（1）權(quán)的調(diào)整方法存在局限性，容易陷入局部最優(yōu)；（2）網(wǎng)絡(luò)的結(jié)構(gòu)需要提前指定或者在訓(xùn)練過程中不斷的修正；（3）過分依賴學(xué)習(xí)樣本，由于學(xué)習(xí)樣本是有限的或者學(xué)習(xí)樣本質(zhì)量不高，那么會導(dǎo)致訓(xùn)練達(dá)不到效果；（4）對于規(guī)模較大的模式映射問題，存在收斂速度慢、容易陷入局部極小點、判斷不準(zhǔn)確等缺陷。總之，如何解決以上問題，如何進一步提高識別精度，擴大識別范圍，使之更具有更好的工程實用性，是有待進一步研究的內(nèi)容。

參考文獻(xiàn)：

[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．

[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．

[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．

[4] 邊肇其，張學(xué)工．模式識別（第二版）[M]．清華大學(xué)出版社，北京．1999，12．

[5] 陳書海，傅錄祥．實用數(shù)字圖像處理[M]．科學(xué)出版社，北京．2005．

[6] 萬來毅，陳建勛．基于BP神經(jīng)網(wǎng)絡(luò)的圖像識別研究[J]．武漢科技大學(xué)學(xué)報（自然科學(xué)版）．2006，6．

[7] 叢爽．面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用（第2版）[M]．北京：中國科學(xué)技術(shù)出版社，2003．

[8] 王娟，慈林林等．特征方法綜述[J]．計算機工程與科學(xué)．2005．27（12）．68-71．

[9] 賈花萍．基于神經(jīng)網(wǎng)絡(luò)的特征選擇與提取方法研究[J]．網(wǎng)絡(luò)安全．2008，7．33-35．

[10] 龔聲榮，劉純平等編著．?dāng)?shù)字圖像處理與分析[M]．清華大學(xué)出版社，北京．2006．7．

篇2

關(guān)鍵詞： 圖像檢索； 特征提??； 神經(jīng)網(wǎng)絡(luò)； 機器學(xué)習(xí)； 相關(guān)反饋

中圖分類號： TN711?34； TM417 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）21?0078?05

Design and development of image retrieval platform based on artificial neural network

ZHANG Weihua， GAO Ang

（Department of Information Engineering， Zhengzhou Chenggong University of Finance and Economics， Gongyi 451200， China）

Abstract： Since the difference exists between the high?level abstract semantics and underlying feature of the user?description image， the retrieval system based on the image content feature can′t accurately accomplish the user′s retriecal task. To solve the above problem， an image matching calculation method based on neural network is proposed. The correct mapping from image low?level feature to image classification is formed by means of sample automatic learning and user feedback learning. The neural network after learning can classify and retrieve the image automatically. This method is combined with the image low?layer feature description and user high?level semantics feedback to effectively recover the semantic gap. The whole process of neural network learning and image retrieval was realized by integrating the Web front end， image extraction module， neural network module and database module.

Keywords： image retrieval； feature extraction； neural network； machine learning； relevance feedback

在利用神經(jīng)網(wǎng)絡(luò)進行圖像檢索的過程中，圖像的大小、精度及細(xì)節(jié)越來越豐富，信息含量相應(yīng)的也越來愈多，當(dāng)使用大量的信息進行神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練時，所需的時間和成本都大大增加，并且神經(jīng)網(wǎng)絡(luò)的檢索效率也會降低，這就使得其滿足不了用戶準(zhǔn)確搜索圖像的需求[1]。同時，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，可以利用各種改進技術(shù)提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率和預(yù)測準(zhǔn)確率，使得利用神經(jīng)網(wǎng)絡(luò)來模擬人腦對圖像的分類和檢索可以得到更好的效果。

1 圖像特征的提取

系統(tǒng)使用圖像分割方法對圖像的形狀特征進行描述，提取圖像中各個部分的形狀特征。

1.1 形狀特征的提取

使用K?均值聚類分割算法進行圖像的分割。將圖像分割后，由于每個簇中的像素在視覺特征上具有很強的相似性，因此對每一區(qū)域的特征進行簡單的描述，提取相應(yīng)的圖像特征然后保存結(jié)果，并將其作為圖像檢索系統(tǒng)的區(qū)域特征庫。系統(tǒng)針對不同的圖像特征選取不同的方法進行描述：

（1） 區(qū)域顏色特征，提取該區(qū)域中像素點在Lab顏色空間中的均值來描述。

（2） 區(qū)域位置特征，提取該區(qū)域中像素點在二維空間中的坐標(biāo)的平均值來描述。

（3） 區(qū)域紋理特征，提取該區(qū)域中像素的平均對比度及平均各向異性來描述。

（4） 區(qū)域形狀特征，提取該區(qū)域的封閉輪廓，并將其分解為可由若干橢圓重構(gòu)的由橢圓參數(shù)組成的序列，然后通過傅里葉描述符來描述該封閉曲線[2]。

1.2 顏色特征的提取

由于顏色直方圖的限制，選擇顏色相關(guān)圖進行圖像顏色的提取。圖像的顏色相關(guān)圖就是由所有顏色對進行索引的表，在表中[（i， j）]的第[m]個條目表示找到與顏色為[i]的一個像素點距離為[m]的顏色為[j]的一個像素點的幾率。在計算顏色相關(guān)圖時需采用一些并行計算，這樣可以提高計算效率。

1.3 紋理特征的提取

通過對比基于Tamura紋理特征算法的檢索程序、基于灰度?梯度共生矩陣算法的檢索程序和基于Gabor小波變換算法，基于Tamura紋理特征提取算法的檢索程序的查詢準(zhǔn)確率要比后兩者都高，且其查詢使用的時間也要少很多，因此系統(tǒng)選擇采用Tamura紋理特征提取算法。

2 BP神經(jīng)網(wǎng)絡(luò)模型的搭建

2.1 BP神經(jīng)網(wǎng)絡(luò)特點

選擇BP神經(jīng)網(wǎng)絡(luò)作為圖像的神經(jīng)網(wǎng)絡(luò)分類器，其將[n]維圖像底層視覺特征映射為圖像的分類。通過實驗對BP神經(jīng)網(wǎng)絡(luò)進行一些改進和優(yōu)化，使其能有效地完成圖像檢索的任務(wù)。典型樣本集的選擇、學(xué)習(xí)復(fù)雜性、網(wǎng)絡(luò)結(jié)構(gòu)的選擇、輸入特征向量的選擇、預(yù)測能力的極限都是需要在搭建BP神經(jīng)網(wǎng)絡(luò)時需要考慮的問題[3]。

2.2 BP神經(jīng)網(wǎng)絡(luò)的原理及拓?fù)浣Y(jié)構(gòu)

基于BP神經(jīng)網(wǎng)絡(luò)相關(guān)原理的學(xué)習(xí)與分析，確定了系統(tǒng)中BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和構(gòu)建過程：首先定義輸入層、隱含層和輸出層的神經(jīng)元數(shù)目分別為[n，l]和[m，]則[（x1，x2，…，xn）]為網(wǎng)絡(luò)的輸入矢量，[（h1，h2，…，hl）]為隱含層神經(jīng)元的輸出矢量，[（y1，y2，…，ym）]為網(wǎng)絡(luò)的實際輸出矢量，同時定義[（d1，d2，…，dm）]為訓(xùn)練樣本所對應(yīng)的預(yù)期輸出矢量。然后定義輸出層神經(jīng)元[i]與隱含層神經(jīng)元[j]的連接權(quán)值為[Vij，]隱含層神經(jīng)元[j]與輸出層神經(jīng)元[k]的連接權(quán)值為[Wjk，]隱含層神經(jīng)元[j]的閾值為[b，]輸出層神經(jīng)元[k]的閾值為[c。]由于傳遞函數(shù)需要表示具有線性特性的輸入信號與輸出信號的聯(lián)系，又根據(jù)BP神經(jīng)網(wǎng)絡(luò)要求傳遞函數(shù)必須連續(xù)可導(dǎo)，因此其一般使用在（0，1）之間連續(xù)并可導(dǎo)的Sigmoid函數(shù)作為傳遞函數(shù)，該函數(shù)公式為：

[f（x）=11-e-x] （1）

實際輸出矢量與預(yù)期輸出矢量的誤差計算公式為：

[E=12j=1m（dk-yk）2] （2）

隱含層神經(jīng)元輸出矢量的計算公式為：

[hj=fj=1N-1Vijxi+?j] （3）

輸出層神經(jīng)元輸出矢量的計算公式為：

[yk=fj=0L-1Wjkhj+θk] （4）

BP神經(jīng)網(wǎng)絡(luò)通過反向傳播算法調(diào)整權(quán)值，其權(quán)值修正公式為：

[Wij（n+1）=Wij（n）+ηδjx′i] （5）

在式（5）中，[Wij（n）]表示第[n]次學(xué)習(xí)后的神經(jīng)元[i]與神經(jīng)元[j]之間的連接權(quán)值，信號輸出的神經(jīng)元為[i，]信號輸入的神經(jīng)元為[j，][Xi]為神經(jīng)元[i]的實際輸出，[η]為網(wǎng)絡(luò)的學(xué)習(xí)速率，[δj]為神經(jīng)元[j]的學(xué)習(xí)誤差。

系統(tǒng)中BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建流程如下：

（1） 初始化網(wǎng)絡(luò)的連接權(quán)值和閾值，其值為均勻分布的隨機數(shù)。

（2） 對網(wǎng)絡(luò)使用一組樣例數(shù)據(jù)進行訓(xùn)練。

（3） 網(wǎng)絡(luò)搭建完成，將輸入矢量輸入網(wǎng)絡(luò)可仿真輸出符合預(yù)期的輸出矢量[4]。

2.3 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程

通過對相關(guān)反饋算法的學(xué)習(xí)，提出了一種基于BP神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)的圖像檢索方法，它包含兩種學(xué)習(xí)過程：

（1） 自動樣例學(xué)習(xí)，首先通過包含高層語義標(biāo)注的樣例圖像的學(xué)習(xí)構(gòu)建圖像高層語義的分類器，其中對于圖像的每種語義分別構(gòu)造一個分類器，輸入樣例圖像后使系統(tǒng)提取圖像的底層特征作為神經(jīng)網(wǎng)絡(luò)的輸入，然后經(jīng)過一定時間的學(xué)習(xí)可以得到網(wǎng)絡(luò)的解，使分類器能夠初步完成分類任務(wù)；

（2） 用戶交互學(xué)習(xí)，首先通過用戶的指導(dǎo)，將初步檢索結(jié)果進行分類，然后系統(tǒng)將用戶的反饋整理為學(xué)習(xí)樣本，同樣使用自動樣例學(xué)習(xí)過程進行學(xué)習(xí)，最后得出網(wǎng)絡(luò)最新的解，使分類器能更精確地完成分類任務(wù)。系統(tǒng)中BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)流程如圖1所示。

2.4 BP算法的改進

使用附加動量法可以使網(wǎng)絡(luò)在修正連接權(quán)值時，不只考慮誤差在其梯度上的變化趨勢，還考慮誤差在其曲面上的變化趨勢。在沒有附加動量的情況中，網(wǎng)絡(luò)在訓(xùn)練過程中有可能陷入局部極小狀態(tài)，通過使用附加動量則可以在一定程度上繞過這些極小值，避免進入極小狀態(tài)[5]。附加動量法在反向傳播過程中，在每一個神經(jīng)元的連接權(quán)值及閾值的當(dāng)次訓(xùn)練的變化量上附加一個正比于上次訓(xùn)練后的連接權(quán)值及閾值的變化量的項，根據(jù)新的變化量計算出新的連接權(quán)值及閾值。添加了附加動量因子的連接權(quán)值和閾值的變化量計算公式分別為：

[Δwij（k+1）=（1-mc）ηδjpj+mcΔwij（k）] （6）

[Δbj（k+1）=（1-mc）ηδj+mcΔbij（k）] （7）

式中：[k]表示第[k]次訓(xùn)練；[mc]表示動量因子，[mc]的取值一般在0.95附近。

在結(jié)合附加動量法的網(wǎng)絡(luò)訓(xùn)練過程中，需要根據(jù)不同條件判斷何時使用動量因子來修正權(quán)值，其判斷條件為：

[mc=0，E（k）>E（k-1）×1.040.95，E（k）

式中[E（k）]為第[k]步的誤差平方和。

自適應(yīng)學(xué)習(xí)速率的調(diào)整公式為：

[η（k+1）=1.05η（k），E（k+1）E（k）×1.04η（k），etc] （9）

式中[E（k）]為第[k]步的誤差平方和。

動量法可以幫助BP算法正確找到全局最優(yōu)解，自適應(yīng)學(xué)習(xí)速率法可以幫助BP算法縮短訓(xùn)練時間，通過這兩種方法的使用，可以有效地提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果。

2.5 實驗結(jié)果分析

實驗?zāi)康臑榇_定系統(tǒng)中BP神經(jīng)網(wǎng)絡(luò)分類器的隱含層神經(jīng)元數(shù)目。首先根據(jù)研究獲得的圖像特征向量的元素個數(shù)構(gòu)建神經(jīng)網(wǎng)絡(luò)分類器的學(xué)習(xí)樣例，此處每個樣例的輸入向量的元素個數(shù)為165個，因此構(gòu)建16組含有165個元素的輸入向量，4個一組劃分為一種類別，最終形成含有4種類別的16組訓(xùn)練樣本，以此方法再生成該4種類別的4組測試樣本。然后根據(jù)經(jīng)驗公式獲得合適隱含層神經(jīng)元數(shù)目的取值范圍，此處為9～17個。最后將訓(xùn)練樣本及測試樣本先后輸入隱含層神經(jīng)元數(shù)目不同的網(wǎng)絡(luò)中進行訓(xùn)練和測試，記錄數(shù)據(jù)。

表1記錄了隱含層神經(jīng)元數(shù)目及對應(yīng)的訓(xùn)練誤差和測試誤差的數(shù)據(jù)，由其數(shù)據(jù)可以看出，隨著隱含層神經(jīng)元數(shù)目的增加訓(xùn)練誤差總體上逐漸減小，當(dāng)個數(shù)超過15后訓(xùn)練誤差出現(xiàn)一定程度的波動，出現(xiàn)小幅的增加，雖然不影響網(wǎng)絡(luò)的學(xué)習(xí)效果，但是過多的神經(jīng)元個數(shù)會增加學(xué)習(xí)時間，而此時測試誤差還是處于降低的趨勢。綜合分析實驗結(jié)果，本系統(tǒng)確定采用較合適的15個隱含層神經(jīng)元。

3 檢索系統(tǒng)的設(shè)計與實現(xiàn)

3.1 系統(tǒng)結(jié)構(gòu)分析

3.1.1 系統(tǒng)結(jié)構(gòu)

系統(tǒng)的結(jié)構(gòu)如圖2所示，圖中除了與用戶交互的Web前端，其余的圖像特征提取模塊、神經(jīng)網(wǎng)絡(luò)模塊及數(shù)據(jù)庫都在服務(wù)器端，這種瀏覽器?服務(wù)器結(jié)構(gòu)平臺搭建后，用戶可以通過不同客戶端的Web瀏覽器進行圖像檢索的功能，而不必安裝本地應(yīng)用程序，同時將主要的核心功能集中到服務(wù)器上，不僅大大簡化了系統(tǒng)的開發(fā)和維護流程，降低了成本，還增強了系統(tǒng)的擴展性。

3.1.2 系統(tǒng)流程

系統(tǒng)針對不同的功能需求設(shè)計了相應(yīng)的不同流程，這些流程包括系統(tǒng)樣例學(xué)習(xí)流程、用戶反饋學(xué)習(xí)流程、用戶查詢流程。

如圖3所示，在系統(tǒng)的樣例學(xué)習(xí)過程中，系統(tǒng)接收到樣例數(shù)據(jù)后會先對數(shù)據(jù)進行分析，然后交給神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)，最終生成對應(yīng)類別的分類器，這些分類器會在用戶檢索時對數(shù)據(jù)庫中的圖像進行分類，查找到符合用戶需求的圖像[6]。樣例學(xué)習(xí)的流程是本系統(tǒng)學(xué)習(xí)分類知識的關(guān)鍵步驟，在該步驟中用戶并不參與系統(tǒng)的學(xué)習(xí)過程，整個學(xué)習(xí)過程均為系統(tǒng)自動進行，因此需提供大量被正確標(biāo)注的清晰圖像樣例，通過對這些優(yōu)質(zhì)樣例的學(xué)習(xí)，系統(tǒng)會自動生成針對圖像各種分類所對應(yīng)的分類器，且經(jīng)過長時間的學(xué)習(xí)，這些分類器的準(zhǔn)確率會不斷上升，最終使查詢結(jié)果更符合用戶需求。

如圖4所示，在系統(tǒng)的用戶查詢流程中，用戶的查詢條件為圖像特征的語義描述，系統(tǒng)最終返回為包含該描述特征的圖像集，這個過程利用神經(jīng)網(wǎng)絡(luò)分類器學(xué)習(xí)的高層描述語義與低層圖像特征之間的映射，因此隨著神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時間的增大，這種映射也就越精確，系統(tǒng)完成的查詢也就越符合用戶要求。

3.1.3 圖像特征提取模塊

如圖5所示，當(dāng)圖像輸入到圖像特征提取模塊中時，圖像會進行K?均值聚類分割算法處理、顏色相關(guān)圖算法處理及Tamura紋理特征算法處理，這三個處理過程并行進行。

經(jīng)過K?均值聚類分割算法處理，圖像被分割為若干塊區(qū)域，每個區(qū)域中的像素都具有相似的屬性，對于每個區(qū)域，會提取其簡單的區(qū)域特征，如顏色特征、位置特征、紋理特征及形狀特征等；經(jīng)過顏色相關(guān)圖算法處理，生成當(dāng)前圖像的顏色自相關(guān)圖；經(jīng)過Tamura紋理特征算法處理，計算出圖像的粗糙度、對比度、方向度、線性度等數(shù)值。將經(jīng)過三個算法處理后得到的數(shù)值整理后得到圖像的特征向量[7]。

3.1.4 神經(jīng)網(wǎng)絡(luò)模塊

系統(tǒng)中的圖像神經(jīng)網(wǎng)絡(luò)分類器由三層組成，分別為輸入層、隱含層及輸出層，其中輸入層的神經(jīng)元個數(shù)與歸一化后的圖像特征向量的個數(shù)相同，為固定值；隱含層的神經(jīng)元個數(shù)通過前文中的實驗得出，適合于本系統(tǒng)中神經(jīng)網(wǎng)絡(luò)的要求；輸出層只有一個神經(jīng)元進行分類，設(shè)定1為屬于該分類的學(xué)習(xí)期望，設(shè)定0為不屬于該分類的學(xué)習(xí)期望，但是實際運行時需要設(shè)定1為0.9，0為0.1，這是因為Sigmoid函數(shù)無法經(jīng)過有限的連接權(quán)值計算得到1與0的值[8]。

3.1.5 Web 平臺模塊

系統(tǒng)的Web界面包括用戶查詢輸入框、用戶圖像上傳框、查詢結(jié)果瀏覽框等。

3.2 實驗結(jié)果分析

為了檢驗圖像檢索平臺的性能，首先將系統(tǒng)設(shè)置為學(xué)習(xí)模式，然后從圖像庫中選取1 000幅已進行人工標(biāo)注的樣例集輸入系統(tǒng)，最后當(dāng)系統(tǒng)發(fā)出已訓(xùn)練完畢信號后，對系統(tǒng)已學(xué)習(xí)的分類當(dāng)作查詢輸入系統(tǒng)進行檢索，記錄系統(tǒng)檢索結(jié)果。

檢索結(jié)果可知經(jīng)過人工指導(dǎo)學(xué)習(xí)，系統(tǒng)可以仿真模擬更符合人類視覺感知的分類方式，并將其記憶于相應(yīng)的神經(jīng)網(wǎng)絡(luò)分類器中，經(jīng)過不斷的學(xué)習(xí)，系統(tǒng)可以返回更準(zhǔn)確的符合用戶需求的檢索結(jié)果。

4 結(jié) 論

本文主要研究包括基于內(nèi)容的圖像檢索技術(shù)及人工神經(jīng)網(wǎng)絡(luò)技術(shù)兩個方面。首先使用K?均值聚類分割算法、顏色相關(guān)圖算法及Tamura紋理特征提取算法提取圖像相應(yīng)的形狀、顏色及紋理特征，通過整合形成可以完整描述圖像信息的特征向量。同時，針對基于內(nèi)容的圖像檢索系統(tǒng)中用戶高層語義與圖像底層特征之間存在的問題，通過樣例自動學(xué)習(xí)和用戶反饋學(xué)習(xí)兩種學(xué)習(xí)方式，BP神經(jīng)網(wǎng)絡(luò)通過反向傳播學(xué)習(xí)算法調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，從而形成圖像底層特征到圖像分類的正確映射，學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)通過這種映射可以進行圖像的自動分類及檢索，該方法結(jié)合了圖像的底層特征描述及用戶的高層語義反饋，有效地彌補了語義鴻溝。

參考文獻(xiàn)

[1] KHERFI M L， ZIOU D. Relevance feedback for CBIR： a new approach based on probabilistic feature weighting with positive and negative examples [J]. IEEE transactions on image processing， 2006， 15（4）： 1017?1030.

[2] TRAINA A J M， MARQUES J. Fighting the semantic gap on CBIR systems through new relevance feedback techniques [C]// Proceedings of 2011 the 21th IEEE International Symposium on Computer?Based Medical Systems. [S.l.]： IEEE， 2006： 881?886.

[3] 周資云.基于內(nèi)容的圖像檢索系統(tǒng)研發(fā)與應(yīng)用[J].華章，2012（29）：22.

[4] 劉麗，匡綱要.圖像紋理特征提取方法綜述[J].中國圖象圖形學(xué)報，2013，14（4）：622?635.

[5] KANUNGO T， MOUNT D M， NETANYAHU N S， et al. An efficient k?means clustering algorithm： analysis and implementation [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（7）： 881?892.

[6] WILLIAMS A， YOON P. Content?based image retrieval using joint correlograms [J]. Multimedia tools and applications， 2007， 34（2）： 239?248.

篇3

【Abstract】Based on the concepts of genetic algorithm and BP neural network，the paper studies the optimization of BP neural network algorithm， and the effectiveness of the algorithm is verified by an example.

【關(guān)鍵詞】遺傳算法；BP神經(jīng)網(wǎng)絡(luò)；優(yōu)化算法

【Keywords】genetic algorithm； BP neural network； algorithm optimization

【中圖分類號】TPl83 【文獻(xiàn)標(biāo)志碼】A 【文章編號】1673-1069（2017）04-0135-02

1 引言

神經(jīng)網(wǎng)絡(luò)是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學(xué)模型，憑借著復(fù)雜的系統(tǒng)結(jié)構(gòu)，通過對系統(tǒng)內(nèi)部節(jié)點連接關(guān)系的調(diào)節(jié)，實現(xiàn)對信息的高效處理。作為技術(shù)最為成熟的神經(jīng)網(wǎng)絡(luò)模擬，BP神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)、自適應(yīng)以及泛化能力，在許多領(lǐng)域中都有著廣泛的應(yīng)用。而針對BP神經(jīng)網(wǎng)絡(luò)在應(yīng)用環(huán)節(jié)存在的問題，需要采取相應(yīng)的優(yōu)化算法，提升神經(jīng)網(wǎng)絡(luò)的收斂速度和理能力。

2 遺傳算法與BP神經(jīng)網(wǎng)絡(luò)

遺傳算法遵循的是生物界中適者生存的法則，其基本原理，是指將問題參數(shù)進行編碼，形成染色體，通過迭代的方式，運用選擇、變異、交叉等運算，對種群中染色體的信息進行交換，繼而形成能夠滿足優(yōu)化目標(biāo)的染色體。

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)最初產(chǎn)生于1986年，屬于一種依照誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，也是當(dāng)前技術(shù)條件下應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，其可以對輸入-輸出模式的映射關(guān)系進行學(xué)習(xí)和存儲，同時不需要對能夠揭示這些映射關(guān)系的方程進行描述。神經(jīng)網(wǎng)絡(luò)具備自適應(yīng)和自組織能力，在進行學(xué)習(xí)和訓(xùn)練的過程中，可以通過改變突觸權(quán)重值的方式，更好地適應(yīng)周邊環(huán)境的變化。在同一個神經(jīng)網(wǎng)絡(luò)中，如果內(nèi)容不同，學(xué)習(xí)方式不同，則會產(chǎn)生不同的功能。人工神經(jīng)網(wǎng)絡(luò)從本質(zhì)上看，更加接近具備自主學(xué)習(xí)能力的系統(tǒng)，可以通過不斷的學(xué)習(xí)，超出最初設(shè)計的知識水平。在人工神經(jīng)網(wǎng)絡(luò)中，比較常見的學(xué)習(xí)方法有兩種，一是有監(jiān)督的學(xué)習(xí)，可以結(jié)合標(biāo)準(zhǔn)樣本，進行分類或者模仿，二是無監(jiān)督的學(xué)習(xí)，在制定相應(yīng)的學(xué)習(xí)規(guī)則后，系統(tǒng)會根據(jù)自身所處環(huán)境，進行學(xué)習(xí)內(nèi)容的分析和選擇，更加接近人腦的功能特點。

3 基于遺傳算法的優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法

3.1 算法基本原理

①BP算法。BP神經(jīng)網(wǎng)絡(luò)算法主要包括了數(shù)據(jù)流的前向計算和誤差信號的反向傳播兩個方面的內(nèi)容，結(jié)合三層BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，假定x為網(wǎng)絡(luò)輸入，y為結(jié)果輸出，當(dāng)處于正向傳播過程時，數(shù)據(jù)的傳輸為輸入層隱層輸出層，每一層神經(jīng)元的狀態(tài)僅僅會影響下一層神經(jīng)元，而如果輸出層無法獲得期望輸出，則會自動轉(zhuǎn)向誤差信號的反向傳播流程。在BP神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)的訓(xùn)練實際上是對閾值和權(quán)值進行調(diào)整的過程，當(dāng)網(wǎng)絡(luò)誤差縮小到設(shè)定值，或者訓(xùn)練步數(shù)達(dá)到設(shè)定步數(shù)時，會自動停止訓(xùn)練。

②遺傳算法。遺傳算法可以從代表問題可能潛在解集的種群開始，種群中的每一個染色體都帶有相應(yīng)的特征，染色體可以看作若干基因的集合，為了便于分析，需要做好編碼，完成從表現(xiàn)型到基因型的映射。在演化過程中，依照問題域中存在的個體的適應(yīng)度，進行個體的挑選和交叉，然后變異出新的解集種群。選擇末代種群中的最優(yōu)個體進行解碼，就可以得到問題的近似最優(yōu)解。

3.2 優(yōu)化BP算法

BP神經(jīng)網(wǎng)絡(luò)算法具有極強的局部尋優(yōu)能力，但是容易陷入局部極小的問題，遺傳算法具有良好的全局優(yōu)化性和自適應(yīng)性，但是局部尋優(yōu)能力不足。對此，可以將遺傳算法與BP算法結(jié)合起來，實現(xiàn)對于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和網(wǎng)絡(luò)權(quán)值、網(wǎng)絡(luò)閾值的優(yōu)化。

①權(quán)值優(yōu)化。在傳統(tǒng)的BP網(wǎng)絡(luò)中，連接權(quán)值的學(xué)習(xí)算法容易陷入局部極小，無法得到全局最優(yōu)。對此，可以引入遺傳算法代替?zhèn)鹘y(tǒng)的學(xué)習(xí)方法，對神經(jīng)網(wǎng)絡(luò)的權(quán)值進行優(yōu)化。在這個過程中，需要解決幾個比較關(guān)鍵的問題，一是編碼方案，可供選擇的權(quán)值編碼方式包括實數(shù)編碼和二級制編碼，前者是以實數(shù)表示權(quán)值，非常直觀，不過需要對遺傳算子進行重新設(shè)計，后者是利用0，1字符串表示權(quán)值；二是適應(yīng)度函數(shù)，引入遺傳算法后，網(wǎng)絡(luò)的機構(gòu)以確定，在這種情況下，網(wǎng)絡(luò)的誤差越大，適應(yīng)度越?。蝗沁M化過程，主要是對選擇、交叉、變異算子的選擇，如果必要，也可以重新設(shè)計；四是混合訓(xùn)練神經(jīng)網(wǎng)絡(luò)，遺傳算法能夠在大規(guī)模、復(fù)雜性的空間中實現(xiàn)可靠搜索，而且不需要有關(guān)誤差函數(shù)梯度的信息，優(yōu)勢相當(dāng)明顯?？梢酝ㄟ^在誤差函數(shù)中增加懲罰項的方式，降低網(wǎng)絡(luò)的復(fù)雜程度。

②權(quán)值和結(jié)構(gòu)同時優(yōu)化。BP神經(jīng)網(wǎng)絡(luò)連接權(quán)的進化，要求明確的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)直接影響著神經(jīng)網(wǎng)絡(luò)本身對于信息的處理能力。神經(jīng)網(wǎng)路的結(jié)構(gòu)包括了網(wǎng)絡(luò)連接方式（拓?fù)浣Y(jié)構(gòu)）和節(jié)點轉(zhuǎn)換函數(shù)，完善的結(jié)構(gòu)不僅需要能夠?qū)栴}進行有效解決，還不能存在冗余節(jié)點和冗余連接。伴隨著進化算法的應(yīng)用，網(wǎng)絡(luò)設(shè)計在很多時候被看作搜索問題，評價的標(biāo)準(zhǔn)包括了抗噪性、學(xué)習(xí)準(zhǔn)確率以及泛化能力等。結(jié)構(gòu)進化的關(guān)鍵體現(xiàn)在結(jié)構(gòu)編碼和算子設(shè)計，而結(jié)構(gòu)編碼方案則會影響算子設(shè)計的效果。以三層前饋型BP網(wǎng)絡(luò)為例，其輸入層和輸出層節(jié)點的數(shù)量已經(jīng)確定，優(yōu)化算法需要重點研究隱含層的節(jié)點數(shù)量?？紤]到問題本身的復(fù)雜性，二進制編碼的方法并不適用，因此選擇實數(shù)編碼，在隱含層節(jié)點增加二級制編碼作為控制基因，通過隨機函數(shù)產(chǎn)生。當(dāng)控制基因的數(shù)值為0時，對應(yīng)的隱含層節(jié)點對輸出層無用，而當(dāng)控制基因的數(shù)值為1時，隱含層節(jié)點對輸出層作用。需要注意的一點，當(dāng)選擇實數(shù)編碼方案時，為了明確編碼的長度，需要確定隱層的最大神經(jīng)元數(shù)目。

4 仿真試驗

結(jié)合已知數(shù)據(jù)，對某地區(qū)小麥吸漿蟲的發(fā)生程度進行預(yù)測。對問題進行深入分析，可以轉(zhuǎn)化為相應(yīng)的輸入輸出系統(tǒng)，可以通過神經(jīng)網(wǎng)絡(luò)進行表達(dá)。現(xiàn)有的研究成果表明，小麥吸漿蟲的發(fā)生與氣候因素關(guān)系密切，因此可以利用氣象因子對問題進行分析。選擇2000年到2015年的氣象數(shù)據(jù)，設(shè)置40個研究樣本，以x1-x14表示需要處理的原始數(shù)據(jù)（氣象因子），Y表示小麥吸漿蟲的發(fā)生程度。從減小誤差的角度，對原始數(shù)據(jù)進行預(yù)處理。以優(yōu)化后的BP算法進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，結(jié)合訓(xùn)練結(jié)果進行MATLAB仿真。在仿真試驗中，需要做好一些關(guān)鍵參數(shù)額的設(shè)置，遺傳算法和BP算法的最大代數(shù)分別為100，BP算法均方誤差為0.001，會激活函數(shù)為雙曲正切S型，線性輸出層，學(xué)習(xí)算法被設(shè)置為經(jīng)過改進的自適應(yīng)學(xué)習(xí)率的梯度下降學(xué)習(xí)算法。

設(shè)定14作為隱層神經(jīng)元的上限，由于編碼長度固定且迭代代數(shù)一定，在所有的試驗中，遺傳算法的復(fù)雜度都是相同的。結(jié)合仿真試驗分析，隱含神經(jīng)元的最優(yōu)數(shù)目為5、6、7，與傳統(tǒng)方法得到的結(jié)果基本一致。相比較而言，利用遺傳算法同時進行結(jié)構(gòu)和權(quán)值的優(yōu)化，最為顯著的優(yōu)勢在于能夠?qū)﹄[層神經(jīng)元的數(shù)目進行自適應(yīng)確定，減少嘗試的次數(shù)，提升計算效率。

而結(jié)合相應(yīng)的訓(xùn)練結(jié)果分析，利用遺傳算法進行BP神經(jīng)網(wǎng)絡(luò)連接權(quán)值的優(yōu)化，相比較傳統(tǒng)算法更加有效，不過同樣需要進行網(wǎng)絡(luò)結(jié)構(gòu)的嘗試，換言之就是選擇合適的隱層神經(jīng)元數(shù)目。不僅如此，利用遺傳算法同時對神經(jīng)網(wǎng)絡(luò)的權(quán)值和結(jié)構(gòu)進行優(yōu)化，智能型更強，可能找到合適的初始權(quán)值和優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)，不過，如果數(shù)據(jù)煩瑣，搜索的速度會變慢。

篇4

關(guān)鍵詞： 層次分析法； 神經(jīng)網(wǎng)絡(luò)； 電網(wǎng)安全； 安全評估

中圖分類號： TN911?34； TP22 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）15?0145?04

Abstract： The power grid safety situation analysis is realized based on the evaluation index. Since the nonlinear relationship among the safety assessment indexes causes the bad effect of security situation analysis， an evaluation method of power grid security situation analysis based on analytic hierarchy process （AHP） and neural network is proposed. The AHP is used to layer the multiple logical structures of the power grid， and the factors effecting on the security situation is set with weight. And then the weight of each influence factor is acquired， and according to which the influence factor with high power grid security interfe?rence is selected. The neural network model was trained with historical evaluation data to accomplish the power grid safety assessment. Experimental results show that the improved method can evaluate the power grid security accurately， and has high evaluation precision.

Keywords： analytic hierarchy process； neural network； power grid security； security assessment

0 引 言

電網(wǎng)安全關(guān)系到國家安全和社會穩(wěn)定，是電力企業(yè)生存和發(fā)展的根本。又由于電網(wǎng)系統(tǒng)龐大而復(fù)雜的綜合性，需要考慮的安全評估指標(biāo)較多[1?2]。不同電網(wǎng)安全評估指標(biāo)之間大都存在非線性關(guān)系，導(dǎo)致傳統(tǒng)方法無法準(zhǔn)確描述不同指標(biāo)間存在的關(guān)聯(lián)性，得到的電網(wǎng)安全評估結(jié)果存在較大偏差。在這種情況下，塑造有效的電網(wǎng)評估模型，成為相關(guān)學(xué)者的重點研究方向[3?6]。

文獻(xiàn)[7]提出融合因子分析法和層次分析法的電網(wǎng)評估方法，該方法的評估結(jié)果具有一定的有效性，但是存在較高的局限性。文獻(xiàn)[8]分析了采用模糊聚類和模糊推理產(chǎn)生穩(wěn)定性電壓評估的決策樹方法，實現(xiàn)電網(wǎng)電壓安全的有效評估，具有較高的效率，但是魯棒性較低。文獻(xiàn)[9]依據(jù)系統(tǒng)性能論以及層次分析法的電網(wǎng)安全評估方法，通過塑造電網(wǎng)優(yōu)勢函數(shù)對電網(wǎng)安全進行評估，當(dāng)系統(tǒng)性能存在較大波動時，該方法的評估精度將大大降低，穩(wěn)定性較差。文獻(xiàn)[10]提出通過模糊神經(jīng)網(wǎng)絡(luò)模型的電網(wǎng)評估模型，存在效率高和容易陷入局部最佳解的問題。

針對上述各種方法存在的問題，本文提出了一種基于層次分析法和神經(jīng)網(wǎng)絡(luò)的電網(wǎng)安全評估方法，采用層次分析法對全部可以影響電網(wǎng)安全的因素進行分析，運算各影響因素的權(quán)值，按照權(quán)重選擇對電網(wǎng)安全干擾最高的因素，將該因素當(dāng)成神經(jīng)網(wǎng)絡(luò)的輸入并塑造神經(jīng)網(wǎng)絡(luò)模型，依據(jù)歷史評估數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練后，對電網(wǎng)安全進行評估。實驗結(jié)果說明所提方法具有較高的評估準(zhǔn)確性。

1 層次分析法和神經(jīng)網(wǎng)絡(luò)的電網(wǎng)安全評估

層次分析法與神經(jīng)網(wǎng)絡(luò)結(jié)合的電網(wǎng)安全評估過程是：采用層次分析法構(gòu)建電網(wǎng)層次結(jié)構(gòu)，基于該結(jié)構(gòu)對影響電網(wǎng)安全評估的因素賦予權(quán)重，并通過層次分析軟件獲取電網(wǎng)安全的影響因素以及權(quán)重，按照權(quán)重大小選擇對電網(wǎng)安全干擾最高的因素，并將該因素當(dāng)成神經(jīng)網(wǎng)絡(luò)的輸入并塑造神經(jīng)網(wǎng)絡(luò)模型，通過歷史評估數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練后，對電網(wǎng)安全進行評估。在塑造的神經(jīng)網(wǎng)絡(luò)模型中，本文將影響因素數(shù)據(jù)當(dāng)成神經(jīng)元輸入層的輸入，運算結(jié)果看成網(wǎng)絡(luò)的輸出。

1.1 塑造電網(wǎng)層次結(jié)構(gòu)和電網(wǎng)安全評估指標(biāo)體系

1.1.1 電網(wǎng)層次結(jié)構(gòu)

層次分析法（Analytical Hierarchy Process，AHP）是一種將定性和定量相結(jié)合的，系統(tǒng)化、層次化的多方案分析方法。本文通過層次分析法分析干擾電網(wǎng)安全的因素，獲取各因素的權(quán)值，并采集對電網(wǎng)安全干擾最高的因素。

塑造電網(wǎng)的層次結(jié)構(gòu)，如圖1所示。假設(shè)構(gòu)建目標(biāo)為電網(wǎng)的安全與否，第1層包括全部影響電網(wǎng)安全的主因素，子因素則列于下一層。

1.1.2 電網(wǎng)安全影響因素及其權(quán)重的選擇

在上述電網(wǎng)層次結(jié)構(gòu)的基礎(chǔ)上，設(shè)置電網(wǎng)安全性指標(biāo)體系如圖2所示，包括安全輸電能力、靜態(tài)電壓安全性、拓?fù)浣Y(jié)構(gòu)脆弱性、暫態(tài)安全性和風(fēng)險指標(biāo)等五方面。

由圖2可知，影響電網(wǎng)安全狀態(tài)的因素很多。在獲得電網(wǎng)安全性評估指標(biāo)體系之后，通過層次分析法對影響電網(wǎng)安全評估的因素賦予權(quán)重，使用層次分析軟件獲取電網(wǎng)安全的影響因素以及權(quán)重，獲取結(jié)果如表1所示。

分析表1，從電網(wǎng)安全影響因素的權(quán)重值可以看出，電壓裕度和負(fù)荷裕度對電網(wǎng)安全影響重大，選擇表1中7個權(quán)重較大的因素，也就是表1中被標(biāo)注“*”的因素作為神經(jīng)網(wǎng)絡(luò)的輸入，并通過歷史評估數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練后，實現(xiàn)電網(wǎng)安全評估。

1.2 基于層次分析法和神經(jīng)網(wǎng)絡(luò)的電網(wǎng)安全評估

1.2.1 BP神經(jīng)網(wǎng)絡(luò)原理

BP神經(jīng)網(wǎng)絡(luò)是目前使用最廣泛的一種網(wǎng)絡(luò)，包括輸入層、若干隱含層以及輸出層。BP算法是一種監(jiān)督式的學(xué)習(xí)算法，其通過梯度檢索方法對已知的學(xué)習(xí)樣本進行分析，進而確保網(wǎng)絡(luò)的實際輸出值與期望輸出值的均方值誤差最小。BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)見圖3。圖3 中的[x1，x2，…，xm]為輸入特征向量，[y1，y2，…，yn]為輸出特征向量。

1.2.2 基于BP神經(jīng)網(wǎng)絡(luò)的電網(wǎng)安全評估

神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是由網(wǎng)絡(luò)的層數(shù)、各層的節(jié)點數(shù)以及節(jié)點之間的連接方式組成的。本文研究采用層次分析法結(jié)合BP神經(jīng)網(wǎng)絡(luò)對輸電網(wǎng)的安全運行過程進行建模評價。BP神經(jīng)網(wǎng)絡(luò)可以有一個或多個隱含層，而三層的BP神經(jīng)網(wǎng)絡(luò)能夠完成任意的[n]維到[m]維的映射，即一個隱含層已經(jīng)完全能夠模擬任意的非線性關(guān)系。

通過基于層次分析后的電網(wǎng)安全評估指標(biāo)體系，塑造3層神經(jīng)網(wǎng)絡(luò)。將表1中7個權(quán)重較大的因素作為神經(jīng)網(wǎng)絡(luò)的輸入。在BP神經(jīng)網(wǎng)絡(luò)模型中采用三層網(wǎng)絡(luò)，輸入節(jié)點是層次分析法中的7個影響因素，輸出節(jié)點是1，隱層的節(jié)點數(shù)為6。學(xué)習(xí)方式是BP神經(jīng)網(wǎng)絡(luò)算法。

實現(xiàn)電網(wǎng)安全評估的過程如下：

2 實驗分析

為了驗證本文方法的有效性需要進行相關(guān)的實驗分析，實驗采用的對比方法為文獻(xiàn)[8]提出的基于模糊聚類的電網(wǎng)安全評估模型。實驗采用層次分析法，從國家電網(wǎng)公司某分電網(wǎng)評估歷史數(shù)據(jù)中采集5組電網(wǎng)安全評估重要因素權(quán)重樣本數(shù)據(jù)，如表2所示。并將這些樣本數(shù)據(jù)當(dāng)成神經(jīng)網(wǎng)絡(luò)的輸入值，將各組數(shù)據(jù)的評估結(jié)果作為期望輸出值對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，神經(jīng)網(wǎng)絡(luò)的輸入量是評估數(shù)據(jù)指標(biāo)通過歸一化處理后的值。并將這些權(quán)重作為神經(jīng)網(wǎng)絡(luò)的7個輸入節(jié)點，設(shè)置隱含層節(jié)點數(shù)為6，輸出節(jié)點數(shù)為1，該節(jié)點用來表示綜合評價結(jié)果。

將表2中的樣本數(shù)據(jù)列入神經(jīng)網(wǎng)絡(luò)模型，以得到預(yù)期的輸出結(jié)果，對神經(jīng)網(wǎng)絡(luò)進行測試訓(xùn)練，設(shè)置學(xué)習(xí)速率為0.02，學(xué)習(xí)精度為0.001，通過訓(xùn)練2次后，神經(jīng)網(wǎng)絡(luò)的誤差曲線斜率接近于零，滿足精度要求。

然后對5組檢驗樣本進行安全評價，輸出驗證結(jié)果如表3所示。分析表3可得，神經(jīng)網(wǎng)絡(luò)預(yù)測輸出值同期望輸出結(jié)果間的誤差達(dá)到了0.001，輸出電網(wǎng)安全等級同期望輸出結(jié)果相匹配，說明本文提出的基于層次分析法和神經(jīng)網(wǎng)絡(luò)的電網(wǎng)安全評估方法是有效的，可用于實際電網(wǎng)安全等級的評價。

為了進一步驗證本文方法的準(zhǔn)確性，對比分析本文方法和文獻(xiàn)[8]方法的評估精度，兩種方法的輸出結(jié)果和期望的輸出結(jié)果對比情況如圖4和圖5所示。

對比分析圖4和圖5可得，相比文獻(xiàn)[8]方法，本文方法的預(yù)測值同實際值間具有較高的匹配度，誤差較低，本文方法對電網(wǎng)安全的評估精度較高。實驗結(jié)果說明，通過本文提出的層次分析法分析出的輸入因素越重要，風(fēng)險評估的結(jié)果越佳，并且降低了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，提高了學(xué)習(xí)效率，大大增強了電網(wǎng)安全評估精度。

3 結(jié) 論

本文提出一種基于層次分析法和神經(jīng)網(wǎng)絡(luò)的電網(wǎng)安全評估方法，將層次分析法和神經(jīng)網(wǎng)絡(luò)相結(jié)合，用于評估電網(wǎng)的安全。采用層次分析法塑造電網(wǎng)層次結(jié)構(gòu)，對全部干擾電網(wǎng)安全的因素進行分析，獲取各影響因素的權(quán)重，按照權(quán)重大小選擇對電網(wǎng)安全干擾較高的影響因素，并將這些影響因素當(dāng)成神經(jīng)網(wǎng)絡(luò)的輸入，同時塑造神經(jīng)網(wǎng)絡(luò)模型，通過歷史評估數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練后，完成電網(wǎng)的安全評估。實驗結(jié)果說明，所提方法可對電網(wǎng)安全進行準(zhǔn)確評比，并且評估精度也較高。

參考文獻(xiàn)

[1] 張東霞，姚良忠，馬文媛.中外智能電網(wǎng)發(fā)展戰(zhàn)略[J].中國電機工程學(xué)報，2013，33（31）：1?14.

[2] 孫玉嬌，周勤勇，申洪.未來中國輸電網(wǎng)發(fā)展模式的分析與展望[J].電網(wǎng)技術(shù)，2013，37（7）：1929?1935.

[3] 田洪迅，袁蓉，趙淵.含分布式電源的配網(wǎng)可靠性概率計算[J].電網(wǎng)技術(shù)，2013，37（6）：1562?1569.

[4] 牛東曉，魏亞楠.基于FHNN相似日聚類自適應(yīng)權(quán)重的短期電力負(fù)荷組合預(yù)測[J].電力系統(tǒng)自動化，2013，37（3）：54?57.

[5] 尚文，王維民，齊鵬逸，等.基于條件規(guī)則與故障樹法的燃?xì)廨啓C故障診斷[J].機電工程，2013，30（7）：798?802.

[6] 李志鏗，汪隆君，王鋼，等.計及故障重構(gòu)的含分布式電源配電網(wǎng)可靠性評估[J].電力系統(tǒng)自動化，2013，37（4）：35?40.

[7] 郭創(chuàng)新，陸海波，俞斌，等.電力二次系統(tǒng)安全風(fēng)險評估綜述[J].電網(wǎng)技術(shù)，2013，37（1）：112?118.

[8] 吳旭，張建華，趙天陽，等.基于模糊聚類和模糊推理的電網(wǎng)連鎖故障預(yù)警方法[J].電網(wǎng)技術(shù)，2013，37（6）：1659?1665.

篇5

Abstract: An artificial neural network (ANN) model about thermodynamic parameters evaluation of blasting agent was set up.After being trained by a train-set containing 6 compositions, the BP model was used to predict the thermodynamic parameters of blasting agent, and the predicted values were compared with that of experiments.The results showed that the most prediction is 2.05%, and the ANN model was capable of making accurate predictions of explosion parameters of blasting agent.

關(guān)鍵詞: 人工神經(jīng)網(wǎng)絡(luò);膨脹石墨;燃爆劑;預(yù)測

Key words: artificial neural network;expanded graphite;blasting agent;prediction

中圖分類號:E91文獻(xiàn)標(biāo)識碼:A文章編號:1006-4311(2010)31-0176-02

0引言

膨脹石墨用燃爆劑的配方設(shè)計直接關(guān)系到膨脹石墨成煙效果及干擾效能[1]。近年來,國內(nèi)有關(guān)膨脹石墨的研究多針對于其自身的性能,而有關(guān)燃爆劑配方的研究很少,且多停留于重復(fù)試驗上,研究周期長且耗時耗力。因此尋找一種科學(xué)合理且操作方便的方法來預(yù)測和指導(dǎo)膨脹石墨用燃爆劑配方,是本領(lǐng)域關(guān)注的一個問題。

人工神經(jīng)網(wǎng)絡(luò)(ANN)是一種模擬人腦功能的數(shù)據(jù)和知識等信息的處理加工系統(tǒng),目前已在函數(shù)逼近、模式識別、智能控制、組合優(yōu)化和仿真預(yù)測等領(lǐng)域取得成功應(yīng)用,成為人工智能的重要發(fā)展方向[2]。神經(jīng)網(wǎng)絡(luò)技術(shù)通過模擬人類認(rèn)知的微結(jié)構(gòu),把輸入矢量和輸出矢量訓(xùn)練成網(wǎng)絡(luò)并以此逼近一個函數(shù),避開了燃燒理論的建模與運算,有利于指導(dǎo)煙火藥劑的合成和燃燒性能預(yù)測[3]。

本文采用一種改進的反向傳播學(xué)習(xí)算法:選用多層前饋型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),采用改進的BP算法建立網(wǎng)絡(luò)構(gòu)架,確定網(wǎng)絡(luò)學(xué)習(xí)方式并進行訓(xùn)練仿真,模擬燃爆劑燃爆反應(yīng)并預(yù)測燃燒體系產(chǎn)物的特性參數(shù),并對仿真結(jié)果與試驗結(jié)果進行對比研究。

1配方選擇

膨脹石墨用燃爆劑是一種以高熱值可燃物與強氧化劑為基本成分,根據(jù)實際需要加入某種添加劑的多組分混合物,在文獻(xiàn)[4]中作者已對相關(guān)配方利用正交試驗進行了優(yōu)化,得到了較好的結(jié)果。本文采用該文獻(xiàn)中已有的燃爆劑配方組分(NaNO3、KClO4、Mg和C49H78O20)和9組數(shù)據(jù)來驗證神經(jīng)網(wǎng)絡(luò)在配方預(yù)測中應(yīng)用的可行性。在燃爆劑配方中,KClO4作為氧化劑,具有分解時吸熱較少,熔點適中,在反應(yīng)界面易產(chǎn)生液-氣組分,有利于反應(yīng)的自發(fā)進行及反應(yīng)的持續(xù);Mg作為可燃劑,具有燃燒熱大、燃燒溫度高,能夠提供可膨脹石墨膨化所需的能量及高溫,且蒸汽壓大,能使燃爆劑燃燒反應(yīng)進行得更迅速、完全,更容易引起NaNO3煙火藥的爆炸分解;C49H78O20作為粘結(jié)劑,具有較高的燃燒熱(5038kJ/kg),可提高燃爆劑的熱能釋放量,還具有耐酸性好、與可膨脹石墨相容性好等特點。

2神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)

在配方設(shè)計中,神經(jīng)網(wǎng)絡(luò)算法所要解決的問題是在分析已有的燃爆劑配方組成及其性能參數(shù)基礎(chǔ)上,對其他配比不同的燃爆劑進行性能預(yù)測。由于已知的配方為9組,未來保證訓(xùn)練的精度和測試的完整性,所以選擇其中6組配方為訓(xùn)練樣本,剩余3組為測試樣本。

2.1 神經(jīng)網(wǎng)絡(luò)構(gòu)建依據(jù)所要解決問題的特點,BP網(wǎng)絡(luò)的構(gòu)架由一個輸入層、一個隱含層及一個輸出層組成。其中輸入層為6×4的矩陣,表示6組配方中四種成分(NaNO3,KClO4,Mg,C49H78O20)的質(zhì)量分?jǐn)?shù),每組配方的試驗測試值設(shè)為期望輸出矩陣;隱含層的神經(jīng)元個數(shù)為20,神經(jīng)元傳遞函數(shù)選定為tansigmoid函數(shù)(tansig());設(shè)定輸出層的神經(jīng)元個數(shù)為2,分別代表體系的絕熱燃燒溫度和產(chǎn)物中固體質(zhì)量分?jǐn)?shù)。神經(jīng)元傳遞函數(shù)為純線性函數(shù)(purelin()),據(jù)此可以得到用于仿燃爆劑燃爆反應(yīng)特征輸出的BP網(wǎng)絡(luò)結(jié)構(gòu)(見圖1)。圖中Pl表示輸入矩陣,w1,1表示輸入到神經(jīng)元的連接權(quán)值矩陣,wL2,1表示神經(jīng)元到輸出的連接權(quán)值矩陣,θ1、θ2表示神經(jīng)元的閾值,n1、n2表示神經(jīng)元的加權(quán)求和,y=tansigw1,1P+θ1表示神經(jīng)元的輸出,y2=purelinwL2,1y+θ2表示輸出層的模擬計算結(jié)果[5]。

對于上述BP網(wǎng)絡(luò),假設(shè)神經(jīng)元輸入節(jié)點xi,隱含層節(jié)點yj,輸出節(jié)點zl,輸入節(jié)點和隱含層節(jié)點的權(quán)值為wji,隱含層節(jié)點和輸出節(jié)點間的權(quán)值為vlj,當(dāng)輸出節(jié)點的期望值為時El(l=1,2),模型的計算式如下。

傳遞函數(shù) f(x)=tansig(x)= (1)

隱層節(jié)點的輸出y=fw-θj(2)

輸出節(jié)點的計算輸出 zl=fw-θl (3)

權(quán)值修正 w(k+1)=w(k)+w=w(k)+x (4)

v(k+1)=v(k)+v=v(k)+y(5)

式中:為學(xué)習(xí)速度;隱層節(jié)點誤差=yv,v表示輸出節(jié)點zl的誤差通過權(quán)值vj向節(jié)點yj反向傳播成為隱層節(jié)點誤差;輸出節(jié)點誤差=-(El-zl)z。

收斂性判定H=(E-z)=E-fvy-θ=E-fvfwx-θ-θ(6)

當(dāng)H小于設(shè)定誤差時,網(wǎng)絡(luò)訓(xùn)練完成,從而建立了輸入到輸出的定量數(shù)學(xué)模型,利用訓(xùn)練好的網(wǎng)絡(luò)可對未知樣本進行預(yù)測。

2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)輸入為6組NaNO3、KClO4、Mg和C49H78O20的不同配比的配方組成,期望函數(shù)為體系絕熱燃燒溫度和產(chǎn)物中固體質(zhì)量分?jǐn)?shù)的試驗測試值(見表1)。

采用Levenberg―Marquardt方法[6]訓(xùn)練網(wǎng)絡(luò),當(dāng)計算量達(dá)到100次時,仿真結(jié)果與實驗值的相對誤差接近10-4,據(jù)此認(rèn)為算法的精度和計算速度滿足使用要求。

3結(jié)果與討論

為了評價網(wǎng)絡(luò)模型預(yù)測結(jié)果和試驗結(jié)果的一致性,抽取已測定絕熱燃燒溫度和產(chǎn)物中固體的質(zhì)量分?jǐn)?shù)的3組配方并對其進行網(wǎng)絡(luò)計算(見表2)。3組配方的仿真計算結(jié)果及其與試驗結(jié)果的誤差對比如圖2、圖3所示。

從圖2、圖3可以看出,利用人工神經(jīng)網(wǎng)絡(luò)算法建立的自適應(yīng)非線性數(shù)學(xué)模型能較好地模擬燃爆劑燃爆熱力學(xué)參數(shù),模擬值與試驗值非常接近,絕熱燃燒溫度和產(chǎn)物中固體質(zhì)量分?jǐn)?shù)的最大模擬誤差分別為2.05%和1.03%,精度較高,較好地模擬了燃爆劑燃爆熱力學(xué)性能。

4結(jié)論

利用6組燃爆劑配方的配比作為輸入矩陣和期望輸出矩陣,建立了預(yù)測其燃爆熱力學(xué)參數(shù)的BP神經(jīng)網(wǎng)絡(luò)定量模型,通過3組配方的預(yù)測結(jié)果和相應(yīng)的試驗測試值進行了對比分析,結(jié)果表明:

①人工神經(jīng)網(wǎng)絡(luò)算法對燃爆劑燃爆熱力學(xué)參數(shù)的預(yù)測,有效地避開了熱力學(xué)模型的假設(shè)和參數(shù)的設(shè)置,結(jié)合Matlab神經(jīng)網(wǎng)絡(luò)工具箱對目標(biāo)函數(shù)的連續(xù)輸出,實現(xiàn)了對期望函數(shù)(試驗數(shù)據(jù))的無限逼近;

②仿真結(jié)果與試驗結(jié)果的誤差最大為2.05%,預(yù)測精度較高,神經(jīng)網(wǎng)絡(luò)可作為燃爆劑配方設(shè)計和熱力學(xué)參數(shù)預(yù)測的工具。

參考文獻(xiàn):

[1]伍士國.可膨脹石墨瞬時膨化及衰減8毫米波的動態(tài)性能研究[D].南京:南京理工大學(xué),2004:12-17.

[2]Hagan M T,Demuth H B.Neural network design[M].Boston:PWS Publishing Company,1996:1-36.

[3]Conkling J A.Chemistry of pyrotechnics[M].NewYork:Marcel Dekker,Inc.,1985:238-287.

[4]張倩,張勇,閆軍,焦清介.膨脹石墨用燃爆劑的配方優(yōu)化設(shè)計[J].火工品,2008,5:28-30.

篇6

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；圖像處理；訓(xùn)練時間

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）33-0167-04

如今在機器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)方法已經(jīng)占據(jù)了相當(dāng)重要的地位，通過模仿人X學(xué)習(xí)方式構(gòu)造模型，在圖像、文本、語音處理方面取得了顯著成果[1]。目前應(yīng)用較為廣泛的深度學(xué)習(xí)模型包含多層感知器模型（MLP）[2]，卷積神經(jīng)網(wǎng)絡(luò)模型和限制性玻爾茲曼機模型等[4]。多層感知器[2]網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)節(jié)點一般分層排列，主要由輸入層，輸出層和一些隱層組成，同層之間的神經(jīng)元節(jié)點無連接，相鄰的兩層神經(jīng)元進行全連接，前一層的神經(jīng)元的輸出作為后一層神經(jīng)元的輸入，但本身此種算法存在著一些問題，那就是它的學(xué)習(xí)速度非常慢，其中一個原因就是由于層與層之間進行全連接，所以它所需要訓(xùn)練的參數(shù)的規(guī)模是非常大的，所以對其進行改進，產(chǎn)生了卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識別方面的應(yīng)用十分廣泛[5，8，9]。從它的結(jié)構(gòu)上來看，層與層之間的神經(jīng)元節(jié)點采用局部連接模式，而并非MLP的全連接模型，這樣就降低了需要訓(xùn)練的參數(shù)的規(guī)模。而在它卷積層中，它的每一個濾波器作為卷積核重復(fù)作用于整個輸入圖像中，對其進行卷積，而得出的結(jié)果作為輸入圖像的特征圖[6]，這樣就提取出了圖像的局部特征。而由于每一個卷積濾波器共享相同的參數(shù)，這樣也就大大降低了訓(xùn)練參數(shù)的時間成本。而本文，以卷積神經(jīng)網(wǎng)絡(luò)為研究對象，在其模型的基礎(chǔ)上通過對其結(jié)構(gòu)中卷積核也就是濾波器的大小進行調(diào)整并結(jié)合卷積核個數(shù)調(diào)整和gpu加速等已有的訓(xùn)練提速方法，達(dá)到降低訓(xùn)練時間并且對識別結(jié)果并無太大影響的目的。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在MLP的基礎(chǔ)上，已經(jīng)對結(jié)構(gòu)進行了優(yōu)化，通過層與層之間的局部連接以及權(quán)值共享等方式對要訓(xùn)練的參數(shù)的進行了大幅減低。

1.1局部連接

BP神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元在本層中呈線性排列狀態(tài)，層與層之間進行全連接，而在卷積神經(jīng)網(wǎng)絡(luò)中，為了減少每層之間的可訓(xùn)練參數(shù)數(shù)量，對連接方式進行了修改，相對于BP神經(jīng)網(wǎng)絡(luò)的全連接，卷積神經(jīng)網(wǎng)絡(luò)采取了局部連接的連接方式[7]，也就是說按照某種關(guān)聯(lián)因素，本層的神經(jīng)元只會與上層的部分神經(jīng)元進行連接。

2.2 權(quán)值共享

在CNN中，卷積層中的卷積核也就是濾波器，重復(fù)作用在輸入圖像上，對其進行卷積，最后的輸出作為他的特征圖，由于每個濾波器共享相同的參數(shù)，所以說他們的權(quán)重矩陣以及偏置項是相同的。

我們從上圖看出，相同箭頭連線的權(quán)值是共享的，這樣在原有的局部連接的基礎(chǔ)上我們又降低了每層需要訓(xùn)練的參數(shù)的數(shù)量。

2.3卷積過程

特征圖是通過濾波器按照特定的步長，對輸入圖像進行濾波，也就是說我們用一個線性的卷積核對輸入圖像進行卷積然后附加一個偏置項，最后對神經(jīng)元進行激活。如果我們設(shè)第k層的特征圖記為[hk]，權(quán)重矩陣記為[Wk]，偏置項記為[bk]，那么卷積過程的公式如下所示（雙曲函數(shù)tanh作為神經(jīng)元的激活函數(shù)）：

2.4 最大池采樣

通過了局部連接與權(quán)值共享等減少連接參數(shù)的方式卷積神經(jīng)網(wǎng)絡(luò)中還有另外一個重要的概念那就是最大池采樣方法，它是一種非線性的采樣方法。最大池采樣法在對減少訓(xùn)練參數(shù)數(shù)量的作用體現(xiàn)在兩個方面：

1 ）它減小了來自m-1層的計算復(fù)雜度。

2 ）池化的單元具有平移不變性，所以即使圖像在濾波后有小的位移，經(jīng)過池化的特征依然會保持不變。

3卷積神經(jīng)網(wǎng)絡(luò)整體構(gòu)造以及減少訓(xùn)練時間的方法

3.1使用GPU加速

本次論文實驗中，使用了theano庫在python環(huán)境下實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，在lenet手寫數(shù)字識別模型上進行改進，由于theano庫本身支持GPU加速，所以在訓(xùn)練速度上實現(xiàn)了大幅度的提高。

3.2 數(shù)據(jù)集的預(yù)處理

本次實驗使用的兩個數(shù)據(jù)集是mnist手寫數(shù)字庫以及cifar_10庫

Mnist手寫數(shù)字庫具有60000張訓(xùn)練集以及10000張測試集，圖片的像素都為28*28，而cifar_10庫是一個用于普適物體識別的數(shù)據(jù)集，它由60000張32*32像素的RGB彩色圖片構(gòu)成，50000張圖片組成訓(xùn)練集，10000張組成測試集。而對于cifar_10數(shù)據(jù)集來說，由于圖片都是RGB的，所以我們在進行實驗的時候，先把其轉(zhuǎn)換為灰度圖在進行存儲。由于實驗是在python環(huán)境下運行，theano函數(shù)庫進行算法支持，所以我們把數(shù)據(jù)集進行處理，此處我們對使用的數(shù)據(jù)集進行了格式化。格式化的文件包括三個list，分別是訓(xùn)練數(shù)據(jù)，驗證數(shù)據(jù)和測試數(shù)據(jù)。而list中每個元素都是由圖像本身和它的相對應(yīng)的標(biāo)簽組成的。以mnist數(shù)據(jù)集為例，我們包含train_set，valid_set，test_set三個list，每個list中包含兩個元素，以訓(xùn)練集為例，第一個元素為一個784*60000的二維矩陣，第二個元素為一個包含60000個元素的列向量，第一個元素的每一行代表一張圖片的每個像素，一共60000行，第二個元素就存儲了對相應(yīng)的標(biāo)簽。而我們?nèi)∮?xùn)練樣本的10%作為驗證樣本，進行相同的格式化，而測試樣本為沒有經(jīng)過訓(xùn)練的10000張圖片。在以cifar_10數(shù)據(jù)集為實驗對象時，把其進行灰度化后，進行相同的格式化處理方式。

3.3實驗?zāi)Ｐ徒Y(jié)構(gòu)

本次實驗是在python環(huán)境下基于theano函數(shù)庫搭建好的lenet模型進行參數(shù)的調(diào)整，以達(dá)到在實驗準(zhǔn)確度可接受情況下減少訓(xùn)練時間的目的。

上圖為實驗中的基礎(chǔ)模型舉例說明實驗過程，首先以mnist數(shù)據(jù)集為例，我們的輸入圖像為一個28*28像素的手寫數(shù)字圖像，在第一層中我們進行了卷積處理，四個濾波器在s1層中我們得到了四張?zhí)卣鲌D。在這里要特別的說明一下濾波器的大小問題，濾波器的大小可根據(jù)圖像像素大小和卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)進行設(shè)置，舉例說明，假如說我們的輸入圖像為28*28像素的圖像，我們把第一層卷積層濾波器大小設(shè)置為5*5，也就是說我們用一個大小為5*5的局部滑動窗，以步長為一對整張圖像進行滑動濾波，則滑動窗會有24個不同的位置，也就是說經(jīng)過卷積處理后的C1層特征圖的大小為24*24。此處的濾波器大小可進行調(diào)整，本論文希望通過對濾波器大小的調(diào)整，已達(dá)到減少訓(xùn)練時間的目的，并尋找調(diào)整的理論依據(jù)。C1層的特征圖個數(shù)與卷積過程中濾波器數(shù)量相同。S1層是C1經(jīng)過降采樣處理后得到的，也就是說四點經(jīng)過降采樣后變?yōu)橐粋€點，我們使用的是最大池方法，所以取這四個點的最大值，也就是說S1層圖像大小為12*12像素，具有4張?zhí)卣鲌D。而同理S1層經(jīng)過卷積處理得到C2層，此時我們?yōu)V波器的大小和個數(shù)也可以自行設(shè)置，得到的C2層有6張?zhí)卣鲌D，C2到S2層進行降采樣處理，最后面的層由于節(jié)點個數(shù)較少，我們就用MLP方法進行全連接。

3.4實驗參數(shù)改進分析

由此可見，我們對濾波器的大小以及個數(shù)的改變，可以直接影響到卷積訓(xùn)練參數(shù)的個數(shù)，從而達(dá)到減少訓(xùn)練時間的目的。

從另一種角度來看，增大濾波器的大小，實際效果應(yīng)該相似于縮小輸入圖像的像素大小，所以這樣我們可以預(yù)測增大濾波器的大小會減少樣本的訓(xùn)練時間，但是這樣也可能會降低訓(xùn)練后的分類的準(zhǔn)確率，而濾波器的大小是如何影響訓(xùn)練時間以及分類準(zhǔn)確率的，我們通過對兩種圖片庫的實驗來進行分析。

4 實驗結(jié)果與分析

4.1以mnist手寫數(shù)字?jǐn)?shù)據(jù)集作為實驗數(shù)據(jù)

我們知道卷積層可訓(xùn)練參數(shù)的數(shù)字與濾波器的大小和數(shù)字有關(guān)，所以我們通過對卷積層濾波器大小的變化來尋找較為普遍的可減少訓(xùn)練參數(shù)從而達(dá)到減少訓(xùn)練時間的目的。在實驗記錄中，我們表格縱列記錄兩層卷積層濾波器大小，橫列分別為對已經(jīng)過訓(xùn)練圖像識別和對未經(jīng)過訓(xùn)練的驗證圖像進行識別的錯誤率，最后記錄每種濾波器大小搭配的使用時間。我們設(shè)定每次試驗都進行100次重復(fù)訓(xùn)練，每次對權(quán)重矩陣進行優(yōu)化。

此處我們記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實驗之間的關(guān)系。兩層濾波器大小相加后相同的元素我們把其對應(yīng)時間做平均。

4.2以cifar_10數(shù)據(jù)集作為實驗數(shù)據(jù)

同樣是以100次循環(huán)訓(xùn)練進行測試，通過改變兩層中濾波器的大小來尋找減少訓(xùn)練時間的設(shè)定。

此處以同樣的方法，記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實驗之間的關(guān)系。

4.3實驗結(jié)果分析

從兩組試驗中，在不同的數(shù)據(jù)集下，我們得到了濾波器的大小與訓(xùn)練時間成反比的關(guān)系，而在減少了訓(xùn)練時間的同時確實增大了訓(xùn)練的錯誤率。

5 總結(jié)

通過實驗結(jié)果分析表明，增大卷積層濾波器大小的方法，在此兩種數(shù)據(jù)庫的情況下，是有效減小訓(xùn)練時間的方式，而在不同的數(shù)據(jù)庫對分類準(zhǔn)確率的影響程度不同，mnist手寫數(shù)字?jǐn)?shù)據(jù)庫中圖像之間的相似度非常高，所以濾波器的增大對準(zhǔn)確率產(chǎn)生的負(fù)面影響較小，而ifar_10數(shù)據(jù)集中圖像之間的相似度較小，所以增大濾波器的大小對其分類結(jié)果的準(zhǔn)確率的負(fù)面影響較大。

參考文獻(xiàn)：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.

[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.

[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.

[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.

[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.

[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.

篇7

（廣東外語外貿(mào)大學(xué) 金融學(xué)院，廣東 廣州 510006）

摘 要：作為一個具有巨大應(yīng)用前景研究方向，深度學(xué)習(xí)無論是在算法研究，還是在實際應(yīng)用（如語音識別，自然語言處理、計算機視覺）中都表現(xiàn)出其強大的潛力和功能.本文主要介紹這種深度學(xué)習(xí)算法，并介紹其在金融領(lǐng)域的領(lǐng)用.

關(guān)鍵詞 ：深度學(xué)習(xí)；受限波茲曼機；堆棧自編碼神經(jīng)網(wǎng)絡(luò)；稀疏編碼；特征學(xué)習(xí)

中圖分類號：TP181 文獻(xiàn)標(biāo)識碼：A 文章編號：1673-260X（2015）01-0037-03

1 深度學(xué)習(xí)的研究意義

深度學(xué)習(xí)是一類新興的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，因其緩解了傳統(tǒng)訓(xùn)練算法的局部最小性，引起機器學(xué)習(xí)領(lǐng)域的廣泛關(guān)注.深度學(xué)習(xí)的特點是，通過一系列邏輯回歸的堆棧作為運算單元，對低層數(shù)據(jù)特征進行無監(jiān)督的再表示（該過程稱為預(yù)學(xué)習(xí)），形成更加抽象的高層表示(屬性類別或特征)，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示.深度學(xué)習(xí)的這種特性由于與腦神經(jīng)科學(xué)理論相一致，因此被廣泛應(yīng)用于語音識別、自然語言處理和計算機視覺等領(lǐng)域.

生物學(xué)研究表明[1]：在生物神經(jīng)元突觸的輸出變化與輸入脈沖的持續(xù)時間有關(guān)，即依賴于持續(xù)一定時間的輸入過程，輸出信號既依賴于輸入信號的空間效應(yīng)和閾值作用，也依賴于時間總和效應(yīng).

傳統(tǒng)的深度學(xué)習(xí)方法雖然較好地模擬了生物神經(jīng)元的一個重要特性——空間總和效應(yīng)上的深度，卻忽視了生物神經(jīng)元的另一個重要特性——時間總和效應(yīng)上的寬度[2].因此，對于連續(xù)的時間變量問題（如語音識別），傳統(tǒng)深度學(xué)習(xí)方法只能將連續(xù)的時間函數(shù)關(guān)系轉(zhuǎn)化為空間關(guān)系，即離散化為時間序列進行處理.這樣做有幾個弊端：

（1）可能造成深度學(xué)習(xí)算法對時間采樣頻率的十分敏感，魯棒性較差.這使得，不同時間尺度下，需要使用不同的數(shù)據(jù)和算法.這無疑是十分不方便的；

（2）導(dǎo)致深度網(wǎng)絡(luò)規(guī)模過大，使得計算開銷增大、學(xué)習(xí)效果變差、泛化性能降低；

（3）難以滿足實際應(yīng)用對算法的實時性的要求，更難以體現(xiàn)連續(xù)輸入信息的累積效應(yīng)，大大降低深度學(xué)習(xí)算法的實用性.

因此，對傳統(tǒng)的深度學(xué)習(xí)算法進行改進，使其不但具有“深度”，亦能具有“寬度”，能夠?qū)B續(xù)時變數(shù)據(jù)進行更好的特征提取、提高算法效率和實用性，顯得勢在必行.基于這個切入點，本項目借鑒時頻分析與小波分析中的方法，結(jié)合數(shù)學(xué)分析領(lǐng)域中的泛函分析技術(shù)，與堆棧自編碼神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種新的深度學(xué)習(xí)算法——深度泛函網(wǎng)絡(luò).為了驗證算法的有效性及優(yōu)越性，本項目將把新算法應(yīng)用于金融時間序列的領(lǐng)域.

在目前國內(nèi)外對于深度學(xué)習(xí)的研究中，幾乎沒有任何將深度學(xué)習(xí)技術(shù)運用于金融數(shù)據(jù)的研究.通過提出并運用得當(dāng)?shù)纳疃刃蛄袑W(xué)習(xí)方法，我們期望從金融數(shù)據(jù)中抽取更高級的、具有經(jīng)濟學(xué)意義或預(yù)測性意義的高級特征（與人工設(shè)計的“技術(shù)指標(biāo)”相對應(yīng)），并開發(fā)相應(yīng)的量化交易策略，并與其它傳統(tǒng)算法進行對比，以說明所提算法的可行性和優(yōu)越性.

2 國內(nèi)外研究現(xiàn)狀

人類感知系統(tǒng)具有的層次結(jié)構(gòu)，能夠提取高級感官特征來識別物體（聲音），因而大大降低了視覺系統(tǒng)處理的數(shù)據(jù)量，并保留了物體有用的結(jié)構(gòu)信息.對于要提取具有潛在復(fù)雜結(jié)構(gòu)規(guī)則的自然圖像、視頻、語音和音樂等結(jié)構(gòu)豐富數(shù)據(jù)，人腦獨有的結(jié)構(gòu)能夠獲取其本質(zhì)特征[3].受大腦結(jié)構(gòu)分層次啟發(fā)，神經(jīng)網(wǎng)絡(luò)研究人員一直致力于多層神經(jīng)網(wǎng)絡(luò)的研究.訓(xùn)練多層網(wǎng)絡(luò)的算法以BP算法為代表，其由于局部極值、權(quán)重衰減等問題，對于多于2個隱含層的網(wǎng)絡(luò)的訓(xùn)練就已較為困難[4]，這使得實際應(yīng)用中多以使用單隱含層神經(jīng)網(wǎng)絡(luò)居多.

該問題由Hinton[5]所引入的逐層無監(jiān)督訓(xùn)練方法所解決.具體地，該法對深度神經(jīng)網(wǎng)絡(luò)中的每一層貪婪地分別進行訓(xùn)練：當(dāng)前一層被訓(xùn)練完畢后，下一層網(wǎng)絡(luò)的權(quán)值通過對該層的輸入（即前一層的輸出）進行編碼（Encoding，詳見下文）而得到.當(dāng)所有隱含層都訓(xùn)練完畢后，最后將使用有監(jiān)督的方法對整個神經(jīng)網(wǎng)絡(luò)的權(quán)值再進行精確微調(diào).在Hinton的原始論文中，逐層貪婪訓(xùn)練是通過受限波茲曼機（Restricted Boltzmann Machine,RBM）以及相對應(yīng)的對比散度方法（Contrastive Divergence）完成的.與通常的神經(jīng)元不同，RBM是一種概率生成模型，通常被設(shè)計為具有二元輸入-輸出（稱為Bernoulli-Bernoulli RBM）.通過對每一層的受限波茲曼機進行自底向上的堆棧（如圖1），可以得到深度信念網(wǎng)（Deep Belief Network,DBN）.

除了生成式的RBM，還有其他的深度學(xué)習(xí)結(jié)構(gòu)被廣泛使用和研究.如堆棧自編碼神經(jīng)網(wǎng)絡(luò)（Stacked Auto-Encoder Network,SAEN）[6],以及深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Network）[7]等.前者的優(yōu)勢在于可以簡單地采用通常的BP算法進行逐層預(yù)訓(xùn)練，并且引入隨機化過程的抗噪聲自編碼網(wǎng)絡(luò)（Denoising SAEN）泛化性能甚至超過DBN[8]；而后者則通過權(quán)值共享結(jié)構(gòu)減少了權(quán)值的數(shù)量，使圖像可以直接作為輸入，對平移、伸縮、傾斜等的變形具有高度不變性，因此在圖像識別領(lǐng)域有著廣泛應(yīng)用.

近年來，稀疏編碼（Sparse Encoding）和特征學(xué)習(xí)（Feature Learning）成為了深度學(xué)習(xí)領(lǐng)域較為熱門的研究方向.B.A.Olshausen[9]等針對人腦的視覺感知特性，提出稀疏編碼的概念.稀疏編碼算法是一種無監(jiān)督學(xué)習(xí)方法，它用來尋找一組“過完備”的基向量來更高效地表示輸入數(shù)據(jù)的特征，更有效地挖掘隱含在輸入數(shù)據(jù)內(nèi)部的特征與模式.針對稀疏編碼的求解問題，H.Lee等在2007年提出了一種高效的求解算法[10]，該算法通過迭代地求解兩個不同的凸規(guī)劃問題以提高效率.同年，H.Lee等發(fā)現(xiàn)，當(dāng)訓(xùn)練樣本為圖像時，對DBN的訓(xùn)練進行稀疏性的約束有利于算法學(xué)習(xí)到更高級的特征[11].例如，對手寫識別數(shù)據(jù)集進行訓(xùn)練時，稀疏性約束下的DBN算法自主學(xué)習(xí)到了“筆畫”的概念.

基于[10,11]的研究成果，R.Raina等[12]提出了“自導(dǎo)師學(xué)習(xí)（Self-Taught Learning）”的概念.與無監(jiān)督學(xué)習(xí)（Unsupervised Learning）和半監(jiān)督學(xué)習(xí)（Semi-supervised Learning）不同，自導(dǎo)師學(xué)習(xí)利用大量易獲得的無標(biāo)簽數(shù)據(jù)（可以來自不同類別甚至是未知類別），通過稀疏編碼算法來構(gòu)建特征的高級結(jié)構(gòu)，并通過支持向量機（Support Vector Machine,SVM）作為最終層分類器對少數(shù)有標(biāo)簽數(shù)據(jù)進行分類.這種更接近人類學(xué)習(xí)方式的模式極大提高了有標(biāo)簽數(shù)據(jù)的分類準(zhǔn)確度.與之類似，H.Lee,R.Grosse等[13]提出了一種具有層次結(jié)構(gòu)的特征學(xué)習(xí)算法.該算法將卷積神經(jīng)網(wǎng)絡(luò)與DBN結(jié)合，并通過稀疏正則化（Sparsity Regularization）的手段無監(jiān)督地學(xué)習(xí)層次化的特征表征.圖像識別實驗表明，該算法能夠自主學(xué)習(xí)得出“物體（Object Parts）”的概念，較好體現(xiàn)了人腦視覺感知的層次性和抽象性.

3 發(fā)展趨勢

由于信號處理、語音識別、金融時間序列分析、視頻分析等領(lǐng)域的實時應(yīng)用需求，研究能夠處理連續(xù)時變變量、自然體現(xiàn)時間聯(lián)系結(jié)構(gòu)的深度學(xué)習(xí)算法（即深度序列學(xué)習(xí)，Deep Sequence Learning）成為了新的研究熱點.G.W.Taylor,G.E.Hinton等[14]提出時間受限波茲曼機（Temporal RBM,TRBM）.該模型使用二值隱含元和實值可視元，并且其隱含元和可視元可以與過去一段歷史的可視元之間可以有向地被相連.同時，該模型被用于人類動作識別，并展現(xiàn)出了優(yōu)秀的性能.針對TRBM的一些不足，一些改進算法也不斷涌現(xiàn)，如[15,16].然而，該類深度學(xué)習(xí)模型雖然考慮了動態(tài)的時間變量之間的聯(lián)系，但依然只能處理離散時間問題，本質(zhì)上還是屬于轉(zhuǎn)化為空間變量的化歸法.同時，在自編碼網(wǎng)絡(luò)框架下，依然缺乏較好解決時間過程（序列）問題的方案.

4 金融時序數(shù)據(jù)中的應(yīng)用

傳統(tǒng)金融理論認(rèn)為，金融市場中的證券價格滿足伊藤過程，投資者無法通過對歷史數(shù)據(jù)的分析獲得超額利潤.然而，大量實證研究卻表明，中國股票價格波動具有長期記憶性，拒絕隨機性假設(shè)，在各種時間尺度上都存在的可以預(yù)測的空間.因此，如何建立預(yù)測模型，對于揭示金融市場的內(nèi)在規(guī)律，這無論是對于理論研究，還是對于國家的經(jīng)濟發(fā)展和廣大投資者，都具有重要的意義.

股票市場是一個高度復(fù)雜的非線性系統(tǒng)，其變化既有內(nèi)在的規(guī)律性，同時也受到市場，宏觀經(jīng)濟環(huán)境，以及非經(jīng)濟原因等諸多因素的影響.目前國內(nèi)外對證券價格進行預(yù)測的模型大致分為兩類：一是以時間序列為代表的統(tǒng)計預(yù)測模型；該類方法具有堅實的統(tǒng)計學(xué)基礎(chǔ)，但由于金融價格數(shù)據(jù)存在高噪聲、波動大、高度非線性等特征，使得該類傳統(tǒng)方法無法提供有效的工具.另一類是以神經(jīng)網(wǎng)絡(luò)、支持向量機等模型為代表的數(shù)據(jù)挖掘模型.該類模型能夠處理高度非線性的數(shù)據(jù)，基本上從擬合的角度建模.雖然擬合精度較高，但擬合精度的微小誤差往往和市場波動互相抵消，導(dǎo)致無法捕捉獲利空間甚至導(dǎo)致?lián)p失，外推預(yù)測效果無法令人滿意.因此，建立即能夠處理非線性價格數(shù)據(jù)，又有良好泛化能力的預(yù)測模型勢在必行.

——————————

參考文獻(xiàn)：

〔1〕Zhang L I, Tao H W, Holt C E, et al. A critical window for cooperation and competition among developing retinotectal synapses[J]. Nature, 1998, 395(6697).

〔2〕37-44.歐陽楷,鄒睿.基于生物的神經(jīng)網(wǎng)絡(luò)的理論框架——神經(jīng)元模型[J].北京生物醫(yī)學(xué)工程,1997,16(2):93-101.

〔3〕Rossi A F, Desimone R, Ungerleider L G. Contextual modulation in primary visual cortex of macaques[J]. the Journal of Neuroscience, 2001, 21(5): 1698-1709.

〔4〕Bengio Y. Learning deep architectures for AI[J]. Foundations and trends? in Machine Learning, 2009, 2(1):1-127.

〔5〕Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.

〔6〕Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103.

〔7〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.

〔8〕Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research, 2010, 9999: 3371-3408.

〔9〕Olshausen B A, Field D J. Sparse coding with an overcomplete basis set: A strategy employed by V1?[J]. Vision research, 1997, 37(23): 3311-3325.

〔10〕Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms[J]. Advances in neural information processing systems, 2007, 19: 801.

〔11〕Lee H, Ekanadham C, Ng A Y. Sparse deep belief net model for visual area V2[C]//NIPS. 2007, 7: 873-880.

〔12〕Raina R, Battle A, Lee H, et al. Self-taught learning: transfer learning from unlabeled data[C]//Proceedings of the 24th international conference on Machine learning. ACM, 2007: 759-766.

〔13〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.

〔14〕Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[J]. Advances in neural information processing systems, 2007, 19: 1345.

篇8

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；SOM；城市分類

一、引言

城市分類不僅便于我們對各個城市的發(fā)展進行評估，并且為我們制定城市的發(fā)展決策提供了依據(jù)。然而，如何能夠進行科學(xué)的城市分類一直備受關(guān)注。而基于近些年來人工神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，它幫助我們解決了許多棘手的難題，其中的自組織特征映射網(wǎng)絡(luò)（SOM）具有強大的聚類功能，利用它可以幫助我們根據(jù)各個城市的特點從而進行科學(xué)分類，為加速我國城市的發(fā)展和城鎮(zhèn)化建設(shè)有著重要的意義。2005年吳聘奇、黃民生利用SOM網(wǎng)絡(luò)對福建省城市進行了職能分類，同年，劉耀彬、宋學(xué)鋒又基于SOM人工神經(jīng)網(wǎng)絡(luò)對長江三角洲地區(qū)城市職能分類做了研究。從而可見，基于人工神經(jīng)網(wǎng)絡(luò)的自組織特征映射網(wǎng)絡(luò)（SOM）在城市的分類問題確實可以發(fā)揮強大的作用。

評價一個城市的各個行業(yè)的發(fā)展，有許多指標(biāo)。其中行業(yè)就業(yè)人口是評價一個城市該行業(yè)的發(fā)展的基礎(chǔ)指標(biāo)。本文對山東地區(qū)城市的分類實證分析中，對各個城市的各行業(yè)就業(yè)人口數(shù)量進行了采集，其中包括農(nóng)林牧漁業(yè)，采礦業(yè)，制造業(yè)，電力、煤氣及水的生產(chǎn)和供應(yīng)業(yè)，建筑業(yè)，交通運輸、倉儲和郵政業(yè)，信息傳輸、計算機服務(wù)和軟件業(yè)，批發(fā)和零售業(yè)，房地產(chǎn)業(yè)，住宿和餐飲業(yè)，金融業(yè)，租賃和商務(wù)服務(wù)業(yè)，水利、環(huán)境和公共設(shè)施管理業(yè)，居民服務(wù)和其他服務(wù)業(yè)，教育，科學(xué)研究、技術(shù)服務(wù)和地質(zhì)勘查業(yè)，衛(wèi)生、社會保障和社會福利業(yè)，文化、體育和娛樂業(yè)，公共管理和社會組織等19個行業(yè)的從業(yè)人員數(shù)。然后，通過MATLAB軟件進行編程構(gòu)建，成功地將山東省的17個城市進行了分類，從而說明了SOM網(wǎng)絡(luò)在城市分類方面的確有優(yōu)于其他傳統(tǒng)方法的優(yōu)點。

二、SOM網(wǎng)絡(luò)的基本原理

（一）SOM網(wǎng)絡(luò)簡介

自組織特征映射網(wǎng)絡(luò)也稱Kohonen 網(wǎng)絡(luò)，或者稱為Self - Orgnizing Feature Map（ SOM） 網(wǎng)絡(luò)，它是由芬蘭學(xué)者Teuvo Kohonen于1981年提出的。該網(wǎng)絡(luò)是一個由全連接的神經(jīng)元陣列組成的無教師自組織、自學(xué)習(xí)網(wǎng)絡(luò)。Kohonen認(rèn)為，處于空間中不同區(qū)域的神經(jīng)元有不同的分工，當(dāng)一個神經(jīng)網(wǎng)絡(luò)接受外界輸入模式時，將會分成不同的反應(yīng)區(qū)域，各區(qū)域?qū)斎肽Ｊ骄哂胁煌捻憫?yīng)特征。

SOM網(wǎng)絡(luò)的一個典型特征就是可以在一維或二維的處理單元陣列上，形成輸入信號的特征拓?fù)浞植迹虼薙OM網(wǎng)絡(luò)具有抽取輸入信號模式特征的能力。SOM網(wǎng)絡(luò)一般只包含有一維陣列和二維陣列，但也可以推廣到多維處理單元陣列中去。

（二）SOM網(wǎng)絡(luò)學(xué)習(xí)算法

1、初始化。對N個輸入神經(jīng)元到輸出神經(jīng)元的連接權(quán)值賦予較小的權(quán)值。選取輸出神經(jīng)元j個“鄰接神經(jīng)元”的集合Sj。其中Sj(0)，表示時刻t=0的神經(jīng)元j的“鄰接神經(jīng)元”的集合，Sj(t)表示時刻t的“鄰接神經(jīng)元”的集合。區(qū)域Sj(t)隨著時間的增長而不斷縮小。

2、提供新的輸入模式X。

4、給出一個周圍的鄰域Sk(t)。

7、提供新的學(xué)習(xí)樣本來重復(fù)上述學(xué)習(xí)過程。

三、基于SOM網(wǎng)絡(luò)的城市分類實證分析

城市分類可以便于我們了解各個城市的發(fā)展?fàn)顩r，從而為我們制訂城市的發(fā)展決策提供依據(jù)?，F(xiàn)在人工神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了很大的發(fā)展，它為我們研究此類問題提供了一種新的工具和思路。所以基于這個問題，我們嘗試?yán)肧OM網(wǎng)絡(luò)來進行城市分類。SOM網(wǎng)絡(luò)是一種具有聚類功能的神經(jīng)網(wǎng)絡(luò)，并且它是無教師訓(xùn)練方式，我們只需要采集輸入樣本，而不必如入目標(biāo)值就可以得到我們想要的結(jié)果，可見SOM網(wǎng)絡(luò)使用也十分方便。

（一）網(wǎng)絡(luò)樣本設(shè)計

從山東省統(tǒng)計局網(wǎng)站，我們得到了山東省17個地級市城市的樣本。從中我們看出，原始指標(biāo)數(shù)據(jù)波動較大，而一般來說，神經(jīng)元的輸出函數(shù)在0-1之間最為靈敏，為了提高訓(xùn)練的效率，所以要把數(shù)據(jù)進行歸一化處理。歸一化處理方法為：找出每個指標(biāo)數(shù)據(jù)中的最大和最小值，利用（x-min）/（max-min）公式把所有數(shù)據(jù)歸一化為0到1之間的數(shù)。

（二）網(wǎng)絡(luò)設(shè)計

本文利用MATLAB R2008進行編程構(gòu)建。確定網(wǎng)絡(luò)的輸入模式為：

Pk=(P1k,P2k,…pkn) ，k=1,2,…17,n=19

即一共有17組城市樣本向量，每個樣本中包括19個元素。

1、首先利用函數(shù)newsom創(chuàng)建一個SOM網(wǎng)絡(luò)。根據(jù)實際情況本文創(chuàng)建網(wǎng)絡(luò)的競爭層分別選用3、4、5、6層的結(jié)構(gòu)。然后經(jīng)過實驗，分別觀察其性能，從而選取分類效果最好的一組。

2、利用函數(shù)train和仿真函數(shù)sim對網(wǎng)絡(luò)進行訓(xùn)練并仿真。仿真的步數(shù)大小同樣影響網(wǎng)絡(luò)的聚類性能，這里我們設(shè)置步數(shù)為1000。

最后經(jīng)過分類結(jié)果如表1所示。

（三）實驗結(jié)果分析

最后經(jīng)過分析篩選，發(fā)現(xiàn)當(dāng)這17個城市被劃分為6類時和現(xiàn)實情況較為符合。分類情況如表2所示。

第一類：從表中看出，濟南和青島被歸為了一類，并且在分類數(shù)為3、4、5、6時，濟南和青島都被列為了一類。從表中我們可以看到濟南、青島在各方面都優(yōu)于其他城市，尤其是制造業(yè)、教育、以及公共管理和社會組織方面。濟南是山東省省會，是全省、文化、經(jīng)濟，金融，教育中心，也是國家批準(zhǔn)的沿海開放城市和十五個副省級城市之一。青島是全國70個大中城市之一，全國五個計劃單列市之一。工業(yè)有紡織、機車車輛、機械、化學(xué)、石油化工、鋼鐵、橡膠、家用電器、啤酒、卷煙等。有馳名中外的青島啤酒、海爾集團、海信集團等大企業(yè)集團。并且，二者都有豐富的教育資源，全省大多高校均聚集在此。

第二類：淄博、泰安、德州、聊城在發(fā)展方面，各個方面較為均衡，沒有特別顯著的特點。四者的制造業(yè)、建筑業(yè)和教育大約位于全省中間地位。

第三類：棗莊、東營屬特殊職能類型城市。兩個城市相對其他城市來說，采礦業(yè)較為發(fā)達(dá)。棗莊境內(nèi)已探明地下礦藏36種：煤、鐵、銅、鋁、金、銀、鍶（天青石）、石膏、螢石、水泥原料灰?guī)r等。其中煤、石膏地質(zhì)儲量為15.4億噸和4.1億噸。而東營又稱“石油之城”，豐富的石油、天然氣資源。但是，兩個城市的制造業(yè)相對薄弱，其他產(chǎn)業(yè)大約處于平均水平。

第四類：煙臺在此被單獨分成了一類，其具有自身的特色，并且發(fā)展?jié)摿薮?。煙臺的制造業(yè)和交通運輸業(yè)位于全省前列。煙臺的工業(yè)主要以造船、輕紡、機械、建材、電子、冶金、醫(yī)藥等行業(yè)為主，并且還有張裕葡萄酒、三環(huán)鎖等煙臺的傳統(tǒng)產(chǎn)品。近年來，錦綸、白卡紙、電子網(wǎng)目板等技術(shù)水平較高的項目相繼投產(chǎn)。煙臺在地理位置上東連，西接濰坊，西南與毗鄰，北瀕、，與對峙，并與隔海相望，共同形成拱衛(wèi)首都的海上門戶。所以，煙臺的交通運輸業(yè)較為發(fā)達(dá)。另外，煙臺的招遠(yuǎn)金礦為煙臺采礦業(yè)也提供了大量了就業(yè)機會。

第五類：濰坊、臨沂、濟寧和菏澤在教育和公共管理和社會組織方面處于全省前列地位，其他方面稍稍遜色一些。

第六類：威海、日照、萊蕪、濱州這四個城市各個方面表現(xiàn)均不太突出，但是，這些城市的發(fā)展?jié)摿艽?。威海、日照屬沿海城市，交通便利，可以重點發(fā)展交通運輸業(yè)。萊蕪、濱州雖地處內(nèi)陸，但也可依附內(nèi)陸的經(jīng)濟中心――濟南來發(fā)揮特色經(jīng)濟。

四、結(jié)論

通過本文的研究，可以看出利用SOM網(wǎng)絡(luò)基本可以完成城市的分類研究，并且可以調(diào)整分類類別，來滿足不同的需要。但是，SOM的分類還不夠精確，這主要是采集數(shù)據(jù)的不完備性。因為信息的不完全，使SOM的聚類功能并未發(fā)揮極致。但是，利用SOM網(wǎng)絡(luò)，操作過程較傳統(tǒng)方法方便很多，只需收集數(shù)據(jù)，將其輸入網(wǎng)絡(luò)，網(wǎng)絡(luò)就能自行進行學(xué)習(xí)、訓(xùn)練，并且是無教師學(xué)習(xí)方式，不必輸入目標(biāo)值，這些優(yōu)點都是許多其他方法不能比擬的，相信隨著采集數(shù)據(jù)的完備性和精確性，這種方法在城市分類方面可以得到廣泛的應(yīng)用和推廣。

參考文獻(xiàn)：

1、神經(jīng)網(wǎng)絡(luò)理論與MATLAB R2007實現(xiàn)[M].電子工業(yè)出版社,2008.

2、吳聘奇,黃民生.SOM網(wǎng)絡(luò)在福建省城市職能分類中的應(yīng)用[J].經(jīng)濟地理,2005(1).

3、劉耀彬,宋學(xué)鋒.基于SOM人工神經(jīng)網(wǎng)絡(luò)的長江三角洲地區(qū)城市職能分類[J].云南地理環(huán)境研究,2005(11).

篇9

    論文摘要：隨著信息量以爆炸般的速度在急劇增長，當(dāng)前在信息管理方面所面臨的最嚴(yán)峻的挑戰(zhàn)不再是信息匾乏，而是缺少時間和精力來對如此眾多的信息進行分析、歸類與操作。本文探討了在內(nèi)容管理系統(tǒng)中內(nèi)容分類的實現(xiàn)方法。 

0 引言 

 

隨著信息量以爆炸般的速度在急劇增長，當(dāng)前在信息管理方面所面臨的最嚴(yán)峻的挑戰(zhàn)不再是信息匾乏，而是缺少時間和精力來對如此眾多的信息進行分析、歸類與操作。因此內(nèi)容的分類不僅有利于更快捷地實現(xiàn)內(nèi)容的查詢，而且有效的分類方法同樣有助于對紛雜的信息進行組織與歸類，有助于人們縮小查詢的范圍，節(jié)省時間和精力。可見內(nèi)容管理對內(nèi)容分類的要求是十分必要的。 

現(xiàn)在分類的方法大體上分為人工分類、自動化分類以及人機結(jié)合的混和方法三種。顯而易見，人工分類是最容易被想到的。但是這種方法顯而易見的過多的依賴于個人，且成本太高。并且當(dāng)內(nèi)容量過大的時候，單單依靠手工方法進行分類也不太現(xiàn)實，很容易成為系統(tǒng)的瓶頸。因此，人們更加關(guān)注于自動化分類方法?，F(xiàn)在主要應(yīng)用的自動化分類方法主要有以下幾種方法。 

 

1 自動化分類方法 

 

1.1 基于規(guī)則的分類方法：這種方法需要由對相關(guān)內(nèi)容極為了解的專家創(chuàng)建與維護一套規(guī)則用于將某篇文檔劃分到某個類中。專家使用if-then的規(guī)則形式組織歸類的相關(guān)概念。規(guī)則能夠支持復(fù)雜的操作，而且建立在規(guī)則之上的決策樹也相當(dāng)準(zhǔn)確。規(guī)則衡量了一個給定的文檔是否符合某個主題的判斷標(biāo)準(zhǔn)。顯然，建立這樣一種規(guī)則并不容易，并且專家對相關(guān)內(nèi)容知識的了解程度也相當(dāng)重要。 

1.2 基于自然語言的學(xué)習(xí)算法：該方法利用神經(jīng)網(wǎng)絡(luò)的方法，通過分析文檔的內(nèi)容區(qū)分文檔并將文檔進行分類。由于這種方法具有較高的容錯能力及語言獨立的操作性等特點，正在成為一種相對穩(wěn)定的分類方法。這種方法通過選擇文檔的表示方式或可能的格式，利用神經(jīng)網(wǎng)絡(luò)實現(xiàn)對內(nèi)容的分類，可以被應(yīng)用到文本文檔或文本片斷的分類中去。 

1.3 語義分析：這是以從文檔中提取關(guān)鍵的概念作為分類與檢索的基礎(chǔ)。語義分析過程共分為兩個階段，第一個階段的工作主要集中于一系列的語言算法以及語言獨立的統(tǒng)計技術(shù)的實現(xiàn)。當(dāng)用戶對系統(tǒng)中收集的信息進行查詢時則觸發(fā)該過程的第二階段，系統(tǒng)可以根據(jù)用戶的查詢需求以及可視化的分類結(jié)構(gòu)呈現(xiàn)給用戶個性化的、相關(guān)的查詢結(jié)果。 

1.4 模式匹配：這種方法是指尋找經(jīng)常聚在一起的一組詞或詞組的過程。一個主題可能通過語義分析進行處理。其他的識別模式還包括詞在文檔當(dāng)中的出現(xiàn)頻率、詞的位置、詞與詞之間的親近程度以及相關(guān)詞的聚類。模式匹配方法具有語言獨立的特點。 

1.5 聚類分析：這是通過識別內(nèi)容中的共性元素將內(nèi)容劃分為相似內(nèi)容子集。每篇文檔可以看作一些內(nèi)容的合集，聚類本質(zhì)上就是將每一袋中的相似內(nèi)容聚為一組。 

以上每一種分類方法都有其自身的優(yōu)點與不足，沒有哪一種單一的分類方法是十全十的。每種方法都有其適用的方面。所以，現(xiàn)在人們往往采用混合的分類方法。下面我們著重分析一種基于神經(jīng)網(wǎng)絡(luò)的分類方法。 

 

2 基于聚類分析的分類方法 

 

聚類分析是一種解決分類問題的探測性的數(shù)據(jù)分析方法。它的目標(biāo)是把人、事務(wù)、事件等聚為組或類，每一類描述它的對象所屬的類。該方法是通過建立一個對象間的相似性度量，使得類間的相似性盡量小，而類內(nèi)的相似性盡量大，從而得到在某種判別準(zhǔn)則之下的最佳分類，這種分類的結(jié)果未必使用簡單的概念就可以描述的。換言之，其分類的標(biāo)準(zhǔn)并不是顯而易見的。 

假設(shè)特征向量由n個特征參數(shù)x，x，…，x組成聚類分析按照一定的準(zhǔn)則，將這些特征向量點劃分為若干個群。聚類也用于將一個內(nèi)容的集合劃分為子集，也就是類。每一類內(nèi)的對象之間都比該類對象與屬于其它類的對象之間具有更大的相似性。 

芬蘭學(xué)者t.kohonen提出一種可以使得輸入信號映射到低維空間，且保持相同特征的輸入信號在空間上對應(yīng)鄰近區(qū)域的學(xué)習(xí)方式，稱為kohonen自組織特征映射(self-organizing feature maps, sofm)也稱kohonen自組織神經(jīng)網(wǎng)絡(luò)。 

kohonen自組織神經(jīng)網(wǎng)絡(luò)是一種前饋型網(wǎng)絡(luò)。在這種類型的神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒有反饋。節(jié)點分為兩類，即輸入單元和計算單元，每一計算單元可有任意多個輸入，但只有一個輸出。前饋網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i-1層的輸出相連，輸入和輸出節(jié)點與外界相連，而其它中間層則稱為隱層。 

前饋型網(wǎng)絡(luò)，由于kohonen自組織特征映射網(wǎng)絡(luò)除了具備以下主要性能，因此采用kohonen自組織神經(jīng)網(wǎng)絡(luò)來實現(xiàn)內(nèi)容的聚類。①對輸入數(shù)據(jù)有聚類作用，并可用聚類中心代表原輸入，起到數(shù)據(jù)壓縮作用。②保持拓?fù)溆行蛐?，輸入性相似的點映射后在空間上是鄰近的。③分布密度匹配，原數(shù)據(jù)中分布密的區(qū)域在映射圖上對應(yīng)較大的區(qū)域，分布稀的則對應(yīng)的區(qū)域也較小。 

自組織網(wǎng)絡(luò)采用沒有指導(dǎo)的學(xué)習(xí)過程，不必給定應(yīng)有的輸出，訓(xùn)練數(shù)據(jù)只有輸入而沒有輸出，網(wǎng)絡(luò)只靠輸入模式本身的特征，根據(jù)一定的判斷標(biāo)準(zhǔn)自行修改單元連接的強度，使權(quán)矢量在輸入向量空間中的分布近似于樣本的分布。這也就是為什么采用自組織神經(jīng)網(wǎng)絡(luò)來解決內(nèi)容的分類問題的原因和依據(jù)，因為在對內(nèi)容進行聚類前，可以分成什么樣的類以及不同的內(nèi)容歸屬的類別本來就是未知的。 

 

3 實現(xiàn)的步驟及方法 

 

在此研究一種利用智能技術(shù)得到內(nèi)容的分類結(jié)構(gòu)的方法。該方法通過人或統(tǒng)計工具對文本內(nèi)容進行預(yù)處理，將文本內(nèi)容以標(biāo)準(zhǔn)化的特征向量表示，然后利用kohonen自組織特征映射網(wǎng)絡(luò)實現(xiàn)內(nèi)容的自動聚類?，F(xiàn)將對文本內(nèi)容進行聚類的方法與步驟簡單描述如下： 

3.1 用標(biāo)準(zhǔn)的矢量形式表示文本內(nèi)容。要實現(xiàn)內(nèi)容的自動聚類，首先要把待聚類的內(nèi)容集用標(biāo)準(zhǔn)的矢量形式表示出來。由于給不同的文本內(nèi)容建立關(guān)鍵字是可行的，而且關(guān)鍵字又是最易于代表文本內(nèi)容語義的，因此可以通過文本內(nèi)容的關(guān)鍵字作為中間橋梁將內(nèi)容表示成標(biāo)準(zhǔn)的矢量形式。用標(biāo)準(zhǔn)的矢量形式表示文本內(nèi)容，這是利用神經(jīng)網(wǎng)絡(luò)實現(xiàn)內(nèi)容的自動聚類的基礎(chǔ)。 

3.2 選擇樣本文檔。kohonen網(wǎng)絡(luò)采用的是無監(jiān)督學(xué)習(xí)算法，因此在通過該網(wǎng)絡(luò)對內(nèi)容進行聚類前需要選擇樣本內(nèi)容作為訓(xùn)練集，使自組織網(wǎng)絡(luò)學(xué)習(xí)如何對內(nèi)容進行聚類。樣本的選擇應(yīng)當(dāng)具有代表性與廣泛性。 

3.3 初始化網(wǎng)絡(luò)的輸入節(jié)點、輸出節(jié)點以及連接權(quán)值。將以n個關(guān)鍵字或文本特征表示文本內(nèi)容的n維矢量作為輸入向量，同時生成含有m個輸出節(jié)點的二維映射。 

3.4 將代表文本內(nèi)容的特征向量輸入到網(wǎng)絡(luò)中。 

3.5 在輸出節(jié)點中選擇最佳匹配節(jié)點。計算輸入節(jié)點與所有的輸出節(jié)點權(quán)值的接近程度，選擇距離最小，即輸出節(jié) 點權(quán)值與輸入值最接近的節(jié)點作為獲勝節(jié)點。 

3.6 調(diào)整權(quán)值。調(diào)整獲勝節(jié)點及其鄰域的節(jié)點的權(quán)值，從而使這些輸出節(jié)點的權(quán)值與輸入值更接近。 

3.7 標(biāo)注代表不同類的輸出節(jié)點。不斷重復(fù)以上過程，學(xué)習(xí)算法結(jié)束后，各輸出節(jié)點的權(quán)值顯示了聚類中心，將不同的類加以標(biāo)注，以示區(qū)分。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可以用上述同樣的方法對新的文本內(nèi)容進行聚類。 

3.8 對分類結(jié)果中包含大量輸入樣本的類別，遞歸應(yīng)用以上步驟，繼續(xù)在大類下劃分更小的類。 

經(jīng)過以上過程便可以得到文本內(nèi)容的分類結(jié)構(gòu)，該分類結(jié)構(gòu)可能是類與類之間相互獨立的結(jié)構(gòu)，也可能是層次結(jié)構(gòu)。基于這種由智能聚類得到的分類結(jié)構(gòu)，我們便可以利用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)用同樣的方法實現(xiàn)對不同文本內(nèi)容的分類。 

 

參考文獻(xiàn)： 

篇10

【關(guān)鍵詞】地下水源熱泵；智能控制；具體應(yīng)用；節(jié)能控制

在城市的建設(shè)中，供熱系統(tǒng)的應(yīng)用一直是討論的熱點話題，因為這不僅僅關(guān)乎民生，還關(guān)系著自然能源的合理化利用。在過去幾十年的經(jīng)濟快速發(fā)展中，我國的煤等不可再生能源物質(zhì)已經(jīng)供應(yīng)緊缺，為了實現(xiàn)經(jīng)濟和能源的可持續(xù)建設(shè)，必須要進行新能源的開發(fā)與利用。地源熱泵的應(yīng)用實現(xiàn)了地?zé)崮艿木C合使用，其中地下水源熱泵系統(tǒng)的開放式系統(tǒng)應(yīng)用比較廣泛，通過對低位能向高位能的轉(zhuǎn)變，提供了建筑物所必須的熱量的供應(yīng)。

一、地下水源熱泵的應(yīng)用原理

地下水源熱泵系統(tǒng)的應(yīng)用原理是將地下水中所含有的地?zé)崮苓M行能量的轉(zhuǎn)換，地下水中的能量屬于低位能，需要通過電能的施加將低位能轉(zhuǎn)換成高位能，所以在地下水源熱泵系統(tǒng)中會有壓縮機、蒸發(fā)器和冷凝器的使用，而壓縮機的使用就是能量轉(zhuǎn)換的關(guān)鍵。當(dāng)提供的電壓出現(xiàn)諧波作用時，機組就會檢測并識別，停止機械的運行，當(dāng)電壓穩(wěn)定會智能化系統(tǒng)會自動恢復(fù)運行狀態(tài)，延長了機械設(shè)備的使用壽命，節(jié)約了資源利用中的工程開支。另外，在缺水或過冷的水溫環(huán)境中，此種保護措施也會有響應(yīng)。

二、地下水源熱泵系統(tǒng)節(jié)能控制分析

1、以保護控制為基礎(chǔ)加強節(jié)能控制。地下水源熱泵在實際的工作環(huán)境中，會由于環(huán)境的復(fù)雜變化引起機器的異常反應(yīng)，這就需要通過智能化的節(jié)能控制實施，保護機械不受突發(fā)事故的破壞，節(jié)約企業(yè)在設(shè)備上的投資使用。這種保護措施主要是通過報警系統(tǒng)和檢測系統(tǒng)的建立，進行報警通知或終止機械運行。

2、能量的智能化節(jié)能控制。在地下水源熱泵的應(yīng)用中，是通過循環(huán)水的使用實現(xiàn)熱源的能量控制的。當(dāng)抽水系統(tǒng)持續(xù)抽水時，地下水位就會下降，在供水循環(huán)系統(tǒng)中就會形成較大的壓力差，提供井水循環(huán)的水泵就要相應(yīng)的增大功率。智能化節(jié)能應(yīng)用主要是針對水位的下降進行功率的設(shè)定，減少過多電能的浪費，同時避免了因回灌壓力過高造成的機械開關(guān)頻繁，保護了機組的使用壽命，減少了不必要電能的浪費使用。

三、智能控制技術(shù)的具體應(yīng)用

隨著計算機技術(shù)水平的提高，人們能夠在實際的工作中進行智能化的控制，這種智能化主要是你通過對機械進行數(shù)學(xué)、語言和知識的編程等，實現(xiàn)機械的檢測、識別和控制技能，即使是在無人的環(huán)境中，也能通過自我識別完成準(zhǔn)確化控制?，F(xiàn)階段，應(yīng)用最廣泛的智能控制系統(tǒng)有模糊控制、專家控制和神經(jīng)網(wǎng)絡(luò)控制等。其中這些控制系統(tǒng)也是實現(xiàn)地下水泵熱源系統(tǒng)控制的主要內(nèi)容。

1、模糊控制。模糊控制是基于模糊集合論模擬人的模糊推理和決策過程的一種實用的控制方法。模糊控制系統(tǒng)是以模糊數(shù)學(xué)、模糊語言形式的知識表示和模糊邏輯的規(guī)則推理為理論基礎(chǔ)采用計算機控制技術(shù)構(gòu)成的一種具有反饋通道的閉環(huán)結(jié)構(gòu)和數(shù)字控制系統(tǒng)。它的組成核心是具有智能性的模糊控制器。在地下水源熱泵的應(yīng)用中，應(yīng)用模糊控制可以實現(xiàn)高控制精度，能夠及時的發(fā)現(xiàn)測量數(shù)據(jù)與期望數(shù)據(jù)的偏差，便于技術(shù)人員對具體參數(shù)的輸入調(diào)節(jié)，這種調(diào)節(jié)機制應(yīng)該是閉環(huán)結(jié)構(gòu)形式，將在傳感器中收到的觀測值反饋到系統(tǒng)的輸入端，并與理想的輸入量相比較，從而構(gòu)成閉環(huán)結(jié)構(gòu)的反饋調(diào)節(jié)通道。

2、神經(jīng)網(wǎng)絡(luò)預(yù)測控制。預(yù)測控制是工業(yè)過程控制領(lǐng)域發(fā)展起來的一種計算機控制算法，它包括模型預(yù)測、反饋校正、參考輸入軌跡和滾動優(yōu)化4個部分這種算法的基本思想是先預(yù)測后控制，其控制動作具有較強的預(yù)見性從而明顯優(yōu)于經(jīng)典反饋控制系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)作為一種非線性建模和預(yù)測方法具有良好的非線性品質(zhì)、極高的擬合精度‘靈活而有效的學(xué)習(xí)方式、完全分布式的存儲結(jié)構(gòu)和模型結(jié)構(gòu)的層次性，已被廣泛應(yīng)用于預(yù)測并取得了良好的效果。對于地下水源熱泵空調(diào)這種大慣性、大滯后系統(tǒng)的控制，采用常規(guī)的控制策略將難以取得理想的效果而神經(jīng)網(wǎng)絡(luò)具有非線性逼近能力等優(yōu)點在建模方面具有較強的優(yōu)勢，因此采用神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)預(yù)測控制。

3、專家控制系統(tǒng)。專家控制系統(tǒng)是具有模擬或延伸擴展專家智能的功能采用人工智能專家系統(tǒng)技術(shù)與控制理論相結(jié)合而設(shè)計的系統(tǒng)。其實質(zhì)是。基于控制對象的控制規(guī)律以智能的方式利用求得控制系統(tǒng)盡可能地優(yōu)化和實用化它反映出智能控制的許多重要特征和功能。在中央空調(diào)控制系統(tǒng)的應(yīng)用中，專家系統(tǒng)主要用于系統(tǒng)建模它的關(guān)鍵點在于系統(tǒng)集成一以及“技術(shù)集成“從系統(tǒng)的觀點出發(fā)綜合考慮各個方面的因素應(yīng)用優(yōu)化的控制算法和智能控制技術(shù)構(gòu)造智能專家控制系統(tǒng)最大限度地挖掘其節(jié)能潛力。

四、地下水源熱泵智能控制技術(shù)發(fā)展趨勢

地下水源熱泵系統(tǒng)的應(yīng)用已經(jīng)在工程中有所體現(xiàn)，實現(xiàn)了地?zé)崮艿挠行Ю?。地?zé)崮苤饕堑乇砗秃形盏奶柲埽湮盏臄?shù)量幾乎達(dá)到40%，若能夠通過技術(shù)的革新進行高效的利用，這種綠色能源將會促進社會的又一次變革。在現(xiàn)階段的地下水源熱泵智能系統(tǒng)的應(yīng)用中，雖然能夠通過壓縮機和水泵的智能化控制，但是其控制體系還不夠完善，針對同一臺空調(diào)機組通過專家控制系統(tǒng)、模糊控制系統(tǒng)和神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的應(yīng)用，能夠?qū)崿F(xiàn)智能化的應(yīng)用，但是在多臺空調(diào)機組的配合使用中卻存在不協(xié)調(diào)的特點，每臺空調(diào)機組之間缺少設(shè)備的溝通，不能夠在統(tǒng)一控制體系中同步進行。因此，在未來的地下水源熱泵的智能化和節(jié)能化的控制中。應(yīng)不斷加強多臺機組聯(lián)合使用的研究，將控制范圍從單臺機械向網(wǎng)絡(luò)化發(fā)展，利用集成與智能的技術(shù)實踐，提高地下水源熱泵系統(tǒng)的綜合調(diào)節(jié)，真正實現(xiàn)智能化的應(yīng)用，同時也減少了單臺機組的智能設(shè)備的繁復(fù)應(yīng)用，降低了工程施工成本。

結(jié)語

隨著信息技術(shù)的提高，以及計算機技術(shù)的廣泛應(yīng)用，智能化控制已經(jīng)成為了未來經(jīng)濟建設(shè)的發(fā)展方向，在城市供熱系統(tǒng)的應(yīng)用中，通過地下水源熱泵系統(tǒng)的建立，實現(xiàn)了可再生資源的利用，但是在實際的應(yīng)用中，需要借助高新技術(shù)的支持，將節(jié)能性和智能性充分的結(jié)合起來，提供高效率的地?zé)崮艿氖褂?，保證社會建設(shè)和能源使用的平衡發(fā)展，同時也將節(jié)能的概念滲透到社會生活中，促進社會的科學(xué)建設(shè)。

參考文獻(xiàn)