導(dǎo)語：如何才能寫好一篇神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公文云整理的十篇范文，供你借鑒。

篇1

Columbia, Canada

Machine Learning Methods

in the Environmental

Sciences

2009, 349pp.

Hardcover

ISBN: 9780521791922

William W. Hsieh著

機(jī)器學(xué)習(xí)是計(jì)算機(jī)智能(也叫人工智能)的一個(gè)主要的子領(lǐng)域。它的主要目標(biāo)就是利用計(jì)算的方法從數(shù)據(jù)中提取信息。神經(jīng)網(wǎng)絡(luò)方法,一般被認(rèn)為是機(jī)器學(xué)習(xí)研究中的第一次突破,它自上世紀(jì)80年代以來開始流行,而核方法是在上世紀(jì)90年代后半期作為機(jī)器學(xué)習(xí)研究的第二波而到來的。本書對(duì)于機(jī)器學(xué)習(xí)方法和它在環(huán)境科學(xué)中的應(yīng)用給出了統(tǒng)一的處理。

機(jī)器學(xué)習(xí)方法進(jìn)入環(huán)境科學(xué)是在上世紀(jì)90年代。已經(jīng)大量地應(yīng)用于衛(wèi)星數(shù)據(jù)的處理、大氣環(huán)流模型、天氣和氣象預(yù)報(bào)、空氣質(zhì)量預(yù)報(bào)、環(huán)境數(shù)據(jù)的分析和建模、海洋和水文預(yù)報(bào)、生態(tài)建模、以及雪災(zāi)冰川和森林監(jiān)測(cè)等領(lǐng)域。

書中第1-3章主要是為學(xué)生們而寫的背景性資料,包括在環(huán)境科學(xué)中應(yīng)用的標(biāo)準(zhǔn)統(tǒng)計(jì)方法。1.主要介紹了概率分布的基本意義、隨機(jī)變量的平均值與方差、分析兩變量關(guān)系的相關(guān)與回歸分析方法等基本統(tǒng)計(jì)概念;2.回顧了主成份分析的方法和它的一些變化,以及經(jīng)典相關(guān)分析方法;3.引入了基于時(shí)間序列數(shù)據(jù)的分析方法,如奇異譜分析(SSA)、主振蕩型分析(POP)等。

第4-12章為那些標(biāo)準(zhǔn)的線性統(tǒng)計(jì)方法提供了有力的非線性轉(zhuǎn)化。4.關(guān)于前饋神經(jīng)網(wǎng)絡(luò)模型及其最普遍的代表――多層感知哭模型(MLP模型),介紹了MLP模型的一些歷史發(fā)展知識(shí);5.為MLP神經(jīng)網(wǎng)絡(luò)模型所需要的非線性優(yōu)化的內(nèi)容;6.探索了幾種能夠使神經(jīng)網(wǎng)絡(luò)模型正確的學(xué)習(xí)并泛化的方法;7.是關(guān)于核方法內(nèi)容。主要討論了核方法的數(shù)據(jù)基礎(chǔ)、主要思想以及它的一些缺點(diǎn),并介紹了從神經(jīng)網(wǎng)絡(luò)到核方法的過渡;8.介紹了處理離散型數(shù)據(jù)的方法――非線性分類;9.介紹了兩種核方法(支撐微量回歸、SVR 和高斯過程、GP)和一種樹方法(分類和回歸樹方法CART);10.關(guān)于非線性主成份分析的方法及相關(guān)的一些研究方法;11.系統(tǒng)地闡述了MLP和非線性經(jīng)典相關(guān)分析(NLCCA)方法,并以熱帶太平洋氣候變異性數(shù)據(jù)及它同中緯度氣候變異的相關(guān)性為例加以說明;12.給出了大量機(jī)器學(xué)習(xí)方法在環(huán)境科學(xué)眾多研究領(lǐng)域中的應(yīng)用實(shí)例如遙感、海洋學(xué)、大氣科學(xué)、水文學(xué)及生態(tài)學(xué)等。

作者William W. Hsieh是英屬哥倫比亞大學(xué)地球與海洋科學(xué)系及物理與天文學(xué)系的教授,主持大氣科學(xué)項(xiàng)目。作者在環(huán)境科學(xué)中發(fā)展和應(yīng)用機(jī)器學(xué)習(xí)方法中所做的先驅(qū)性工作在國際上享有很高的知名度。已在天氣變化、機(jī)器學(xué)習(xí)、海洋學(xué)、大氣科學(xué)和水文學(xué)等領(lǐng)域80多篇。

本書主要適用于研究生初期階段或者高年級(jí)的本科生,而且對(duì)于那些致力于在各自的研究領(lǐng)域應(yīng)用這些新方法的研究者和參與者們也是十分有價(jià)值的。

朱立峰,

博士后

(中國科學(xué)院動(dòng)物學(xué)研究所)

篇2

關(guān)鍵詞：物聯(lián)網(wǎng)；LS-SVM；數(shù)據(jù)模型

中圖分類號(hào)：TP393

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2017）10-0145-02

1.引言

前神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork），簡(jiǎn)稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。

2.概念相關(guān)概述

2.1前饋人工神經(jīng)網(wǎng)絡(luò)現(xiàn)實(shí)基礎(chǔ)模型

首先，生物神經(jīng)元模型。人的大腦中有眾多神經(jīng)元，而神經(jīng)元之間需要神經(jīng)突觸連接，進(jìn)而構(gòu)成了復(fù)雜有序的神經(jīng)網(wǎng)絡(luò)。而神經(jīng)元主要由樹突、軸突和細(xì)胞體組成。一個(gè)神經(jīng)元有一個(gè)細(xì)胞體和軸突，但是卻有很多樹突。樹突是神經(jīng)元的輸入端，用于接受信息，并向細(xì)胞體財(cái)團(tuán)對(duì)信息。而細(xì)胞體是神經(jīng)元的信息處理中心，能夠?qū)π盘?hào)進(jìn)行處理。軸突相當(dāng)于信息輸出端口，負(fù)責(zé)向下一個(gè)神經(jīng)元傳遞信息；其次，人工神經(jīng)元。人工神經(jīng)元的信息處理能力十分有限，但是，由眾多人工神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)龐大，具有巨大的潛力，能夠解決復(fù)雜問題。人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)具有相似之處，人工神經(jīng)網(wǎng)絡(luò)能夠從環(huán)境中獲取知識(shí)，并存儲(chǔ)信息。前饋人工神經(jīng)網(wǎng)絡(luò)主要包括隱含層、輸入層和輸出層。在前饋人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元將信號(hào)進(jìn)行非線性轉(zhuǎn)換之后，將信號(hào)傳遞給下一層，信息傳播是單向的。并且，前饋人工神經(jīng)網(wǎng)絡(luò)是人們應(yīng)用最多的網(wǎng)絡(luò)模型，常見的有BP神經(jīng)網(wǎng)絡(luò)、單層感知器、RBF神經(jīng)網(wǎng)絡(luò)等模型。

2.2 LS-SVM相關(guān)概述

支撐向量機(jī)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，能夠根據(jù)樣本信息進(jìn)行非現(xiàn)象映射，解回歸問題的高度非現(xiàn)象問題。并且，支撐向量機(jī)在解決非線性、局部極小點(diǎn)方問題上有很大的優(yōu)勢(shì)。LS-SVM也叫最小二乘支撐向量機(jī)，是支撐向量機(jī)的一種，遵循支撐向量機(jī)算法的結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，能夠?qū)⒅蜗蛄繖C(jī)算法中的不等式約束改為等式約束，進(jìn)而將二次問題轉(zhuǎn)換為線性方程問題，大大降低了計(jì)算的復(fù)雜性。并且，LS-SVM在運(yùn)算速度上遠(yuǎn)遠(yuǎn)高于支持向量機(jī)。但是，LS-SVM也存在一定的缺點(diǎn)，在計(jì)算的過程中，LS-SVM的忽視了全局最優(yōu)，只能實(shí)現(xiàn)局部最優(yōu)。并且，LS-SVM在處理噪聲污染嚴(yán)重的樣本時(shí)，會(huì)將所有的干擾信息都擬合到模型系統(tǒng)中，導(dǎo)致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進(jìn)。

2.3物聯(lián)網(wǎng)下人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM研究的意義

物聯(lián)網(wǎng)是互聯(lián)網(wǎng)技術(shù)的發(fā)展趨勢(shì)，為前饋人工神經(jīng)網(wǎng)絡(luò)的發(fā)展與LS-SVM研究提供了技術(shù)保障，在物聯(lián)網(wǎng)背景下，研究人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM不僅能夠創(chuàng)新人工神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，完善人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)生活中的應(yīng)用，而且對(duì)人們生活的自動(dòng)化和智能化發(fā)展有著重要意義。另外，物聯(lián)網(wǎng)為人們對(duì)LS-SVM的研究提供了條件，在物聯(lián)網(wǎng)環(huán)境下，人們能夠運(yùn)用信息技術(shù)深化最小二乘支撐向量機(jī)研究，不斷提高LS-SVM回歸模型的魯棒性，改進(jìn)LS-SVM的特征提取方法和在線建模算法，完善計(jì)算機(jī)學(xué)習(xí)方法，提升計(jì)算機(jī)的運(yùn)算速度。3基于LS―SVM的丟包數(shù)據(jù)模型

在選擇的參數(shù)的基礎(chǔ)上，運(yùn)用IS-SVM方法，建立評(píng)估模型。本文選用LS-SVM回歸方法的原因，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法主要是以下幾點(diǎn)：

首先，了解數(shù)據(jù)挖掘，數(shù)據(jù)挖掘前景廣闊，SVM是數(shù)據(jù)挖掘中的新方法。其次，選擇合適的數(shù)據(jù)分析方法根據(jù)數(shù)據(jù)集的大小和特征。小樣本訓(xùn)練適合SVM，樣本大情況的訓(xùn)練適宜神經(jīng)網(wǎng)絡(luò)，這里用SVM。

然后，就是文獻(xiàn)使用SVM和PCA建立跨層的評(píng)估QOE，實(shí)驗(yàn)結(jié)果表明主觀MOS評(píng)分和此評(píng)價(jià)結(jié)果具有很好的一致性。

最后，本文采用SVM基礎(chǔ)上的進(jìn)一步拔高，LS-SVM，比SVM運(yùn)行快，精確度高。srcl3_hrcl_525.yuv實(shí)驗(yàn)素材的特征是具有高清性質(zhì)。525序列60HZ，幀大小為1440x486字節(jié)/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時(shí)域復(fù)雜度的模型如下，視頻的時(shí)域復(fù)雜度σ；編碼量化參數(shù)是Q；編碼速率為R；待定模型的參數(shù)為a和b。σ=Q（aR+b）。通過大量的實(shí)驗(yàn)和理論分析，得到模型的參數(shù)：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數(shù)是根據(jù)實(shí)驗(yàn)的具體情況確定的。計(jì)算σ的值如下所示：當(dāng)量化參數(shù)為31時(shí)，σ=19998720.1，當(dāng)量化參數(shù)為10時(shí)，σ=6451200.03，當(dāng)量化參數(shù)為5時(shí)，σ=3225600.02，當(dāng)量化參數(shù)為62時(shí)，σ=39997440.2，當(dāng)量化參數(shù)為100時(shí)，σ=64512000.3，當(dāng)量化參數(shù)為200時(shí)，σ=129024001，當(dāng)量化參數(shù)為255時(shí)，σ=164505601。

對(duì)于srcl3網(wǎng)絡(luò)環(huán)境建立考慮網(wǎng)絡(luò)丟包的視頻質(zhì)量無參評(píng)估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數(shù)，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時(shí)域復(fù)雜度。等權(quán)的參數(shù)。

LS-SVM要求調(diào)用的參數(shù)只有兩個(gè)gam和sig2并且他們是LS-SVM的參數(shù)，其中決定適應(yīng)誤差的最小化和平滑程度的正則化參數(shù)是gam，RBF函數(shù)的參數(shù)是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數(shù)回歸的。

4.機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)的結(jié)合

物聯(lián)網(wǎng)中也用到人工智能，人工智能中有機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)中有神經(jīng)網(wǎng)絡(luò)。機(jī)器學(xué)習(xí)是人工智能研究的核心問題之一，也是當(dāng)前人工智能研究的一個(gè)熱門方向。

篇3

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 計(jì)算機(jī)安全 入侵檢測(cè)

中圖分類號(hào)：TP393.08 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2012）12（c）-00-01

自從1960年Widrow等提出自適應(yīng)線形神經(jīng)元用于信號(hào)處理中的自適應(yīng)濾波、預(yù)測(cè)和模型識(shí)別以來，神經(jīng)網(wǎng)絡(luò)技術(shù)便被用來解決現(xiàn)實(shí)生活中的問題。而在McCulloch等基于模仿人腦結(jié)構(gòu)和功能建立起一種人工智能的信息處理系統(tǒng)后，人工神經(jīng)網(wǎng)絡(luò)在土木工程、農(nóng)業(yè)、經(jīng)濟(jì)管理及企業(yè)管理等不同領(lǐng)域中被廣泛應(yīng)用[1-2]。該文介紹了神經(jīng)網(wǎng)絡(luò)的概念及特點(diǎn)，并分析神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)安全尤其是在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用。

1 神經(jīng)網(wǎng)絡(luò)的概念及特點(diǎn)

1.1 神經(jīng)網(wǎng)絡(luò)的概念

神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，是由神經(jīng)元及稱為聯(lián)接的無向訊號(hào)通道互連而成。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）指的則是模仿生理神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能而設(shè)計(jì)的一種信息處理系統(tǒng)，即由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的信息處理網(wǎng)絡(luò)[3]。

1.2 神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

在人工神經(jīng)網(wǎng)絡(luò)中，由于網(wǎng)絡(luò)中的每一個(gè)單元都是獨(dú)立的信息處理單元，因此其計(jì)算可獨(dú)立進(jìn)行，而整個(gè)網(wǎng)絡(luò)系統(tǒng)卻是并行計(jì)算的。這不同于傳統(tǒng)的計(jì)算機(jī)的串行運(yùn)算。由于神經(jīng)網(wǎng)絡(luò)是一個(gè)大規(guī)模互聯(lián)的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，因而是大規(guī)模的并行處理，這在一定程度上提高了系統(tǒng)的處理速度，同時(shí)也為實(shí)時(shí)處理提供了重要條件。人工神經(jīng)網(wǎng)絡(luò)與人腦類似，具有學(xué)習(xí)的功能。通常只要給出所需的數(shù)據(jù)、實(shí)例，由網(wǎng)絡(luò)去學(xué)習(xí)，而學(xué)習(xí)獲得的知識(shí)都分布儲(chǔ)存在整個(gè)網(wǎng)絡(luò)的用權(quán)系數(shù)表示的連接線上。不同網(wǎng)絡(luò)因?qū)W習(xí)方法及內(nèi)容不同，可得到不同的功能和不同的應(yīng)用。因而有可能解決傳統(tǒng)人工智能目前最感困難的機(jī)器學(xué)習(xí)中知識(shí)獲取、知識(shí)表示等問題。此外神經(jīng)網(wǎng)絡(luò)還對(duì)于輸入數(shù)據(jù)的失真具有相當(dāng)?shù)膹椥浴?/p>

1.3 常用的神經(jīng)網(wǎng)絡(luò)算法

常用的神經(jīng)網(wǎng)絡(luò)算法包括ARTMAP模型、ART模型、概率模型PNN、模糊模型ART、模糊多層感知器、Kohonen特征映射網(wǎng)絡(luò)、反饋多層感知器模型等[4-5]。其中，ART模型和Kohonen特征映射網(wǎng)絡(luò)、模糊模型ART屬于無監(jiān)督訓(xùn)練算法，而反饋多層感知器模型是受限反饋，ARTMAP模型、ART模型屬于反饋的網(wǎng)絡(luò)拓?fù)?/p>

結(jié)構(gòu)。

2 神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用

2.1 神經(jīng)網(wǎng)絡(luò)應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)的優(yōu)勢(shì)

由于神經(jīng)網(wǎng)絡(luò)對(duì)于數(shù)據(jù)訓(xùn)練獲得預(yù)測(cè)能力的過程是通過完全抽象計(jì)算實(shí)現(xiàn)的，而不強(qiáng)調(diào)對(duì)于數(shù)據(jù)分布的假設(shè)前提，因此在建立神經(jīng)網(wǎng)絡(luò)模型過程中沒有必要向神經(jīng)網(wǎng)絡(luò)解釋知識(shí)的具體細(xì)節(jié)。同時(shí)，神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測(cè)中，可以通過數(shù)據(jù)運(yùn)算而形成異常的判別值，這樣可以對(duì)于當(dāng)前是否受到攻擊行為影響做出判斷，從而實(shí)現(xiàn)對(duì)檢測(cè)對(duì)象是否存在異常情況的檢測(cè)[6-8]。

2.2 神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用

神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全尤其是入侵檢測(cè)方面已有了相當(dāng)?shù)难芯縖9]。有研究者將組織聚類神經(jīng)網(wǎng)絡(luò)應(yīng)用于計(jì)算機(jī)安全研究中，其采用了自適應(yīng)諧振學(xué)習(xí)法進(jìn)行數(shù)據(jù)的前期訓(xùn)練，對(duì)于無顯著意義的平均誤差減少時(shí)，采用遺傳算法繼續(xù)在前期基礎(chǔ)上進(jìn)行數(shù)據(jù)數(shù)據(jù)以得到最佳的權(quán)值。國內(nèi)也在神經(jīng)網(wǎng)絡(luò)應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)上做了大量工作。王勇等研究者在參考MIT Lincoln有關(guān)網(wǎng)絡(luò)入侵檢測(cè)方法基礎(chǔ)上，提出了基于Linux主機(jī)的網(wǎng)絡(luò)入侵檢測(cè)方案，實(shí)現(xiàn)了對(duì)于多種網(wǎng)絡(luò)攻擊的特征進(jìn)行抽取及檢測(cè)的目的[10]。

神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測(cè)中有廣泛的應(yīng)用空間[11-12]，今后應(yīng)該擴(kuò)大訓(xùn)練數(shù)據(jù)的數(shù)量和范圍，并擴(kuò)大操作系統(tǒng)的研究空間，通過模擬真實(shí)的計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境，將神經(jīng)網(wǎng)絡(luò)技術(shù)真正應(yīng)用于計(jì)算機(jī)安全尤其是入侵檢測(cè)工作中。

參考文獻(xiàn)

[1] 李季，蒲彪.人工神經(jīng)網(wǎng)絡(luò)在食品微生物發(fā)酵中的應(yīng)用[J].食品研究與開發(fā)，2009，30（4）：171-174.

[2] 李聰超，周鐵軍.人工神經(jīng)網(wǎng)絡(luò)在農(nóng)業(yè)中的應(yīng)用[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2008（1）：35-38.

[3] 李麗霞，張敏，郜艷暉，等.人工神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)研究中的應(yīng)用[J].數(shù)理醫(yī)藥學(xué)雜志，2009，22（1）：80-82.

[4] 高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實(shí)例[M].北京：機(jī)械工業(yè)出版社，2003：44-73.

[5] 楊行峻，鄭君里.人工神經(jīng)網(wǎng)絡(luò)與盲信號(hào)處理[M].北京：清華大學(xué)出版社，2003：23-105.

[6] 程麗麗.基于模糊神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)設(shè)計(jì)模型[D].哈爾濱：哈爾濱理工大學(xué)，2005.

[7] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].北京：清華大學(xué)出版社，2005.

[8] 李家春，李之堂.神經(jīng)模糊入侵檢測(cè)系統(tǒng)的研究[J].計(jì)算機(jī)工程與應(yīng)用，2001，23（17）：37-39，

[9] 王勇，楊輝華.一種基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)實(shí)驗(yàn)系統(tǒng)[J].華東理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2005（6）：362-366

[10] 喬瑞.基于優(yōu)化自組織聚類神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法研究[J].計(jì)算機(jī)與現(xiàn)代化，2005（1）：77-79.

篇4

（四川信息職業(yè)技術(shù)學(xué)院，四川廣元628017）

摘要：考慮到傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在進(jìn)行P2P流量識(shí)別時(shí)，具有系統(tǒng)識(shí)別速度慢、精度低，神經(jīng)網(wǎng)絡(luò)自身容易陷入局部最小值等問題，使用遺傳算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。遺傳算法具有較強(qiáng)的自適應(yīng)性和魯棒性，因此使用遺傳算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化處理，能夠有效提高神經(jīng)網(wǎng)絡(luò)的性能。建立基于遺傳神經(jīng)網(wǎng)絡(luò)的識(shí)別系統(tǒng)，采集處理大量樣本數(shù)據(jù)，對(duì)識(shí)別系統(tǒng)進(jìn)行訓(xùn)練和測(cè)試。研究結(jié)果表明，基于遺傳神經(jīng)網(wǎng)絡(luò)的P2P流量識(shí)別系統(tǒng)具有識(shí)別精度高、識(shí)別速度快等優(yōu)點(diǎn)，相比傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)，其識(shí)別性能有明顯提高。

關(guān)鍵詞 ：遺傳算法；P2P；流量識(shí)別；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TN711?34；TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004?373X（2015）17?0117?04

隨著計(jì)算機(jī)科學(xué)技術(shù)的不斷發(fā)展與進(jìn)步，P2P技術(shù)已經(jīng)廣泛應(yīng)用于網(wǎng)絡(luò)視頻音頻多媒體播放、網(wǎng)絡(luò)文件共享以及數(shù)據(jù)傳輸?shù)阮I(lǐng)域，P2P技術(shù)不斷吸引了越來越多的網(wǎng)絡(luò)用戶、網(wǎng)絡(luò)應(yīng)用服務(wù)開發(fā)者以及提供商的目光，各種各樣的基于P2P技術(shù)的網(wǎng)絡(luò)應(yīng)用和服務(wù)不斷涌現(xiàn)，為人們?cè)诰W(wǎng)絡(luò)中提供了便利。然而，隨著人們享受著P2P技術(shù)帶來的各種便利的同時(shí)，P2P技術(shù)的各種負(fù)面效應(yīng)也隨之而來。目前P2P應(yīng)用存在對(duì)網(wǎng)絡(luò)流量消耗巨大，監(jiān)管難度大，以及易于網(wǎng)絡(luò)病毒傳播，為網(wǎng)絡(luò)帶來安全隱患等問題。因此，對(duì)P2P流量的精確識(shí)別和監(jiān)測(cè)成為了對(duì)P2P技術(shù)研究的重中之重[1?5]。

1 P2P 流量識(shí)別技術(shù)

1.1 典型P2P流量識(shí)別技術(shù)

典型的P2P流量識(shí)別技術(shù)主要有：基于端口的識(shí)別技術(shù)、基于深層數(shù)據(jù)包的識(shí)別技術(shù)以及基于流量變化特征的識(shí)別技術(shù)。

基于端口的識(shí)別技術(shù)是一種應(yīng)用最早的識(shí)別技術(shù)，其主要根據(jù)早期P2P應(yīng)用的固定端口進(jìn)行識(shí)別，具有算法簡(jiǎn)便，易于實(shí)現(xiàn)等優(yōu)點(diǎn)，但是對(duì)于現(xiàn)如今復(fù)雜的網(wǎng)絡(luò)環(huán)境，此種技術(shù)已經(jīng)不再適用[6?7]。

基于深層數(shù)據(jù)包的識(shí)別技術(shù)往往因?yàn)榇嬖谧R(shí)別滯后、隱私保護(hù)以及算法復(fù)雜等缺點(diǎn)而得不到廣泛普及應(yīng)用。

基于流量變化特征的識(shí)別技術(shù)通過對(duì)P2P流量數(shù)據(jù)進(jìn)行采集，通過處理數(shù)據(jù)得到數(shù)據(jù)流的統(tǒng)計(jì)特征，使用統(tǒng)計(jì)特征作為機(jī)器學(xué)習(xí)的訓(xùn)練樣本，得到經(jīng)過訓(xùn)練的識(shí)別系統(tǒng)。此識(shí)別技術(shù)具有算法簡(jiǎn)便、效率高等優(yōu)點(diǎn)[8?9]。

1.2 基于神經(jīng)網(wǎng)絡(luò)的P2P流量識(shí)別技術(shù)

BP 神經(jīng)網(wǎng)絡(luò)是一種有督導(dǎo)的智能機(jī)器學(xué)習(xí)算法，已經(jīng)在機(jī)械、計(jì)算機(jī)、通信等領(lǐng)域得到了廣泛應(yīng)用，其技術(shù)發(fā)展已經(jīng)相對(duì)成熟。將BP神經(jīng)網(wǎng)絡(luò)用于對(duì)P2P流量的識(shí)別是一種可行有效的識(shí)別技術(shù)和手段。

然而將BP神經(jīng)網(wǎng)絡(luò)算法用于P2P流量識(shí)別雖然克服了傳統(tǒng)識(shí)別方法存在的諸多問題，但是由于算法自身特性也隨之帶來了新的問題。

BP神經(jīng)網(wǎng)絡(luò)實(shí)際上是梯度下降算法的一種迭代學(xué)習(xí)方法。由于梯度下降算法要求具有較小的學(xué)習(xí)速度時(shí)才能進(jìn)行穩(wěn)定的學(xué)習(xí)，因此其收斂速度較慢。并且，由于BP神經(jīng)網(wǎng)絡(luò)在進(jìn)行訓(xùn)練時(shí)，會(huì)在某點(diǎn)沿著誤差斜面而漸進(jìn)誤差極值，不同的起點(diǎn)會(huì)得到不同的誤差極值和不同的解。因此傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點(diǎn)[10?11]。

2 BP 神經(jīng)網(wǎng)絡(luò)和遺傳神經(jīng)網(wǎng)絡(luò)

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。通常由輸入層、輸出層和隱含層組成。

4 結(jié)論

本文對(duì)P2P 流量識(shí)別技術(shù)進(jìn)行了深入研究。P2P技術(shù)在網(wǎng)絡(luò)中已經(jīng)得到了廣泛應(yīng)用，其流量在網(wǎng)絡(luò)總流量中占有重要地位，因此對(duì)其流量進(jìn)行實(shí)時(shí)監(jiān)測(cè)識(shí)別具有重要意義。本文對(duì)P2P流量識(shí)別技術(shù)進(jìn)行了分析，對(duì)使用比較廣泛的BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了深入研究，并針對(duì)其缺點(diǎn)，使用遺傳算法進(jìn)行優(yōu)化，建立基于遺傳神經(jīng)網(wǎng)絡(luò)的P2P流量識(shí)別模型。通過實(shí)驗(yàn)采集大量網(wǎng)絡(luò)訓(xùn)練樣本和測(cè)試樣本，對(duì)建立的識(shí)別系統(tǒng)進(jìn)行測(cè)試。測(cè)試結(jié)果表明，基于遺傳算法的神經(jīng)網(wǎng)絡(luò)的識(shí)別速度和識(shí)別精度要高于BP神經(jīng)網(wǎng)絡(luò)，具有較高的工程應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 譚紅春，楊松濤，闞紅星.校園網(wǎng)P2P 流量綜合檢測(cè)技術(shù)研究[J].長(zhǎng)沙大學(xué)學(xué)報(bào)，2015（2）：70?72.

[2] 劉興光.一種混合式BT流量實(shí)時(shí)檢測(cè)方法[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（3）：53?55.

[3] 湯偉.基于數(shù)據(jù)流特征向量識(shí)別的P2P 僵尸網(wǎng)絡(luò)檢測(cè)方法研究[D].青島：中國海洋大學(xué)，2014.

[4] 席鵬.基于距離判決算法的P2P流量識(shí)別模型研究[D].昆明：云南大學(xué)，2013.

[5] 鄧力為.基于遺傳神經(jīng)網(wǎng)絡(luò)的P2P流量檢測(cè)研究[D].成都：電子科技大學(xué)，2013.

[6] 張龍璨.基于粒子群優(yōu)化半監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)流量分類方法研究[D].武漢：華中科技大學(xué)，2013.

[7] 張瀚.基于DPI技術(shù)的P2P流量檢測(cè)系統(tǒng)設(shè)計(jì)[D].北京：北京郵電大學(xué)，2013.

[8] 馬容生.基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的P2P流量檢測(cè)研究[J].通信技術(shù)，2012（6）：113?116.

[9] 張瀚，朱洪亮，辛陽.基于DPI 技術(shù)的P2P 流量檢測(cè)系統(tǒng)設(shè)計(jì)[J].信息網(wǎng)絡(luò)安全，2012（10）：36?40.

[10] 張小敏.基于DPI的P2P流量識(shí)別方法研究[D].南京：南京郵電大學(xué)，2012.

[11] 周雪蓮.P2P流量應(yīng)用層實(shí)時(shí)檢測(cè)技術(shù)研究[D].長(zhǎng)春：吉林大學(xué)，2012.

[12] 賀毅朝，宋建民，張敬敏，等.利用遺傳算法求解靜態(tài)與動(dòng)態(tài)背包問題的研究[J].計(jì)算機(jī)應(yīng)用研究，2015（4）：1011?1015.

[13] 王曉瑜，原思聰，李曼.基于自適應(yīng)蟻群遺傳混合算法的PID參數(shù)優(yōu)化[J].計(jì)算機(jī)應(yīng)用研究，2015（5）：1376?1378.

[14] 劉奕君，趙強(qiáng)，郝文利.基于遺傳算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛阮A(yù)測(cè)研究[J].礦業(yè)安全與環(huán)保，2015，42（2）：56?60.

[15] 吳連平，楊曉翔.基于神經(jīng)網(wǎng)絡(luò)與遺傳算法的關(guān)節(jié)軸承擠壓模具優(yōu)化[J].中國機(jī)械工程，2015，26（10）：1351?1355.

[16] 李麟青，楊哲，朱艷琴.一種混合式BitTorrent流量檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2011，31（12）：3210?3214.

篇5

關(guān)鍵詞： 灰色系統(tǒng)模型，神經(jīng)網(wǎng)絡(luò)，電信業(yè)務(wù)預(yù)測(cè)

中圖分類號(hào)：TN92 文獻(xiàn)標(biāo)識(shí)碼：B

1 引言

電信業(yè)務(wù)預(yù)測(cè)是通信網(wǎng)絡(luò)分階段建設(shè)規(guī)劃的前提條件，同時(shí)也是規(guī)劃期內(nèi)電信業(yè)務(wù)量和投資預(yù)估的必要條件之一。預(yù)測(cè)方法的選擇直接關(guān)系到預(yù)測(cè)結(jié)果的精確程度。傳統(tǒng)的預(yù)測(cè)方法很多，如趨勢(shì)外推法，成長(zhǎng)曲線法等，但這些預(yù)測(cè)方法預(yù)測(cè)結(jié)果均為平滑的曲線，無法直觀描述出電信業(yè)務(wù)隨季節(jié)及其他外部環(huán)境引起的波動(dòng)。因此，神經(jīng)網(wǎng)絡(luò)法便給傳統(tǒng)預(yù)測(cè)方法進(jìn)行了很好的補(bǔ)充。近年來神經(jīng)網(wǎng)絡(luò)算法逐漸得到預(yù)測(cè)科學(xué)工作者的重視，已經(jīng)在預(yù)測(cè)領(lǐng)域中得到了廣泛的應(yīng)用，神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法是一種由多個(gè)神經(jīng)元以某種規(guī)則連接而形成的層次網(wǎng)絡(luò)結(jié)構(gòu)，其基本原理是這些神經(jīng)元之間“相互協(xié)作”，它有許多優(yōu)點(diǎn)，對(duì)環(huán)境因素引起的波動(dòng)性具有良好的適應(yīng)性；對(duì)非線性輸入輸出關(guān)系的學(xué)習(xí)更具有優(yōu)越性，其描述問題的能力很強(qiáng)。但是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法（如BP神經(jīng)網(wǎng)絡(luò)）是一種基于誤差函數(shù)梯度下降的學(xué)習(xí)方法，學(xué)習(xí)過程收斂速度較慢；其次，有些神經(jīng)網(wǎng)絡(luò)訓(xùn)練開始時(shí)初始權(quán)值是隨機(jī)給定的，這對(duì)網(wǎng)絡(luò)的訓(xùn)練效果也會(huì)有極大影響，甚至導(dǎo)致網(wǎng)絡(luò)陷入局部最小點(diǎn)。

灰色系統(tǒng)理論是一種研究少數(shù)據(jù)，貧信息、不確定性問題的新方法，它以部分信息已知、部分信息未知的“小樣本”、“貧信息”不確定系統(tǒng)為研究對(duì)象，通過對(duì)“部分”已知信息的生成、開發(fā)，提取有價(jià)值的信息，實(shí)現(xiàn)對(duì)系統(tǒng)運(yùn)行行為、演化規(guī)律的正確描述和有效監(jiān)控。

2 灰色神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)及算法

3 數(shù)據(jù)來源及實(shí)證結(jié)果

對(duì)于移動(dòng)通信運(yùn)營(yíng)商來說，VLR用戶數(shù)（拜訪位置寄存器）隨節(jié)假日的波動(dòng)很大，尤其是人口輸入/輸出城市，節(jié)假日大量外來人口的返鄉(xiāng)/外出，會(huì)給當(dāng)?shù)剡\(yùn)營(yíng)商的核心網(wǎng)及無線載頻處理能力帶來較大的考驗(yàn)，因此，合理準(zhǔn)確的預(yù)測(cè)出該地市未來VLR用戶數(shù)可以很大程度上幫助運(yùn)營(yíng)商為用戶數(shù)的變化做好系統(tǒng)的擴(kuò)容準(zhǔn)備工作。對(duì)于某個(gè)運(yùn)營(yíng)商的VLR用戶數(shù)，影響其變化的因素很多，比如節(jié)假日，季節(jié)性因素，人均通信消費(fèi)指數(shù)，當(dāng)?shù)氐囊苿?dòng)電話普及率，該運(yùn)營(yíng)商收費(fèi)用戶數(shù)、品牌影響力，終端價(jià)格，競(jìng)爭(zhēng)對(duì)手、市場(chǎng)特征等，本人根據(jù)各因素對(duì)VLR用戶數(shù)影響程度的大小，從中選取了該運(yùn)營(yíng)商收費(fèi)用戶數(shù)、節(jié)假日、當(dāng)?shù)匾苿?dòng)電話普及率、品牌影響力、競(jìng)爭(zhēng)對(duì)手5個(gè)最重要的因素來預(yù)測(cè)某地市移動(dòng)運(yùn)營(yíng)商的VLR用戶數(shù)。

該論文中，本人選取該地市的過去3年（36個(gè)月）的VLR用戶數(shù)進(jìn)行驗(yàn)證，首先取前30個(gè)月的數(shù)據(jù)作為訓(xùn)練樣本，通過灰色神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)100次后預(yù)測(cè)最后6個(gè)月的數(shù)據(jù)與實(shí)際VLR用戶數(shù)做比較，如圖4所示。

從上圖可以看出，灰色系統(tǒng)模型預(yù)測(cè)結(jié)果與實(shí)際值相比，誤差在10%以內(nèi)，并很好的反應(yīng)了VLR用戶的波動(dòng)性，因此可以說明灰色系統(tǒng)模型比較適合小樣本預(yù)測(cè)問題，在實(shí)際預(yù)測(cè)中，若與傳統(tǒng)預(yù)測(cè)方法相結(jié)合，并合理加權(quán)，預(yù)測(cè)準(zhǔn)確度將更高。

4 結(jié)束語

本文為其他神經(jīng)網(wǎng)絡(luò)模型所存在易于陷入局部最優(yōu)解等缺陷而提出了基于灰色基礎(chǔ)模型的神經(jīng)網(wǎng)絡(luò)算法，并利用所設(shè)計(jì)的灰色系統(tǒng)模型神經(jīng)網(wǎng)絡(luò)算法，選擇我國某地市的移動(dòng)公司VLR用戶數(shù)作為數(shù)據(jù)樣本，對(duì)該公司的VLR用戶數(shù)進(jìn)行預(yù)測(cè)，并對(duì)比其他神經(jīng)網(wǎng)絡(luò)模型，實(shí)證結(jié)果表明，灰色系統(tǒng)模型神經(jīng)網(wǎng)絡(luò)算法，相對(duì)其他神經(jīng)網(wǎng)絡(luò)而言，其預(yù)測(cè)效率和準(zhǔn)確率大大得到提高，在電信業(yè)務(wù)預(yù)測(cè)方面具有較好的應(yīng)用前景。

參考文獻(xiàn)：

[1]WANG Q， STOCKTON D J， BAGULEY P. Using neural networks in cost model development process [C].Proc of the 16th National Conf on Manufacturing Research， UK：Professional Engineering， 2000

[2]SMITH A E， MASON A K. Cost estimation predictive modeling： regression versus neural [J].Engineering Economist， 1997

[3]何 芳 陳 收：基于擴(kuò)展卡爾曼濾波的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法在股票預(yù)測(cè)中的應(yīng)用[J].系統(tǒng)工程，2003

[4]史峰：MATLAB 神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析，北京航空航天大學(xué)出版社，2010.4

[5]Jatomder N D. Gupta， Sexton R S. Comparing back-propagation with a genetic algorithm for neural network training[J].Omega，1999，

篇6

關(guān)鍵詞：粒子群 徑向基 神經(jīng)網(wǎng)絡(luò) 語音識(shí)別

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2013）04-0109-02

近年來，語音識(shí)別作為一種便捷的人機(jī)交互方式被大量研究，并在日常生活中得到廣泛應(yīng)用。大體上講，語音識(shí)別就是在給定的語料庫中找出與待識(shí)別詞語相同的語料，其識(shí)別方法的選擇對(duì)識(shí)別效果至關(guān)重要。語音識(shí)別的方法主要有3種：基于語音特征和聲道模型的方法、模板匹配的方法和人工神經(jīng)網(wǎng)絡(luò)[1]。第1種方法出現(xiàn)較早，但由于其模型過于復(fù)雜，并未得到實(shí)際應(yīng)用。第2種方法較為成熟，主要通過動(dòng)態(tài)時(shí)間規(guī)整（DTW）、隱馬爾可夫模型（HMM）和矢量量化（VQ）技術(shù)實(shí)現(xiàn)[2]。第3種方法充分利用人工神經(jīng)網(wǎng)絡(luò)較強(qiáng)的分類能力和輸入——輸出映射能力，非常適合解決語音識(shí)別這類難以用算法描述而又有大量樣本可供學(xué)習(xí)的問題[3]。

因此，本文將智能領(lǐng)域廣泛使用的RBF神經(jīng)網(wǎng)絡(luò)運(yùn)用到語音識(shí)別中，針對(duì)RBF神經(jīng)網(wǎng)絡(luò)隱層基函數(shù)的中心值和寬度隨機(jī)確定的缺陷，運(yùn)用具有全局尋優(yōu)能力的粒子群算法（PSO）進(jìn)行優(yōu)化，來提高網(wǎng)絡(luò)的泛化能力和收斂速度，從而提高識(shí)別率。實(shí)驗(yàn)結(jié)果表明，粒子群優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)用于語音識(shí)別，能夠顯著提升識(shí)別性能。

1 粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)

1.1 RBF神經(jīng)網(wǎng)絡(luò)

1.2 粒子群優(yōu)化RBF網(wǎng)絡(luò)算法

因此，RBF神經(jīng)網(wǎng)絡(luò)隱層基函數(shù)中心值和寬度的優(yōu)化過程就是PSO算法依據(jù)輸入樣本進(jìn)行聚類的過程，其基本流程為：

（1）參數(shù)初始化，包括粒子速度、位置，個(gè)體最優(yōu)位置和全局最優(yōu)位置；

（2）據(jù)（5）式計(jì)算慣性權(quán)重；

（3）據(jù)（3）（4）式更新粒子的速度和位置；

（4）據(jù)（6）式計(jì)算各粒子適應(yīng)度值，并更新個(gè)體最優(yōu)位置和全局最優(yōu)位置；

（5）用全局最優(yōu)粒子代替本次迭代適應(yīng)度差的粒子；

（6）反復(fù)迭代，直到最大迭代次數(shù)則停止，得聚類中心。

2 PSO優(yōu)化RBF語音識(shí)別系統(tǒng)

語音識(shí)別過程主要包括信號(hào)預(yù)處理、特征提取、網(wǎng)絡(luò)訓(xùn)練及識(shí)別[6]。預(yù)處理主要對(duì)語音進(jìn)行分幀、預(yù)加重和加窗處理。特征提取用于提取語音中反映聲學(xué)特征的相關(guān)參數(shù)，本文采用的是過零峰值幅度（ZCPA）。網(wǎng)絡(luò)訓(xùn)練是在識(shí)別之前從語音樣本中去除冗余信息，提取關(guān)鍵參數(shù)，再按照一定規(guī)則對(duì)數(shù)據(jù)加以聚類，形成模式庫。網(wǎng)絡(luò)識(shí)別是通過已訓(xùn)練好的網(wǎng)絡(luò)，計(jì)算測(cè)試樣本數(shù)據(jù)與模式庫之間的相似度，判斷出輸入語音所屬的類別。粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)原理框圖如圖1所示。

PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行語音識(shí)別的實(shí)驗(yàn)步驟如下：

第1步：提取特征。

首先對(duì)用于訓(xùn)練和識(shí)別的各種信噪比的語音文件進(jìn)行ZCPA特征提取。語音信號(hào)的采樣頻率為11.025kHz，每幀為256個(gè)采樣點(diǎn)，經(jīng)過時(shí)間和幅度歸一化處理后，得到256維特征矢量序列。

第2步：網(wǎng)絡(luò)訓(xùn)練。

網(wǎng)絡(luò)訓(xùn)練的過程就是調(diào)整RBF神經(jīng)網(wǎng)絡(luò)基函數(shù)的中心和寬度以及隱層到輸出層之間的連接權(quán)值。實(shí)驗(yàn)中，類別數(shù)為待識(shí)別的詞匯數(shù)，如對(duì)10個(gè)詞進(jìn)行識(shí)別，則隱層節(jié)點(diǎn)數(shù)、輸出層節(jié)點(diǎn)數(shù)和聚類中心均為10，如對(duì)20個(gè)詞進(jìn)行識(shí)別，則隱層節(jié)點(diǎn)數(shù)、輸出層節(jié)點(diǎn)數(shù)和聚類中心均為20，以此類推，本文對(duì)10詞、20詞、30詞和40詞分別進(jìn)行訓(xùn)練識(shí)別。利用PSO優(yōu)化算法通過聚類獲取隱層基函數(shù)的中心值和寬度，網(wǎng)絡(luò)輸出權(quán)值使用偽逆法得到。在PSO算法中，種群大小為20，最大進(jìn)化迭代次數(shù)為40。

第3步：網(wǎng)絡(luò)識(shí)別。

RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練好后，將測(cè)試集中的樣本輸入網(wǎng)絡(luò)進(jìn)行識(shí)別測(cè)試。每輸入一個(gè)單詞的特征矢量，經(jīng)過隱層、輸出層的計(jì)算后可得一個(gè)單詞分類號(hào)，將這個(gè)分類號(hào)與輸入詞自帶的分類號(hào)進(jìn)行對(duì)比，相等則認(rèn)為識(shí)別正確，反之，識(shí)別錯(cuò)誤。最后將識(shí)別正確的個(gè)數(shù)與所有待識(shí)別單詞數(shù)的比值作為最終的識(shí)別率。

3 實(shí)驗(yàn)仿真分析

本文運(yùn)用matlab在PC機(jī)上仿真實(shí)現(xiàn)了PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的孤立詞語音識(shí)別系統(tǒng)，選用在不同高斯白噪聲條件下（包含15dB、20dB、25dB和無噪聲），18個(gè)人分別錄制40詞各三次，形成實(shí)驗(yàn)語音數(shù)據(jù)，實(shí)驗(yàn)時(shí)選其中10人的10詞、20詞、30詞、40詞語音數(shù)據(jù)分別作為訓(xùn)練樣本，另外8個(gè)人對(duì)應(yīng)的10詞、20詞、30詞、40詞語音數(shù)據(jù)分別作為測(cè)試樣本進(jìn)行實(shí)驗(yàn)，得到了不同噪聲和詞匯量下的粒子群優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的語音識(shí)別結(jié)果。

表1所示為在不同詞匯量和不同SNR下，分別基于PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)和標(biāo)準(zhǔn)RBF神經(jīng)網(wǎng)絡(luò)采用ZCPA語音特征參數(shù)的語音識(shí)別結(jié)果。由表中識(shí)別率的變化可知，基于PSO優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)的識(shí)別率在不同詞匯量和不同信噪比下都比標(biāo)準(zhǔn)RBF神經(jīng)網(wǎng)絡(luò)的高，正確識(shí)別出的詞匯量明顯增多，這充分證明改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)性和強(qiáng)大的分類能力，縮短網(wǎng)絡(luò)訓(xùn)練時(shí)間的同時(shí)，提高了系統(tǒng)的識(shí)別性能，尤其在大詞匯量的語音識(shí)別中表現(xiàn)出更加明顯的優(yōu)勢(shì)。

4 結(jié)語

本文采用粒子群優(yōu)化算法來聚類RBF神經(jīng)網(wǎng)絡(luò)隱層基函數(shù)中心值和寬度，并將PSO改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)用于語音識(shí)別中。通過仿真實(shí)驗(yàn)，得出了其與標(biāo)準(zhǔn)RBF神經(jīng)網(wǎng)絡(luò)在不同詞匯量和不同SNR下的語音識(shí)別結(jié)果。通過分析比較，證明了PSO優(yōu)化后的RBF神經(jīng)網(wǎng)絡(luò)有較高的識(shí)別率，且訓(xùn)練時(shí)間明顯縮短，表明神經(jīng)網(wǎng)絡(luò)方法非常適宜求解語音識(shí)別這類模式分類問題。

參考文獻(xiàn)

[1]Edmondo Trentin， Marco Gori. A survey of hybrid ANN/HMM models for automatic speech recognition[J].Neurocomputing，2001，（37）：91-126.

[2]王凱.免疫粒子群改進(jìn)LBG的孤立詞語音識(shí)別算法研究[J].數(shù)字技術(shù)與應(yīng)用，2013，（1）：111-113.

[3]夏妍妍，黃健，尹麗華.基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的語音識(shí)別[J].大連海事大學(xué)學(xué)報(bào)，2007，（S1）：157-159.

[4]孟艷，潘宏俠.PSO聚類和梯度算法結(jié)合的RBF神經(jīng)網(wǎng)絡(luò)優(yōu)化[J].自動(dòng)化儀表，2011，（02）：6-8.

篇7

關(guān)鍵詞：模糊神經(jīng)網(wǎng)絡(luò)；PID；控制系統(tǒng)；非線性

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9599 (2011) 20-0000-02

Design of Control System Based on FNN PID

Duan Zhengjun1,Zhao Ran1,Tian Wenxue2

(1.TISCO Stainless Steel Pipe company,Taiyuan030000,China;2. China Chemical Engineering Second Construction Corporation,Taiyuan030000,China)

Abstract:At present,many of intelligent algorithm apply to the non-linear control system,it is intelligent control systems,for example,neural network,fuzzy control.According to the neural networks and fuzzy control in this article,introduced design principles and implementation based on neural nerwork and PID algorithm.

Keywords:Fuzzy neural network;PID;Control System;Nonlinear

一、引言

模糊神經(jīng)網(wǎng)絡(luò)（FNN）是模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者結(jié)合的產(chǎn)物。模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者單獨(dú)使用時(shí)候，都會(huì)有一定的缺陷。模糊邏輯在一定的論域上面有很好的收斂性，在進(jìn)行模糊量的運(yùn)算上有優(yōu)勢(shì)；而神經(jīng)網(wǎng)絡(luò)具有強(qiáng)的自學(xué)習(xí)、自適應(yīng)、并行運(yùn)算和精確計(jì)算的能力。因此，兩者結(jié)合可以優(yōu)勢(shì)互補(bǔ)，從而很大提高綜合能力。FNN-PID是將模糊神經(jīng)網(wǎng)絡(luò)融進(jìn)PID算法中，實(shí)現(xiàn)二者結(jié)合。FNN-PID算法具有PID控制器優(yōu)點(diǎn)、模糊控制的良好收斂性和對(duì)模糊量的運(yùn)算優(yōu)勢(shì)，也有神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、自適應(yīng)的特性。

二、FNN系統(tǒng)結(jié)構(gòu)

FNN具有很多種結(jié)構(gòu)和算法，對(duì)于不同的控制對(duì)象，在綜合考慮運(yùn)算速度和精度的情況下，可以使模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有所不同。本文模糊神經(jīng)網(wǎng)絡(luò)采用如圖1的結(jié)構(gòu)，兩個(gè)輸入變量是有 、 ，為誤差E與誤差變化量EC。輸出變量為Y，為PID三要素中的一個(gè)。根據(jù)專家經(jīng)驗(yàn)知識(shí)把每個(gè)輸入因子分為（NM，NS，ZO，PS，PM）五個(gè)模糊狀態(tài)記為T[ ]。

圖1.模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

第一層至第三層是實(shí)現(xiàn)模糊控制規(guī)則，第四層去除模糊化并實(shí)現(xiàn)輸出實(shí)際控制對(duì)象的值，每層的作用如下：

第一層為輸入層，該層的節(jié)點(diǎn)直接與輸入層相連，起著將輸入向量X傳送到下一層的作用，其節(jié)點(diǎn)個(gè)數(shù)等于輸入變量個(gè)數(shù)。輸入輸出關(guān)系可表示為：

， i=1，2（1）

第二層為隸屬函數(shù)層，其作用是計(jì)算輸入量屬于各語言變量值模糊集合的隸屬函數(shù)值，節(jié)點(diǎn)個(gè)數(shù) ，每個(gè)節(jié)點(diǎn)代表一個(gè)模糊集合，可表示為：

， j=1，2，3（2）

式中j―― 的模糊分割數(shù)， 、 ――高斯函數(shù)中第j個(gè)輸入對(duì)第i個(gè)結(jié)點(diǎn)的中心和寬度。

第三層為模糊規(guī)則層，每個(gè)節(jié)點(diǎn)代表一條模糊規(guī)則。采用IF-THEN模糊規(guī)則，可表示為：

：If is and is and…is THEN Yis（3）

式中，1≤n≤2，1≤i≤3： （4）

第四層為輸出層： （5）

三、FNN的學(xué)習(xí)算法及步驟

在學(xué)習(xí)方法上，我們選擇在線學(xué)習(xí)，在線學(xué)習(xí)就是針對(duì)整個(gè)訓(xùn)練集的每一個(gè)輸入和對(duì)應(yīng)的輸出要求，每學(xué)習(xí)一條規(guī)則，就進(jìn)行一次連接權(quán)的調(diào)整；這樣一輪一輪不斷的自動(dòng)的調(diào)整網(wǎng)絡(luò)連接權(quán)，知道整個(gè)網(wǎng)絡(luò)達(dá)到所有的要求的響應(yīng)為止。學(xué)習(xí)目的是對(duì)產(chǎn)生樣本規(guī)律的統(tǒng)計(jì)特性進(jìn)行建模，從具體觀測(cè)推測(cè)隱含的規(guī)律，輸出結(jié)果與樣本接近。為了提高測(cè)量的精度，要求 、 和 三個(gè)參數(shù)能夠適應(yīng)環(huán)境的變化，即可實(shí)時(shí)調(diào)節(jié)高斯隸屬函數(shù)和連接第三、第四層的權(quán)重比。具體算法如下：

式（5）可以按下式表示：（6）

設(shè) ， ， ，從而得到式（6）的簡(jiǎn)化形式為： ，由式子（6）和式子（7）得到（8）式：

（9）

（10）

定義輸出誤差為： （11），其中 ――k時(shí)刻的輸出值， ――k時(shí)刻的輸出期望值。

定義系統(tǒng)的性能指標(biāo)為：（12）

采用反方向傳播方法進(jìn)行監(jiān)督學(xué)習(xí)，使性能指標(biāo)E值最小化。根據(jù)梯度下降方法有：

以上式子分別為（13），（14），（15）。其中 為學(xué)習(xí)速度，由于采用在線學(xué)習(xí)，那么 為一個(gè)定值。根據(jù)性能指標(biāo)選取規(guī)則和專家經(jīng)驗(yàn)知識(shí)，取終止條件為E≤0.005，具體的學(xué)習(xí)步驟如下：

步驟1： 、 、 及 的初始值在[0，1]之間隨機(jī)選取， 的值為恒定值，根據(jù)經(jīng)驗(yàn)決定。

步驟2：根據(jù)式子（11），（13），（14），（15）計(jì)算得出比較理想的 ， ， 值。

步驟3：根據(jù)式子（12）計(jì)算E，若E≤0.002，迭代結(jié)束。否則，令 ， ， 為初始值并返回步驟2。

四、PID-FNN系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)

根據(jù)FNN結(jié)構(gòu)可知，輸入是誤差和誤差變化量，輸出是PID控制參數(shù)中的一個(gè)，故我們?cè)O(shè)計(jì)PID-FNN系統(tǒng)時(shí)要使用3個(gè)FNN，選擇這樣的FNN結(jié)構(gòu)是為了更加精確的得到PID所需要的修正值。當(dāng)然，這里所用的FNN是已經(jīng)結(jié)束學(xué)習(xí)過程的。PID-FNN控制系統(tǒng)的具體結(jié)構(gòu)如圖2所示。

PID-FNN系統(tǒng)具體實(shí)現(xiàn)過程如下：①根據(jù)FNN的學(xué)習(xí)算法，通過提供的樣本對(duì)FNN-Kp、FNN-Ki和FNN-Kd進(jìn)行訓(xùn)練，使其得到合適的權(quán)值，滿足性能指標(biāo)為止。②誤差和誤差變化量做歸一化處理，作為FNN-Kp、FNN-Ki和FNN-Kd的輸入。③根據(jù)式子（1）（2）（4）（5）計(jì)算FNN的各層的輸出，F(xiàn)NN-Kp、FNN-Ki和FNN-Kd最后一層的輸出就是PID控制參數(shù)Kp、Ki和Kd的修正值。④利用③中得到的修正值，對(duì)經(jīng)典PID控制器所得出的Kp、Ki和Kd的值進(jìn)行修正。⑤Kp、Ki和Kd的修正后的值傳送給控制對(duì)象，并由圖2中所示，控制結(jié)果反饋回到計(jì)算誤差處進(jìn)行誤差計(jì)算。由此跳轉(zhuǎn)到②步。

圖2.FNN-PID系統(tǒng)結(jié)構(gòu)

五、結(jié)束語

FNN融合了模糊控制和神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，本文利用這一點(diǎn)設(shè)計(jì)了PID-FNN控制系統(tǒng)并予以實(shí)現(xiàn)。文章中介紹了FNN的系統(tǒng)結(jié)構(gòu)和學(xué)習(xí)過程的算法以及步驟，然后設(shè)計(jì)了PID-FNN的系統(tǒng)結(jié)構(gòu)，并且描述了具體的實(shí)現(xiàn)過程。

本文作者創(chuàng)新點(diǎn)：模糊神經(jīng)網(wǎng)絡(luò)（FNN）是模糊邏輯控制和神經(jīng)網(wǎng)絡(luò)兩者結(jié)合的產(chǎn)物。兩者結(jié)合可以優(yōu)勢(shì)互補(bǔ)，從而很大提高綜合能力。從而能夠更迅速、更精確的對(duì)PID參數(shù)進(jìn)行修正，已達(dá)到最佳的控制狀態(tài)。

參考文獻(xiàn)：

[1]李士勇.模糊控制,神經(jīng)控制和智能控制論[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,1996

[2]曾黃麟.智能計(jì)算[M].重慶:重慶大學(xué)出版社,2004

[3]晁勤,傅成華.自動(dòng)控制原理[M].重慶:重慶大學(xué)出版社,2005

[4]武嘉.輔助控制系統(tǒng)設(shè)計(jì)與仿真[M].北京:電子工業(yè)出版社,2005

篇8

關(guān)鍵詞:室內(nèi)定位;RSS; BP神經(jīng)網(wǎng)絡(luò);IEEE 802.11b

中圖分類號(hào):TN911.23 文獻(xiàn)標(biāo)識(shí)碼:A

1 引 言

目前,室內(nèi)定位算法主要有以下幾種｡

1)Time of arrival(TOA)

TOA定位的基本原理是通過測(cè)量節(jié)點(diǎn)間電波傳播的時(shí)間來確定節(jié)點(diǎn)的位置｡

TOA算法要求參加定位的各個(gè)基站在時(shí)間上實(shí)現(xiàn)嚴(yán)格同步｡在室內(nèi)環(huán)境中,由于已知點(diǎn)到待測(cè)點(diǎn)的距離通常不遠(yuǎn),無線電波的傳播速度太快,且存在嚴(yán)重的多徑干擾,因此無法利用無線電波進(jìn)行測(cè)距｡目前,基于TOA的室內(nèi)定位技術(shù)通常是利用超聲波傳播速度較慢的特點(diǎn)(在20攝氏度時(shí)超聲波的傳播速度為343.38m/s),來測(cè)量出已知點(diǎn)和待測(cè)點(diǎn)間的距離,進(jìn)而求出待測(cè)點(diǎn)的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美國開發(fā)的衛(wèi)星導(dǎo)航定位系統(tǒng),本質(zhì)上它也是一個(gè)基于TOA的定位系統(tǒng)｡

GPS L1 Re-radiating是將GPS在L1頻段上的信號(hào),通過戶外天線接收后,增益放大為室內(nèi)可接收信號(hào),進(jìn)而基于GPS實(shí)現(xiàn)室內(nèi)定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移動(dòng)裝置偵測(cè)所接收到的無線電波信號(hào)強(qiáng)弱,然后根據(jù)經(jīng)驗(yàn)?zāi)Ｐ突騌SS隨距離衰減的模型來推斷節(jié)點(diǎn)間的距離,進(jìn)而實(shí)現(xiàn)定位[2]｡

該技術(shù)主要使用無線網(wǎng)絡(luò)本身的無線電信號(hào)來定位,不需額外添加硬件,是一種低功率､廉價(jià)的定位技術(shù)[3]｡

基于信號(hào)強(qiáng)度的室內(nèi)定位方法分為經(jīng)驗(yàn)?zāi)Ｐ头ê托盘?hào)衰減模型法｡

(1)經(jīng)驗(yàn)?zāi)Ｐ头?/p>

在經(jīng)驗(yàn)?zāi)Ｐ头ㄖ?將RSSI數(shù)據(jù)轉(zhuǎn)換為位置信息的方法主要有判定法和概率法兩種｡

(2)信號(hào)衰減模型法

信號(hào)衰減模型法則無需實(shí)地測(cè)量位置和RSSI,而是依據(jù)信號(hào)強(qiáng)度和距離的特定關(guān)系,結(jié)合三角測(cè)量法,根據(jù)來自三個(gè)(或以上)AP的RSSI來計(jì)算出待測(cè)點(diǎn)的位置｡

基于TOA的定位模型在開放的室外環(huán)境中非常有效,但在室內(nèi)環(huán)境卻存在一些問題｡使用超聲波雖可克服無線電波傳輸速度快的問題,但需構(gòu)建專門的超聲波系統(tǒng)｡GPS也主要是針對(duì)戶外目標(biāo)設(shè)計(jì)的定位系統(tǒng),應(yīng)用于室內(nèi)存在定位精度不高等問題｡基于RSS的定位模型中,經(jīng)驗(yàn)法需進(jìn)行大量的實(shí)地測(cè)量,同時(shí)無法保護(hù)定位用戶的隱私;而信號(hào)衰減法在室內(nèi)受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡

因此,本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型并借助MATLAB 7.0加以實(shí)現(xiàn)｡采用該方法進(jìn)行室內(nèi)定位,不需要WLAN以外的其他資源｡由于不需要知道定位節(jié)點(diǎn)和建筑物的詳細(xì)特性,用戶的隱私將隨之得到完全的保護(hù)｡

2 基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型

BP神經(jīng)網(wǎng)絡(luò)通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經(jīng)網(wǎng)絡(luò),目前,該算法已成為應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[4]｡

BP神經(jīng)網(wǎng)絡(luò)采用的是并行網(wǎng)絡(luò)結(jié)構(gòu),包括輸入層､隱含層和輸出層,經(jīng)作用函數(shù)后,再把隱節(jié)點(diǎn)的輸出信號(hào)傳遞到輸出節(jié)點(diǎn),最后給出輸出結(jié)果｡該算法的學(xué)習(xí)過程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層｡第一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)｡如果在輸出層得不到期望的輸出結(jié)果,則轉(zhuǎn)入反向傳播,將誤差信號(hào)(目標(biāo)值與網(wǎng)絡(luò)輸出之差)沿原來的連接通道返回,通過修改各層神經(jīng)元權(quán)值,使得誤差均方最小｡神經(jīng)網(wǎng)絡(luò)理論已經(jīng)證明BP神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性映射能力和泛化功能,任一連續(xù)函數(shù)或映射均可采用三層網(wǎng)絡(luò)加以實(shí)現(xiàn)｡

計(jì)算技術(shù)與自動(dòng)化2007年6月第26卷第2期李 瑛等:一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型2.1 樣本數(shù)據(jù)的采集和處理

輸入向量為待測(cè)點(diǎn)收到的來自至少三個(gè)不同位置AP的RSSI值,輸出向量為待測(cè)點(diǎn)的坐標(biāo)值(X,Y)｡

樣本采集在一個(gè)10mX10m的室內(nèi)場(chǎng)地中進(jìn)行｡使用3個(gè)來自SMC公司的AP和1臺(tái)配置了ORiNOCO PC CARD的筆記本電腦｡AP及無線網(wǎng)卡符合并工作在IEEE 802.11b標(biāo)準(zhǔn)下｡筆記本電腦所使用的操作系統(tǒng)為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區(qū)域中｡

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的確定

Kolmogorov定理已經(jīng)證明[5],任意一連續(xù)函數(shù)可由一個(gè)三層BP 網(wǎng)絡(luò)來實(shí)現(xiàn)｡雖然研究表明三層以上的BP網(wǎng)絡(luò)可以減少隱含層節(jié)點(diǎn)數(shù),提高計(jì)算效率,但在缺乏理論指導(dǎo)的BP網(wǎng)絡(luò)設(shè)計(jì)中這樣做容易使問題趨向復(fù)雜化｡因此選擇三層BP神經(jīng)網(wǎng)絡(luò),即只有1個(gè)隱含層的BP神經(jīng)網(wǎng)絡(luò)｡

該網(wǎng)絡(luò)輸入層的節(jié)點(diǎn)數(shù)由輸入向量的維數(shù)決定,輸入向量的維數(shù)是3,所以輸入層節(jié)點(diǎn)數(shù)確定為3個(gè)｡輸出層節(jié)點(diǎn)數(shù)由輸出向量的維數(shù)決定,這里輸出節(jié)點(diǎn)數(shù)為2 ｡

隱含層節(jié)點(diǎn)數(shù)的選擇在BP網(wǎng)絡(luò)設(shè)計(jì)中是一個(gè)難點(diǎn),目前還沒有理論上的指導(dǎo)｡過多的網(wǎng)絡(luò)節(jié)點(diǎn)會(huì)增加訓(xùn)練網(wǎng)絡(luò)的時(shí)間,也會(huì)使網(wǎng)絡(luò)的泛化能力減弱,網(wǎng)絡(luò)的預(yù)測(cè)能力下降｡然而網(wǎng)絡(luò)節(jié)點(diǎn)過少則不能反映后續(xù)值與前驅(qū)值的相關(guān)關(guān)系,建模不充分｡經(jīng)反復(fù)試驗(yàn),將隱含層節(jié)點(diǎn)數(shù)定為30,這樣形成了一個(gè)3-30-2結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò),如圖1所示｡

2.3 學(xué)習(xí)算法的選擇

基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達(dá)到誤差要求｡但在實(shí)際應(yīng)用中,存在收斂速度慢､局部極值等缺點(diǎn)｡Matlab 7.0神經(jīng)網(wǎng)絡(luò)工具箱中提供了十多種快速學(xué)習(xí)算法,一類是采用啟發(fā)式學(xué)習(xí)方法,如引入動(dòng)量因子的traingdm 算法､變速率學(xué)習(xí)算法traingda ､“彈性”學(xué)習(xí)算法trainrp等;另一類采用數(shù)值優(yōu)化方法,如共軛梯度學(xué)習(xí)算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復(fù)雜性的前提下,可以提高收斂速度,并且可沿共扼方向達(dá)到全局最小點(diǎn),較好地解決了經(jīng)典BP算法所存在的收斂速度慢和可能出現(xiàn)局部最優(yōu)解的問題｡

2.4 BP神經(jīng)網(wǎng)絡(luò)的初始化､訓(xùn)練與仿真

1)建立網(wǎng)絡(luò)

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()為建立BP 神經(jīng)網(wǎng)絡(luò)的函數(shù);P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節(jié)點(diǎn)數(shù)是30,輸出層節(jié)點(diǎn)數(shù)是2,{′tansig′,′purelin′}表示隱含層中的神經(jīng)元采用tansig轉(zhuǎn)換函數(shù),輸出層采用purelin函數(shù),′traincgf′表示選擇的學(xué)習(xí)算法｡

2)權(quán)重和閾值初始化

net==init(net)

給各連接權(quán)重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機(jī)值｡

3)訓(xùn)練

[net,tr]=train(net,P,T)

P為輸入向量,T為目標(biāo)向量,根據(jù)網(wǎng)絡(luò)學(xué)習(xí)誤差逆?zhèn)鬟f算法,利用阻尼最小二乘算法迭代,由前一次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重及閾值訓(xùn)練得到新的網(wǎng)絡(luò)權(quán)重及閾值｡

為了使生成的BP網(wǎng)絡(luò)對(duì)輸入向量有一定的容錯(cuò)能力,最好的方法是既使用理想的信號(hào)又使用帶有噪聲的信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡具體做法是先用理想的輸入信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,直到起平方和誤差足夠小;然后,使用20組理想信號(hào)和帶有噪聲的信號(hào)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡經(jīng)過上述訓(xùn)練后,網(wǎng)絡(luò)對(duì)無誤差的信號(hào)也可能會(huì)采用對(duì)付帶有噪聲信號(hào)的辦法,這樣會(huì)導(dǎo)致很大的代價(jià),因此,需要采用理想的向量對(duì)網(wǎng)絡(luò)再次訓(xùn)練,以保證網(wǎng)絡(luò)能對(duì)理想信號(hào)作出最好的反應(yīng)｡

使用函數(shù)traincgf對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),當(dāng)網(wǎng)絡(luò)平方和誤差小于3時(shí)停止網(wǎng)絡(luò)的訓(xùn)練｡訓(xùn)練過程中的誤差變化情況如圖2所示｡

根據(jù)訓(xùn)練后的網(wǎng)絡(luò)及輸入向量進(jìn)行仿真輸出｡

3 實(shí)驗(yàn)結(jié)果及分析

利用訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了36次定位,并統(tǒng)計(jì)了36次定位的平均誤差,結(jié)果如圖3所示｡

與利用信號(hào)衰減模型定位相比(如圖4所示),利用BP神經(jīng)網(wǎng)絡(luò)定位具有更高的統(tǒng)計(jì)精度｡

與信號(hào)衰減模型相比,雖然BP神經(jīng)網(wǎng)絡(luò)的模型解釋直觀性略有不足,但卻可獲得更精確的定位結(jié)果｡

利用BP神經(jīng)網(wǎng)絡(luò),雖然可解決傳統(tǒng)處理方法所不能處理的非線性映射問題,但在實(shí)際應(yīng)用中,對(duì)如何選擇和確定一個(gè)合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)沒有確切的理論指導(dǎo),只能通過試驗(yàn)―調(diào)整―再試驗(yàn)的過程來確定一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)｡同時(shí),BP神經(jīng)網(wǎng)絡(luò)的隱含層作用機(jī)理和隱含層節(jié)點(diǎn)個(gè)數(shù)的選擇是BP神經(jīng)網(wǎng)絡(luò)的難點(diǎn)問題｡隱含層的節(jié)點(diǎn)個(gè)數(shù)的選擇需反復(fù)進(jìn)行試驗(yàn),當(dāng)多次輸出結(jié)果在一定誤差范圍內(nèi)時(shí)才可確定｡

4 結(jié)束語

本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型,并在基于IEEE 802.11b標(biāo)準(zhǔn)的WLAN環(huán)境中對(duì)此模型進(jìn)行了測(cè)試｡一個(gè)基于信號(hào)衰減模型的定位算法也在同樣的環(huán)境中進(jìn)行了測(cè)試｡對(duì)比結(jié)果表明,利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行室內(nèi)定位能取得更好的定位精度｡

篇9

關(guān)鍵詞：多元支持向量機(jī) 離心式壓縮機(jī) 故障診斷

The Application of Multi-Support Vector Machines in Fault Diagnosis for Compressors

Yu Huiyuan

（Well-Tech R&D Institutes， COSL， Yanjiao 065201， China）

Abstract： For solving the defect of traditional classificatory with many samples， a new classificatory recognizing faults based on Multi-Support Vector Machine （MSVM） is proposed for centrifugal compressors. SVM is a new machine study method which has excellent advantages in small-sample and multi-dimension binary classification. The new MSVM classificatory can be studied in a few samples rapidly to recognize several kinds of new faults. At the same time， the experiments showed that recognizing correct rate increased more greatly compared with traditional BP method.

Key words： MSVM； centrifugal compressor； fault diagnosis

一、引 言

壓縮機(jī)在工業(yè)生產(chǎn)領(lǐng)域中具有非常重要的作用，由于故障原因造成的啟停機(jī)一次所產(chǎn)生的經(jīng)濟(jì)損失是非常巨大的。如果能夠事先準(zhǔn)確診斷和預(yù)測(cè)出設(shè)備出現(xiàn)的各種故障，根據(jù)故障類型和實(shí)際情況采取相應(yīng)的措施，就可以避免或減少經(jīng)濟(jì)損失。機(jī)械故障診斷學(xué)就是通過研究故障和征兆之間的關(guān)系來判斷設(shè)備故障的。旋轉(zhuǎn)機(jī)械的故障形式多種多樣，故障產(chǎn)生的機(jī)理和原因也非常復(fù)雜[1]，加之實(shí)際因素的復(fù)雜性，故障和征兆之間表現(xiàn)出的關(guān)系也較為復(fù)雜，即各類故障所反映的特征參數(shù)并不完全相同，這種關(guān)系很難用精確的數(shù)學(xué)模型來表示，這就給現(xiàn)場(chǎng)診斷帶來了極大的困難。雖然神經(jīng)網(wǎng)絡(luò)具有充分逼近任意復(fù)雜非線性關(guān)系的能力和分類能力，但存在局部極小值、算法收斂速度慢、受網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性和樣本復(fù)雜性的影響較大、容易出現(xiàn)“過學(xué)習(xí)”或泛化能力低等缺點(diǎn)[2，3]。

支持向量機(jī)是一種新的機(jī)器學(xué)習(xí)方法，它較好的解決了非線性數(shù)據(jù)的分類問題，在小樣本和二元分類方面有非常突出的優(yōu)點(diǎn)。本文在分析了支持向量機(jī)的特點(diǎn)后，提出一種基于多元支持向量機(jī)的離心式壓縮機(jī)轉(zhuǎn)子故障分類識(shí)別方法，可以在較少樣本情況下完成對(duì)分類器的學(xué)習(xí)訓(xùn)練工作，從而達(dá)到提高故障診斷效率的目的。

二、支持向量機(jī)分類原理

支持向量機(jī)不同于神經(jīng)網(wǎng)絡(luò)基于經(jīng)驗(yàn)的算法，它是實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的一種學(xué)習(xí)算法，是利用核函數(shù)把特征樣本映射到高維特征空間，然后在此空間中構(gòu)造分類間隔最大的線性分類超平面，所以支持向量機(jī)比較適合于小樣本數(shù)據(jù)的分類。其基本思想如圖 1 所示，圖中圓點(diǎn)和三角點(diǎn)分別表示兩類訓(xùn)練樣本，H 為把兩類樣本完全無誤分開的分類線，H1、H2 分別為通過樣本中離分類線最近的樣本且平行于分類線的直線，它們之間的間隔為分類間隔，圖中的樣本點(diǎn)就是支持向量。該最優(yōu)面不但可將兩類樣本無誤的分開，而且還要使分類間隔最大。前者保證經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，后者使問題的真實(shí)風(fēng)險(xiǎn)最小[4]。

不同的核函數(shù)將導(dǎo)致不同的支持向量機(jī)算法，常見的核函數(shù)包括多項(xiàng)式內(nèi)積函數(shù)、徑向基函數(shù)、S型內(nèi)積函數(shù)等[5]。

三、基于MSVM的故障識(shí)別分類器

（一）基于MSVM的故障識(shí)別分類模型

由于SVM是二元分類器，診斷過程中，故障通常有多種類型。要對(duì)多種故障模式進(jìn)行識(shí)別，必須構(gòu)造一種多元分類器才能進(jìn)行這種多種模式的識(shí)別。通常通過組合多個(gè)兩類分類器的方法來實(shí)現(xiàn)多值分類器的分類，目前此類方法主要有以下幾類算法：一對(duì)一算法（one-against-one，簡(jiǎn)稱1-v-1）、一對(duì)多算法（one -versus-rest，簡(jiǎn)稱1-v-r）和決策導(dǎo)向無環(huán)圖算法（Decision Directed Acyclic Graph，DDAG）等幾種，可參見文獻(xiàn)[5，6]。通過比較分析，筆者采用一對(duì)一方法構(gòu)造多元分類器[5]，其基本思想是：對(duì)N元分類問題建立N（N-1）/2個(gè)SVM，每?jī)深愔g訓(xùn)練一個(gè)SVM將彼此分開。這種方法優(yōu)點(diǎn)是單個(gè)SVM訓(xùn)練規(guī)模較小，分類器的推廣能力強(qiáng)。

采用多元分類器訓(xùn)練數(shù)據(jù)樣本后，在預(yù)測(cè)新樣本時(shí)，使用成對(duì)的SVM進(jìn)行比較，每次產(chǎn)生一個(gè)優(yōu)勝者（即獲得一個(gè)類別），然后在優(yōu)勝者之間再次進(jìn)行比較，直到最后僅剩一個(gè)優(yōu)勝者。實(shí)際上，在預(yù)測(cè)新樣本時(shí)，并不需要對(duì)每?jī)深愔g的優(yōu)勝者再次進(jìn)行競(jìng)爭(zhēng)淘汰，只需比較兩類之間獲勝次數(shù)最多的類，即為新樣本所屬的故障類別。

（二）分類器的學(xué)習(xí)訓(xùn)練方法

本文的MSVM分類器訓(xùn)練程序采用的是LIBSVM開發(fā)函數(shù)庫，在沒有先驗(yàn)知識(shí)前提下使用徑向基函數(shù)作為核函數(shù)。實(shí)驗(yàn)表明，通常情況下該核函數(shù)的分類效果略優(yōu)于其他核函數(shù)?；贛SVM的故障分類識(shí)別分類器工作過程主要有學(xué)習(xí)訓(xùn)練和識(shí)別兩個(gè)階段，如圖2所示。

圖2 模分類器的工作過程

四、壓縮機(jī)故障診斷實(shí)例

在離心式壓縮機(jī)等旋轉(zhuǎn)機(jī)械中，不平衡、不對(duì)中及油膜振蕩是轉(zhuǎn)子部件幾種較常見的故障。目前人工智能方法在故障診斷領(lǐng)域已經(jīng)得到較好的應(yīng)用效果。但是，基于神經(jīng)網(wǎng)絡(luò)的診斷方法通常需要用大量的故障特征樣本對(duì)模型進(jìn)行訓(xùn)練，才能得到較為可靠的識(shí)別模型。然而，在機(jī)械設(shè)備實(shí)際故障樣本的收集過程中，采集到的樣本比較有限，尤其是某些故障樣本的收集十分困難，這極大地限制了檢測(cè)模型在模式分類過程中對(duì)訓(xùn)練樣本的需求。而支持向量機(jī)在小樣本和高維特征分類方面有突出優(yōu)勢(shì)，本文以離心式壓縮機(jī)組轉(zhuǎn)子故障為例，采用上述MSVM方法建立故障診斷模型。

（一）壓縮機(jī)轉(zhuǎn)子故障診斷模型設(shè)計(jì)

以轉(zhuǎn)子不平衡、不對(duì)中及油膜振蕩三種常見故障作為示例樣本建立故障識(shí)別模型，將轉(zhuǎn)子不平衡故障作為一類，轉(zhuǎn)子不對(duì)中作為一類，油膜振蕩作為一類。由于SVM是二元分類器，對(duì)于多種故障形式識(shí)別，必須構(gòu)造一種多元分類器才能進(jìn)行識(shí)別。由于本文采用一對(duì)一方法構(gòu)造多元分類器建立故障識(shí)別模型，當(dāng)需要對(duì)以上三種故障形式進(jìn)行識(shí)別時(shí)，共需要構(gòu)建3個(gè)SVM分類器。用SVM1來區(qū)分轉(zhuǎn)子不平衡與不對(duì)中，SVM2識(shí)別轉(zhuǎn)子不對(duì)中與油膜振蕩，SVM3識(shí)別油膜振蕩與轉(zhuǎn)子不平衡。通過每?jī)深悩颖痉謩e對(duì)三個(gè)SVM分類器進(jìn)行學(xué)習(xí)訓(xùn)練來尋求最優(yōu)分類函數(shù)，以達(dá)到對(duì)建立識(shí)別模型的目的，模型如圖3。

圖3 多類故障識(shí)別模型

對(duì)于部件的有更多種故障模式存在的情況下，只需獲取該部件對(duì)應(yīng)故障狀態(tài)下的特征樣本，在原有模型基礎(chǔ)上增加分類器即可，方法同上。不過對(duì)于多種故障模式下多元支持向量機(jī)模型的選擇需要在速度、模型復(fù)雜度、識(shí)別效率等方面進(jìn)行綜合考慮。

（二）測(cè)試結(jié)果

為了考查模型的泛化能力，對(duì)診斷模型進(jìn)行學(xué)習(xí)訓(xùn)練后，用訓(xùn)練后的分類器對(duì)45個(gè)測(cè)試樣本進(jìn)行分類試驗(yàn)。利用兩類之間比較獲勝次數(shù)最多的類，即為新樣本所屬的故障類別，如勝次相等，則為識(shí)別失敗。表1為各類故障的分類識(shí)別結(jié)果。除3個(gè)待測(cè)故障的識(shí)別結(jié)果不太理想外，其余故障類型的識(shí)別結(jié)果都相當(dāng)理想，本分類器的總體泛化能力為93.3%，結(jié)果令人滿意。由此可見，該模型具有較好的泛化識(shí)別能力。

表1 識(shí)別結(jié)果

（三）與神經(jīng)網(wǎng)絡(luò)方法比較

為了與神經(jīng)網(wǎng)絡(luò)方法進(jìn)行比較，同樣利用故障樣本對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)發(fā)現(xiàn)，由于樣本數(shù)量較少，網(wǎng)絡(luò)訓(xùn)練陷入局部極值點(diǎn)，訓(xùn)練失敗。因而表明MSVM能在較少樣本情況下實(shí)現(xiàn)對(duì)分類器的學(xué)習(xí)訓(xùn)練。利用兩組樣本總和重新訓(xùn)練，在與BP神經(jīng)網(wǎng)絡(luò)同樣的樣本集均方誤差情況下，發(fā)現(xiàn)其測(cè)試集均方誤差一般比BP神經(jīng)網(wǎng)絡(luò)精度高；當(dāng)訓(xùn)練樣本集數(shù)目增加時(shí)，兩者的泛化能力都有所提高，但BP神經(jīng)網(wǎng)絡(luò)提高速度要快于支持向量機(jī)；當(dāng)樣本集變化時(shí)，MSVM的測(cè)試集均方誤差變化幅度小于BP神經(jīng)網(wǎng)絡(luò)，這些都說明了MSVM對(duì)訓(xùn)練樣本數(shù)據(jù)的依賴程度比神經(jīng)網(wǎng)絡(luò)小。

取不同的收斂閾值對(duì)神經(jīng)網(wǎng)絡(luò)分類模型進(jìn)行訓(xùn)練，并將它與MSVM方法的識(shí)別結(jié)果進(jìn)行對(duì)比，如表2所示。從表中可以看到，支持向量機(jī)分類器的泛化識(shí)別能力明顯優(yōu)于神經(jīng)網(wǎng)絡(luò)分類器，可能是由于神經(jīng)網(wǎng)絡(luò)方法往往陷入過學(xué)習(xí)，即所謂的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，造成分類器推廣能力泛化差于支持向量機(jī)。

表2 MSVM方法和BP神經(jīng)網(wǎng)絡(luò)方法識(shí)別結(jié)果對(duì)比

五、結(jié)論

由于支持向量機(jī)在小樣本分類識(shí)別方面有獨(dú)特優(yōu)勢(shì)，基于此設(shè)計(jì)了多元支持向量機(jī)的壓縮機(jī)故障分類識(shí)別模型。試驗(yàn)證明，利用支持向量機(jī)對(duì)壓縮機(jī)轉(zhuǎn)子故障模式進(jìn)行識(shí)別的方法是可靠和有效的，即使在小樣本情況下，該方法仍可以有效地診斷出壓縮機(jī)關(guān)鍵部件的工作狀態(tài)和故障類型，解決故障診斷中少樣本情形下模型訓(xùn)練不足和識(shí)別效率低的問題。因此，支持向量機(jī)在故障診斷領(lǐng)域是一種值得推廣的方法。

參考文獻(xiàn)

[1] 李小彭，羅躍綱，白秉三.模糊綜合評(píng)判在機(jī)械故障診斷中的應(yīng)用[J].沈陽工業(yè)大學(xué)學(xué)報(bào).2002，24（5）：439-442

[2] 朱君，高宇，葉鑫銳. 基于BP神經(jīng)網(wǎng)絡(luò)的螺桿泵井故障診斷方法[J].石油機(jī)械. 2008， 36（1）：42-44

[3] 趙海洋，王金東，劉樹林，等.基于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的復(fù)合故障診斷技術(shù)[J].流體機(jī)械，2008，36（1）：39-42

[4] 張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J].自動(dòng)化學(xué)報(bào).2000，26（1）：32-42

篇10

【關(guān)鍵詞】股票預(yù)測(cè) 支持向量機(jī) 非線性回歸 神經(jīng)網(wǎng)絡(luò)

一、股市預(yù)測(cè)方法

股票發(fā)展至今已有300多年的歷史，現(xiàn)在已經(jīng)成為國家經(jīng)濟(jì)的“晴雨表”。在股票市場(chǎng)中，無論對(duì)于機(jī)構(gòu)投資者還是個(gè)人投資者來說，預(yù)測(cè)股票價(jià)格走勢(shì)一直是人們關(guān)心的問題。

（一）國內(nèi)外現(xiàn)有股票預(yù)測(cè)方法簡(jiǎn)介

目前，從金融角度來講，對(duì)股票價(jià)格趨勢(shì)預(yù)測(cè)有兩種方法：基本面分析和技術(shù)分析。一般所講的基本面分析是指對(duì)宏觀經(jīng)濟(jì)面、公司主營(yíng)業(yè)務(wù)所處行業(yè)、公司業(yè)務(wù)同行業(yè)競(jìng)爭(zhēng)水平和公司內(nèi)部管理水平包括對(duì)管理層的考察這諸多方面的分析。這種方法有非常系統(tǒng)的理論依據(jù)，然而，我國金融市場(chǎng)中廣泛存在的炒作現(xiàn)象經(jīng)常使股票的價(jià)格嚴(yán)重背離其基本價(jià)值，使基本面分析在實(shí)務(wù)中被認(rèn)同的程度不高。股票技術(shù)分析，是以預(yù)測(cè)市場(chǎng)價(jià)格變化的未來趨勢(shì)為目的，通過分析歷史圖表、技術(shù)指標(biāo)對(duì)市場(chǎng)價(jià)格的運(yùn)動(dòng)進(jìn)行分析的一種方法。其目的是預(yù)測(cè)短期內(nèi)股價(jià)漲跌的趨勢(shì)。然而，國內(nèi)學(xué)者研究表明，中國股市存在非線性與混沌。股市是一個(gè)十分復(fù)雜的非線性高維動(dòng)態(tài)系統(tǒng)，要對(duì)股市進(jìn)行相關(guān)的預(yù)測(cè)分析是極具挑戰(zhàn)性的。然而對(duì)股市的探索研究始終在取得新的突破。現(xiàn)在一些新型的技術(shù)理論的出現(xiàn)，例如數(shù)據(jù)挖掘技術(shù)、統(tǒng)計(jì)學(xué)習(xí)理論、機(jī)器學(xué)習(xí)、人工智能、數(shù)理統(tǒng)計(jì)、信息技術(shù)等空前的發(fā)展，極大的推動(dòng)了相關(guān)領(lǐng)域的應(yīng)用研究。

（二）機(jī)器學(xué)習(xí)在股票預(yù)測(cè)中的應(yīng)用

求解非線性回歸問題的方法有很多，如：局部線性模型、前饋神經(jīng)網(wǎng)絡(luò)模型、徑向基函數(shù)模型等。結(jié)合上述股票預(yù)測(cè)方法，兩種機(jī)器學(xué)習(xí)方法在實(shí)際運(yùn)用中證明了其可行性。在其中神經(jīng)網(wǎng)絡(luò)模型在非線性映射中表現(xiàn)出其優(yōu)越性，被廣泛應(yīng)用于股票市場(chǎng)預(yù)測(cè)中。然而，在實(shí)際應(yīng)用中，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法表現(xiàn)出其不足，如隱含層數(shù)的選擇、過你核問題、局部極小值以及泛化性能不強(qiáng)。20世紀(jì)90年代中期發(fā)展起來的基于統(tǒng)計(jì)學(xué)習(xí)的機(jī)器學(xué)習(xí)方法――支持向量機(jī)（SVM）具有良好的泛化能力。他通過尋求結(jié)構(gòu)化風(fēng)險(xiǎn)最小化，而非傳統(tǒng)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，使風(fēng)險(xiǎn)只與輸入樣本數(shù)目有關(guān)，而與輸入的維數(shù)無關(guān)，避免了“維災(zāi)數(shù)”的問題。而且，SVM的結(jié)構(gòu)參數(shù)從樣本學(xué)習(xí)中自動(dòng)確定，從而克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不易確定的缺點(diǎn)。SVM最初應(yīng)用于模式識(shí)別，隨著Vapnik的ε不敏感損失函數(shù)的引入，SVM已經(jīng)擴(kuò)展為解決非線性回歸問題，與神經(jīng)網(wǎng)絡(luò)方法相比，有顯著的優(yōu)越性且在非線性時(shí)間預(yù)測(cè)方面取得很好的效果。

二、支持向量機(jī)理論

SVM理論是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的。由于統(tǒng)計(jì)學(xué)習(xí)理論和SVM方法對(duì)優(yōu)先樣本情況下模式識(shí)別中的一些根本性的問題進(jìn)行了系統(tǒng)的理論研究，很大程度上解決了以往的機(jī)器學(xué)習(xí)中模型的選擇與過學(xué)習(xí)問題、非線性和維數(shù)災(zāi)難問題、局部極小值問題等等。因此，SVM理論越來越受到人們的重視。SVM是針對(duì)二類分類問題提出的。

SVM回歸問題：設(shè)已知訓(xùn)練集│（x1，y1），…，（xn，yn）│，其中，x∈Z Rn，y∈│1，-1│，是類別標(biāo)記符號(hào)。i=1，2，…，n。xi是輸入數(shù)據(jù)，yi為對(duì)應(yīng)的輸出數(shù)據(jù)。樣本數(shù)集中包含樣本和噪聲。目標(biāo)是，根據(jù)對(duì)訓(xùn)練集所包含信息的學(xué)習(xí)，找到y(tǒng)對(duì)x的相關(guān)關(guān)系 y=f（x）。

回歸問題分為線性回歸和非線性回歸兩種。下面我們分別討論線性支持向量回歸和非線性支持向量回歸。

（一）線性可分

其中，λ是超參數(shù)。在實(shí)驗(yàn)中針對(duì)不同訓(xùn)練值調(diào)整，表示前后兩項(xiàng)的權(quán)重。λ越大，δi占有的優(yōu)化權(quán)重越大。

求解過程類似線性可分，引入Lagrange函數(shù)，并將原問題轉(zhuǎn)化為對(duì)偶問題求解。

三、支持向量機(jī)預(yù)測(cè)效果及與神經(jīng)網(wǎng)絡(luò)方法的比較

（一）與神經(jīng)網(wǎng)絡(luò)相比分類識(shí)別率更高

投資者在選取股票時(shí)，最關(guān)心的則是每股收益。因此每股收益在實(shí)證分析中通常被選為分類標(biāo)準(zhǔn)。選取每股凈資產(chǎn)、股利支付率、每股股利、凈資產(chǎn)收益率、留存盈利比例、流動(dòng)比率、速動(dòng)比率、負(fù)債比率、長(zhǎng)期負(fù)債比率、應(yīng)收帳款比率、存貨周轉(zhuǎn)率、銷售報(bào)酬率、凈利潤(rùn)率、投資報(bào)酬率、凈值報(bào)酬率這15個(gè)影響每股收益的指標(biāo)作為輸入樣本的屬性。在張晨希等人的實(shí)證研究中，對(duì)巨靈證券數(shù)據(jù)庫產(chǎn)品3.0產(chǎn)品中的上市公司數(shù)據(jù)進(jìn)行整理分析后所得到的樣本的基本情況，并利用支持向量機(jī)對(duì)樣本進(jìn)行了交叉訓(xùn)練測(cè)試。用其中9組進(jìn)行學(xué)習(xí)，一組用來測(cè)試，循環(huán)交叉。SVM、BP、RBF三種方法的測(cè)試結(jié)果如下：分類測(cè)試得到以下結(jié)果：分類識(shí)別率為70.068%，訓(xùn)練時(shí)間為10.642s，測(cè)試時(shí)間約為0.4095s。

從測(cè)試結(jié)果中可以得出，在訓(xùn)練時(shí)間和測(cè)試時(shí)間與BP算法差不多的情況下，通過SVM取得的分類識(shí)別率明顯高于BP和RBF。

為了進(jìn)一步驗(yàn)證支持向量機(jī)在分類識(shí)別率上的優(yōu)越性，試驗(yàn)者將原有樣本屬性類別由四類改成三類之后再次進(jìn)行測(cè)試。結(jié)果顯示：

（1）采用支持向量機(jī)進(jìn)行股票預(yù)測(cè)的分類準(zhǔn)確率在將屬性類別分為四類時(shí)明顯高于BP和RBF算法。在分類為三類時(shí)，盡管BP算法也表現(xiàn)出了較高的分類識(shí)別率，但支持向量機(jī)仍要比BP高出7%。因此，相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法來說，支持向量機(jī)在預(yù)測(cè)效果上要明顯提高。

（2）對(duì)比發(fā)現(xiàn)，支持向量機(jī)的分類識(shí)別率會(huì)隨著決策屬性類別的增加而降低。然而，始終由于同等情況的神經(jīng)網(wǎng)絡(luò)方法。

（3）相比于神經(jīng)網(wǎng)絡(luò)方法，支持向量機(jī)還克服了BP固有的缺陷，例如，學(xué)習(xí)過程收斂速度慢、網(wǎng)絡(luò)性能差、局部極小值等等。

然而，該試驗(yàn)的局限性在于，盡管支持向量機(jī)能夠在股票是否盈利的預(yù)測(cè)中取得良好效果，但是在預(yù)測(cè)每股收益具體數(shù)值方面非常有待提高。

（二）預(yù)測(cè)值誤差更小

在對(duì)股票預(yù)測(cè)方法的研究中中，田靜提出了一種支持向量機(jī)算法，使得輸出結(jié)果為準(zhǔn)確的輸出值，而非判斷盈利與否的簡(jiǎn)單分類。文章對(duì)上證指數(shù)和四川長(zhǎng)虹公司的股價(jià)進(jìn)行試驗(yàn)，同時(shí)，在文章中，他也用BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了同樣的預(yù)測(cè)，并將兩種方法的預(yù)測(cè)值分別與真實(shí)值進(jìn)行比較，得出相對(duì)誤差進(jìn)行對(duì)比。

以四川長(zhǎng)虹的預(yù)測(cè)結(jié)果為例，ε支持向量機(jī)算法的預(yù)測(cè)值與真實(shí)值之間的誤差最大為1.28%，誤差最小為0.007%，平均相對(duì)誤差是0.00556.；BP算法的預(yù)測(cè)值與真實(shí)值之間的誤差最大為2.46%，誤差最小為0.022%。

因此，ε支持向量機(jī)方法無論對(duì)于大盤還是上市公司股價(jià)的預(yù)測(cè)都取得了比神經(jīng)網(wǎng)絡(luò)方法更優(yōu)越的預(yù)測(cè)結(jié)果。原因可能是BP神經(jīng)網(wǎng)絡(luò)方法采用的梯度下降法得到的最優(yōu)解是局部最優(yōu)而非全局最優(yōu)。

通過已有的對(duì)比研究發(fā)現(xiàn)，支持向量機(jī)方法在預(yù)測(cè)股票走勢(shì)過程中體現(xiàn)出了更高的識(shí)別率和準(zhǔn)確性。隨著科學(xué)技術(shù)的發(fā)展以及人們對(duì)于股市預(yù)測(cè)的熱情，在未來支持向量機(jī)的方法將在不斷改進(jìn)和完善的過程中得到更好地發(fā)展和更廣泛的應(yīng)用。

參考文獻(xiàn)：

[1]徐緒松：古雜科學(xué)、資本市場(chǎng)、項(xiàng)目評(píng)價(jià)[M]。北京：科學(xué)出版社，2003.

[2]Burgers BC.A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining and Knowledge Discovery， 1998.

[3]財(cái)政部注冊(cè)會(huì)計(jì)師考試委員會(huì)辦公室。財(cái)務(wù)成本管理[M].北京：經(jīng)濟(jì)科學(xué)出版社，2003.

[4]張晨希.基于支持向量機(jī)的股票預(yù)測(cè)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006.