網(wǎng)絡(luò)流量監(jiān)測范文
時(shí)間:2023-03-22 05:36:57
導(dǎo)語:如何才能寫好一篇網(wǎng)絡(luò)流量監(jiān)測,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。
篇1
關(guān)鍵詞:網(wǎng)絡(luò)管理;網(wǎng)絡(luò)流量;監(jiān)測
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網(wǎng)絡(luò)流量的特征
(一)數(shù)據(jù)流是雙向的,但通常是非對稱的
互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個(gè)方向上的數(shù)據(jù)率有很大的差異,這是因?yàn)閺木W(wǎng)站下載時(shí)會(huì)導(dǎo)致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個(gè)方向多。
(二)大部分TCP會(huì)話是短期的
超過90%的TCP會(huì)話交換的數(shù)據(jù)量小于10K字節(jié),會(huì)話持續(xù)時(shí)間不超過幾秒。雖然文件傳輸和遠(yuǎn)程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。
(三)包的到達(dá)過程不是泊松過程
大部分傳統(tǒng)的排隊(duì)理論和通信網(wǎng)絡(luò)設(shè)計(jì)都假設(shè)包的到達(dá)過程是泊松過程,即包到達(dá)的間斷時(shí)間的分布是獨(dú)立的指數(shù)分布。簡單的說,泊松到達(dá)過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨(dú)立的發(fā)生。泊松模型因?yàn)橹笖?shù)分布的無記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡單。然而近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達(dá)的過程不是泊松過程。包到達(dá)的間斷時(shí)間不僅不服從指數(shù)分布,而且不是獨(dú)立分布的。大部分時(shí)候是多個(gè)包連續(xù)到達(dá),即包的到達(dá)是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達(dá)過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進(jìn)了網(wǎng)絡(luò)通信量模型的研究。
(四)網(wǎng)絡(luò)通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時(shí)間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時(shí)間和源及目的地址上,從而顯示出基于時(shí)間的相關(guān)(時(shí)間局域性)和基于空間的相關(guān)(空間局域性)。
二、網(wǎng)絡(luò)流量的測量
網(wǎng)絡(luò)流量的測量是人們研究互聯(lián)網(wǎng)絡(luò)的一個(gè)工具,通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計(jì)出更加符合實(shí)際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計(jì)算機(jī)網(wǎng)絡(luò)不是永遠(yuǎn)不會(huì)出錯(cuò)的,設(shè)備的一小點(diǎn)故障都有可能使整個(gè)網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風(fēng)暴、非法包長、錯(cuò)誤地址、安全攻擊等。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡(luò)管理者提供詳細(xì)的信息以幫助發(fā)現(xiàn)和解決問題?;ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計(jì)的專用硬件設(shè)備進(jìn)行網(wǎng)絡(luò)流的測量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲(chǔ)能力和協(xié)議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費(fèi)用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。
(二)主動(dòng)測量和被動(dòng)測量
被動(dòng)測量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測量都是被動(dòng)的測量。主動(dòng)測量使用由測量設(shè)備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來估計(jì)到某個(gè)目的地址的網(wǎng)絡(luò)延時(shí)。
(三)在線分析和離線分析
有的網(wǎng)絡(luò)流量分析器支持實(shí)時(shí)地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個(gè)能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲(chǔ)下來,并不對數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析。
(四)協(xié)議級分類
對于不同的協(xié)議,例如以太網(wǎng)(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡(luò)插件來收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測試方法。
三、網(wǎng)絡(luò)流量的監(jiān)測技術(shù)
根據(jù)對網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)、基于SNMP的監(jiān)測技術(shù)和基于Netflow的監(jiān)測技術(shù)三種常用技術(shù)。
(一)基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)
網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過交換機(jī)等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實(shí)現(xiàn)網(wǎng)絡(luò)流量的無損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點(diǎn)是能夠提供豐富的應(yīng)用層信息。
(二)基于Netflow的流量監(jiān)測技術(shù)
Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)流量信息采集。
(三)基于SNMP的流量監(jiān)測技術(shù)
篇2
關(guān)鍵詞:網(wǎng)絡(luò) 異常流量 檢測
一、異常流量監(jiān)測基礎(chǔ)知識
異常流量有許多可能的來源,包括新的應(yīng)用系統(tǒng)與業(yè)務(wù)上線、計(jì)算機(jī)病毒、黑客入侵、網(wǎng)絡(luò)蠕蟲、拒絕網(wǎng)絡(luò)服務(wù)、使用非法軟件、網(wǎng)絡(luò)設(shè)備故障、非法占用網(wǎng)絡(luò)帶寬等。網(wǎng)絡(luò)流量異常的檢測方法可以歸結(jié)為以下四類:統(tǒng)計(jì)異常檢測法、基于機(jī)器學(xué)習(xí)的異常檢測方法、基于數(shù)據(jù)挖掘的異常檢測法和基于神經(jīng)網(wǎng)絡(luò)的異常檢測法等。用于異常檢測的5種統(tǒng)計(jì)模型有:①操作模型。該模型假設(shè)異??赏ㄟ^測量結(jié)果和指標(biāo)相比較得到,指標(biāo)可以根據(jù)經(jīng)驗(yàn)或一段時(shí)間的統(tǒng)計(jì)平均得到。②方差。計(jì)算參數(shù)的方差,設(shè)定其置信區(qū)間,當(dāng)測量值超出了置信區(qū)間的范圍時(shí)表明可能存在異常。③多元模型。操作模型的擴(kuò)展,通過同時(shí)分析多個(gè)參數(shù)實(shí)現(xiàn)檢測。④馬爾可夫過程模型。將每種類型事件定義為系統(tǒng)狀態(tài),用狀態(tài)轉(zhuǎn)移矩陣來表示狀態(tài)的變化。若對應(yīng)于發(fā)生事件的狀態(tài)轉(zhuǎn)移矩陣概率較小,則該事件可能是異常事件。⑤時(shí)間序列模型。將測度按時(shí)間排序,如一新事件在該時(shí)間發(fā)生的概率較低,則該事件可能是異常事件。
二、系統(tǒng)介紹分析與設(shè)計(jì)
本系統(tǒng)運(yùn)行在子網(wǎng)連接主干網(wǎng)的出口處,以旁路的方式接入邊界的交換設(shè)備中。從交換設(shè)備中流過的數(shù)據(jù)包,經(jīng)由軟件捕獲,處理,分析和判斷,可以對以異常流量方式出現(xiàn)的攻擊行為告警。本系統(tǒng)需要檢測的基本的攻擊行為如下:(1)ICMP攻擊(2)TCP攻擊,包括但不限于SYN Flood、RST Flood(3)IP NULL攻擊(4)IP Fragmentation攻擊(5)IP Private Address Space攻擊(6)UDP Flood攻擊(7)掃描攻擊不同于以特征、規(guī)則和策略為基礎(chǔ)的入侵檢測系統(tǒng)(Intrusion Detection Systems),本研究著眼于建立正常情況下網(wǎng)絡(luò)流量的模型,通過該模型,流量異常檢測系統(tǒng)可以實(shí)時(shí)地發(fā)現(xiàn)所觀測到的流量與正常流量模型之間的偏差。當(dāng)偏差達(dá)到一定程度引發(fā)流量分配的變化時(shí),產(chǎn)生系統(tǒng)告警(ALERT),并由網(wǎng)絡(luò)中的其他設(shè)備來完成對攻擊行為的阻斷。系統(tǒng)的核心技術(shù)包括網(wǎng)絡(luò)正常流量模型的獲取、及對所觀察流量的匯聚和分析。由于當(dāng)前網(wǎng)絡(luò)以IPv4為主體,網(wǎng)絡(luò)通訊中的智能分布在主機(jī)上,而不是集中于網(wǎng)絡(luò)交換設(shè)備,而在TCP/IP協(xié)議中和主機(jī)操作系統(tǒng)中存在大量的漏洞,況且網(wǎng)絡(luò)的使用者的誤用(misuse)也時(shí)有發(fā)生,這就使得網(wǎng)絡(luò)正常流量模型的建立存在很大的難度。為達(dá)到保障子網(wǎng)的正常運(yùn)行的最終目的,在本系統(tǒng)中,采用下列方式來建立多層次的網(wǎng)絡(luò)流量模型:
(1)會(huì)話正常行為模型。根據(jù)IP報(bào)文的五元組(源地址、源端口、目的地址、目的端口和協(xié)議),TCP和UDP報(bào)文可以構(gòu)成流(flow)或偽流(pseudo-flow)。兩個(gè)五元組中源和目的相反的流可以構(gòu)成一個(gè)會(huì)話。由于ICMP的特殊性,對于ICMP的報(bào)文,分別進(jìn)行處理:ICMP(query)消息構(gòu)成獨(dú)立會(huì)話,而ICMP錯(cuò)誤(error)消息則根據(jù)報(bào)文中包含的IP報(bào)頭映射到由IP報(bào)頭所制定的會(huì)話中去。每一類協(xié)議(TCP/UDP/ICMP)的正常行為由一個(gè)有限狀態(tài)及刻畫。在這個(gè)狀態(tài)機(jī)中,如果一個(gè)事件的到來導(dǎo)致了錯(cuò)誤狀態(tài)的出現(xiàn),那么和狀態(tài)機(jī)關(guān)聯(lián)的計(jì)數(shù)器對錯(cuò)誤累加。協(xié)議狀態(tài)機(jī)是一種相對嚴(yán)格的行為模型,累加的錯(cuò)誤計(jì)數(shù)本身并不一定代表發(fā)現(xiàn)了攻擊行為。
(2)流量規(guī)則特征模型。在正常的網(wǎng)絡(luò)流量中,存在著穩(wěn)定的規(guī)則特征。比如一個(gè)IP收到和發(fā)出的含SYN標(biāo)志位和含F(xiàn)IN標(biāo)志位的報(bào)文的比值、一個(gè)IP的出度和入度的比值以及一個(gè)IP的平均會(huì)話錯(cuò)誤數(shù)等。這些網(wǎng)絡(luò)不變量是檢驗(yàn)在一定時(shí)間區(qū)間內(nèi),一個(gè)IP是否行為異常的標(biāo)準(zhǔn)之一。這個(gè)模型要求對會(huì)話表中的會(huì)話摘要(一個(gè)含有會(huì)話特征的向量)進(jìn)行匯聚,在會(huì)話正常行為模型基礎(chǔ)上增加攻擊行為判斷的準(zhǔn)確程度。
(3)網(wǎng)絡(luò)流量關(guān)聯(lián)模型。把一些流量特征(如字節(jié)數(shù)、報(bào)文數(shù)、會(huì)話錯(cuò)誤數(shù)等)在一定時(shí)間區(qū)間內(nèi)的累加值記錄下來,可以看作時(shí)間序列。通過對序列的分析,可以找到長期的均值、方差、周期、趨勢等特征。當(dāng)攻擊行為發(fā)生時(shí),觀察到的一些流量特征會(huì)偏離其長期特征。這種特征偏離的相關(guān)性就提供了判斷是否攻擊已發(fā)生的一個(gè)依據(jù)。
三、大規(guī)模流量異常檢測框架
異常檢測通常需要描述正常網(wǎng)絡(luò)行為,網(wǎng)絡(luò)行為模型越準(zhǔn)確,異常檢測算法效果越好。在大規(guī)模流量異常檢測中通常通過網(wǎng)絡(luò)探針了解單個(gè)實(shí)體或結(jié)點(diǎn)的行為來推測整個(gè)網(wǎng)絡(luò)行為,基于網(wǎng)絡(luò)斷層成像(network tomography)思想通過使用探針測量推斷網(wǎng)絡(luò)特征,這是檢測非協(xié)作(noncooperative)網(wǎng)絡(luò)異常和非直接管理控制網(wǎng)絡(luò)異常的有效手段。對于單個(gè)管理域,基于實(shí)體研究可以向網(wǎng)絡(luò)管理者提供有用信息,例如網(wǎng)絡(luò)拓?fù)?。在單個(gè)結(jié)點(diǎn)使用一些基本的網(wǎng)絡(luò)設(shè)計(jì)和流量描述的方法,可以檢測網(wǎng)絡(luò)異常和性能瓶頸。然后觸發(fā)網(wǎng)絡(luò)管理系統(tǒng)的告警和恢復(fù)機(jī)制。為了對大規(guī)模網(wǎng)絡(luò)的性能和行為有一個(gè)基本的了解,需要收集和處理大量網(wǎng)絡(luò)信息。有時(shí),全局網(wǎng)絡(luò)性能信息不能直接獲得,只有綜合所獲得的本地網(wǎng)絡(luò)信息才能對全局網(wǎng)絡(luò)行為有個(gè)大致的了解。因?yàn)椴淮嬖跍?zhǔn)確的正常網(wǎng)絡(luò)操作的統(tǒng)計(jì)模型,使得難以描述異常網(wǎng)絡(luò)模型的統(tǒng)計(jì)行為,也沒有單個(gè)變量或參數(shù)能包括正常網(wǎng)絡(luò)功能的各個(gè)方面。需要從多個(gè)統(tǒng)計(jì)特征完全不同的矩陣中合成信息的問題。為解決該問題,有人提出利用操作矩陣關(guān)聯(lián)單個(gè)參數(shù)信息。但導(dǎo)致算法的計(jì)算復(fù)雜度較高,為了滿足異常檢測的實(shí)時(shí)性要求,本文關(guān)聯(lián)本地和全局?jǐn)?shù)據(jù)檢測網(wǎng)絡(luò)異常。盡管本章利用行為模型對IP Forwarding異常進(jìn)行檢測,但該方法并不僅限于檢測本地異常。通過關(guān)聯(lián)多條網(wǎng)絡(luò)鏈路的時(shí)間序列數(shù)據(jù),也可以檢測類似于空間的網(wǎng)絡(luò)異常。因此,該方法可以擴(kuò)展到其他類型的大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)和其他大規(guī)模網(wǎng)絡(luò)異常。
參考文獻(xiàn):
[1]司偉紅.淺析網(wǎng)絡(luò)攻擊常用方法.科技廣場,2006,7:36-38.
篇3
關(guān)鍵詞:ITS 3G網(wǎng)絡(luò) 交通流量 數(shù)據(jù)傳輸
中圖分類號:TP368 文獻(xiàn)標(biāo)識碼:A 文章編號:1007-9416(2012)07-0028-02
智能交通系統(tǒng)通過實(shí)時(shí)、準(zhǔn)確、高效和多方位的檢測監(jiān)控設(shè)備,檢測有關(guān)車道占有率、車流量、行車速度等交通流量信息,利用有線以及無線通信網(wǎng)絡(luò)傳輸檢測數(shù)據(jù)信息,使得交通主管部門能夠詳實(shí)的數(shù)據(jù),處理交通流量數(shù)據(jù),充分發(fā)揮現(xiàn)有交通基礎(chǔ)設(shè)施潛力,改善交通安全以及緩解交通擁擠,提高整個(gè)路網(wǎng)的運(yùn)輸效率和通行能力;既能夠降低油耗,減少廢氣排放,降低、對環(huán)境的污染[2],又能夠提高交通出行的方便性、安全性,節(jié)約運(yùn)輸成本,提高社會(huì)效益和經(jīng)濟(jì)效益。
1、交通流量檢測技術(shù)
交通流量檢測是智能交通系統(tǒng)的基礎(chǔ)部分,其在交通監(jiān)控、交通誘導(dǎo)、交通應(yīng)急指揮等研究應(yīng)用中占有很重要的地位。主要是通過各種檢測設(shè)備對路面行駛車輛進(jìn)行探測,獲取相關(guān)交通參數(shù),包括各車道的車流量、車道占有率,車速、車型、車頭時(shí)距等,以達(dá)到對公路各路段交通狀況及異常事件的自動(dòng)檢測、監(jiān)控、報(bào)警等目的。交通流量檢測方式一種是接觸式[3][4],其主要分為壓電、壓力管探測、環(huán)行線圈探測和磁力式探測,其特點(diǎn)是埋藏在路面之下,當(dāng)汽車經(jīng)過采集裝置上方時(shí)會(huì)引起相應(yīng)的壓力、電場或磁場的變化,最后采集裝置將這些力和場的變化轉(zhuǎn)換為所需要的交通信息;另一種是非接觸式[5],主要分為微波、超聲波和紅外、和視頻探測等,除了超聲波探測只能進(jìn)行單車道交通信息采集外,其余都可同時(shí)進(jìn)行多車道交通信息采集,其安裝維護(hù)簡單,發(fā)展非常迅速。
2、交通流量檢測需求分析
智能交通系統(tǒng)應(yīng)用了計(jì)算機(jī)技術(shù)、信息技術(shù)、通信技術(shù)和控制技術(shù)等新技術(shù),把人、車、路緊密聯(lián)系起來,通過對交通流信息進(jìn)行實(shí)時(shí)檢測,掌握道路交通的運(yùn)行情況,根據(jù)交通流的動(dòng)態(tài)變化,迅速做出交通誘導(dǎo)控制,不僅有效的解決了交通阻塞問題,而且對交通事故的應(yīng)急處理、環(huán)境的保護(hù)、能源的節(jié)約都有顯著的效果。它是以交通指揮中心為主體,并隨著科技發(fā)展和管理方法的改進(jìn)在不斷完善中。交通流量檢測系統(tǒng)和通信系統(tǒng)是智能交通系統(tǒng)的關(guān)鍵。交通流量檢測系統(tǒng)主要完成提取流量數(shù)據(jù)所需的原始信息的采集工作,可通過地感線圈、激光、紅外或視頻方法,檢測與識別交通流、路況等實(shí)時(shí)監(jiān)視,提取交通流信息(車流量、車道占有率、車速等);通信系統(tǒng)是數(shù)據(jù)采集和數(shù)據(jù)處理的橋梁,它是將原始數(shù)據(jù)信息通過有線網(wǎng)絡(luò)或是無線網(wǎng)絡(luò)傳輸?shù)浇煌ūO(jiān)控中心,監(jiān)控中心處理原始數(shù)據(jù),進(jìn)而對得到的信息進(jìn)行進(jìn)一步地分析,判斷該路段的交通擁塞狀況,監(jiān)督異常事故的發(fā)生,在交通擁擠未發(fā)生時(shí)交通信息,及時(shí)采取分流措施,疏導(dǎo)交通,防止交通擁擠發(fā)生。智能交通系統(tǒng)的結(jié)構(gòu)圖如圖1所示。
目前智能交通系統(tǒng)中使用的有線傳輸主要采用標(biāo)準(zhǔn)RS-232或是光纖通信等,在距離監(jiān)控中心較遠(yuǎn)且供電不便利的重點(diǎn)路段、橋隧等地區(qū),或者一些臨時(shí)性的設(shè)備通信,傳統(tǒng)的有線連接便顯得十分不方便,因此希望以一種低成本、高可靠性的無線傳輸方案來代替?zhèn)鹘y(tǒng)的有線方式。3G網(wǎng)絡(luò)技術(shù)可以方便實(shí)現(xiàn)設(shè)備之間的無線連接,具有低成本、低功耗、高速率、組網(wǎng)靈活等特點(diǎn),其通信架設(shè)方便,供電可以采用蓄電池或太陽能電池板等,是實(shí)現(xiàn)無線數(shù)據(jù)采集系統(tǒng)的理想選擇。
3、3G網(wǎng)絡(luò)技術(shù)傳輸架構(gòu)
第三代移動(dòng)通信技術(shù)(3rd-generation,3G)[6],主要是支持高速數(shù)據(jù)傳輸?shù)姆涓C移動(dòng)通訊技術(shù)。目前3G標(biāo)準(zhǔn)分別是WCDMA、CDMA2000和TD-SCDMA。3G網(wǎng)絡(luò)架構(gòu)由無線接入網(wǎng)絡(luò)(RAN)和核心網(wǎng)絡(luò)(CN)組成。其中,RAN用于處理所有與無線有關(guān)的功能,而CN則處理3G系統(tǒng)內(nèi)所有的話音呼叫和數(shù)據(jù)連接,并實(shí)現(xiàn)與外部網(wǎng)絡(luò)的交換和路由功能,CN從邏輯上可分為電路交換域(CS)和分組交換域(PS)。3G網(wǎng)絡(luò)分為核心網(wǎng)和接入網(wǎng),UMTS 陸地?zé)o線接入網(wǎng)(UTRAN)、CN與用戶設(shè)備(UE)一起構(gòu)成了整個(gè)無線系統(tǒng)[7],如圖2所示,體現(xiàn)出分層建設(shè)的特點(diǎn):骨干層傳輸設(shè)備位于網(wǎng)絡(luò)的骨干或核心節(jié)點(diǎn),具有大容量的業(yè)務(wù)調(diào)度功能,強(qiáng)調(diào)業(yè)務(wù)的中繼和傳送能力;接入層傳輸設(shè)備覆蓋在城域的各熱點(diǎn)地區(qū),完成業(yè)務(wù)的接入,體現(xiàn)出低成本、業(yè)務(wù)處理能力弱的特點(diǎn);匯聚層設(shè)備連接骨干層和接入層,完成MADM之間的業(yè)務(wù)整合和匯聚功能。
4、智能交通檢測系統(tǒng)架構(gòu)及連接拓?fù)鋱D
智能交通檢測系統(tǒng)的結(jié)構(gòu)分為交通信息采集系統(tǒng)、交通信息數(shù)據(jù)傳輸和交通信息處理整合審核管理三大子系統(tǒng),分為二層結(jié)構(gòu),信息數(shù)據(jù)層和信息應(yīng)用基礎(chǔ)層。具體結(jié)構(gòu)如圖3所示。
交通信息采集是整個(gè)系統(tǒng)的基石,其采集主要是通過設(shè)置在公路上交通流量檢測器、視頻監(jiān)控的信息采集設(shè)備以及其他方式,獲得真實(shí)的、可靠及時(shí)的交通流量狀況、突發(fā)事件等有關(guān)交通的信息,同時(shí)與其他相關(guān)部門的數(shù)據(jù)共享,及時(shí)動(dòng)態(tài)獲得各種信息。
交通通信系統(tǒng)是將現(xiàn)場的交通流量的檢測設(shè)備檢測到的信息,通過有線或者無線傳輸系統(tǒng),傳輸?shù)奖O(jiān)控中心,在那里進(jìn)行集合與整理。如距離比較近,可以采用光纖與標(biāo)準(zhǔn)RS-232等進(jìn)行傳輸;當(dāng)檢測設(shè)備距離監(jiān)控中心較遠(yuǎn),布設(shè)數(shù)據(jù)線與供電不方便處,就可以采用3G網(wǎng)絡(luò)進(jìn)行無線數(shù)據(jù)傳輸,同時(shí)采用蓄電池或是太陽能電池板進(jìn)行供電。
交通信息處理整合是集合與整理,去偽存真,而這些是需要大量人力、物力以及先進(jìn)的網(wǎng)絡(luò)設(shè)備和技術(shù)。將與交通流量有關(guān)的信息自動(dòng)統(tǒng)計(jì)匯總,通過人工智能決策系統(tǒng),或是人工分析處理的方法,確定暢通路線、擁擠路段、交通的氣象信息等,并且存儲(chǔ)到數(shù)據(jù)庫中。
根據(jù)交通部門的對交通流量需求,對交通數(shù)據(jù)進(jìn)行采集,同時(shí)集成其他有關(guān)交通的部門有關(guān)交通流量的信息,通過無線或是3G網(wǎng)絡(luò)進(jìn)行傳輸,傳輸?shù)浇煌ūO(jiān)控指揮中心,進(jìn)而進(jìn)行數(shù)據(jù)集合和整理,其連接拓?fù)鋱D如圖4。
5、結(jié)語
目前,智能交通系統(tǒng)發(fā)展應(yīng)用的時(shí)期,建立和完善交通流量數(shù)據(jù)采集與傳輸系統(tǒng)來滿通出、交通管理以及應(yīng)急指揮的需要是當(dāng)務(wù)之急。隨著智能交通系統(tǒng)的實(shí)施及應(yīng)用的逐步發(fā)展,充分利用新技術(shù)先進(jìn)設(shè)備建設(shè)的高標(biāo)準(zhǔn)高質(zhì)量的3G網(wǎng)絡(luò)傳輸技術(shù),其多樣化的數(shù)據(jù)傳輸設(shè)置,有利于智能交通系統(tǒng)更大的應(yīng)用,它的建成以及所采用的各類設(shè)施設(shè)備各種技術(shù)為交通運(yùn)輸和交通管理的安全暢通發(fā)揮了十分重要的作用,將會(huì)在實(shí)際使用中取得了很好的效果,達(dá)到了預(yù)期的建設(shè)目標(biāo)。
參考文獻(xiàn)
[1]夏勁,郭紅衛(wèi).國內(nèi)外城市智能交通系統(tǒng)的發(fā)展概況與趨勢及其啟示[J].科技進(jìn)步與對策.2003年01期.P176-179.
[2]葉文進(jìn).高速公路出行綜合信息服務(wù)系統(tǒng)分析[J].中國交通信息化,2010(6):125-128.
[3]MARGRIT BETKE,ESIN HARITAOGLU, LARRY S DAVIS. Multiple Vehicle Detection and Tracking in Hard Real-Time[J].IEEE,1996,(9):351~356.
[4]JUNG SOH, BYUNG TAE CHUN, MIN WANG. Analysis of Road Image Sequences for Vehicle Counting,[J].IEEE International Conferenceon,1995,(1):679~683.
[5]劉東.ITS中的車輛檢測技術(shù)[J]北京:公安大學(xué)學(xué)報(bào)(自然科學(xué)版),2000,20(4):35~39.
篇4
【論文摘要摘要:網(wǎng)絡(luò)流量性能測量是網(wǎng)絡(luò)管理和系統(tǒng)管理的一個(gè)重要組成部分,為網(wǎng)絡(luò)的運(yùn)行和維護(hù)提供了重要信息,問時(shí)也是網(wǎng)絡(luò)流量具體建模、分析的必要前提和手段。網(wǎng)絡(luò)流量的測量方法分為主動(dòng)測量和被動(dòng)測量。兩種測量方法各有優(yōu)缺點(diǎn),分別用于不同的場合。針對網(wǎng)絡(luò)流量的測量展開系統(tǒng)性的探究將對Internet行為學(xué)方面的探究取得理論突破具有重要意。
網(wǎng)絡(luò)流量性能測量和分析涉及許多關(guān)鍵技術(shù),如單向測量中的時(shí)鐘同步新問題,主動(dòng)測量和被動(dòng)測量的抽樣算法探究,多種測量工具之間的協(xié)同工作,網(wǎng)絡(luò)測量體系結(jié)構(gòu)的搭建,性能指標(biāo)的量化,性能指標(biāo)的模型化分析,對網(wǎng)絡(luò)未來狀態(tài)進(jìn)行趨向猜測,對海量測量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘或者利用已有的模型(petri網(wǎng)、自相似性、排隊(duì)論)探究其自相似特征,測量和分析結(jié)果的可視化,以及由測量所引起的平安性新問題等等。
1.在IP網(wǎng)絡(luò)中采用網(wǎng)絡(luò)性能監(jiān)測技術(shù),可以實(shí)現(xiàn)
1.1合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)性能
為更好的管理和改善網(wǎng)絡(luò)的運(yùn)行,網(wǎng)絡(luò)管理者需要知道其網(wǎng)絡(luò)的流量情況和盡量多的流量信息。通過對網(wǎng)絡(luò)流量的監(jiān)測、數(shù)據(jù)采集和分析,給出具體的鏈路和節(jié)點(diǎn)流量分析報(bào)告,獲得流量分布和流向分布、報(bào)文特性和協(xié)議分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2基于流量的計(jì)費(fèi)
現(xiàn)在lSP對網(wǎng)絡(luò)用戶提供服務(wù)絕大多數(shù)還是采用固定租費(fèi)的形式,這對一般用戶和ISP來說,都不是一個(gè)好的選擇。采用這一形式的很大原因就是網(wǎng)絡(luò)提供者不能夠統(tǒng)計(jì)全部用戶的準(zhǔn)確流量情況。這就需要有方便的手段對用戶的流量進(jìn)行檢測。通過對用戶上網(wǎng)時(shí)長、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的交費(fèi)標(biāo)準(zhǔn)。
1.3網(wǎng)絡(luò)應(yīng)用狀況監(jiān)測和分析
了解網(wǎng)絡(luò)的應(yīng)用狀況,對探究者和網(wǎng)絡(luò)提供者都很重要。通過網(wǎng)絡(luò)應(yīng)用監(jiān)測,可以了解網(wǎng)絡(luò)上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡(luò)應(yīng)用的使用情況,探究者可以據(jù)此探究新的協(xié)議和應(yīng)用,網(wǎng)絡(luò)提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡(luò)。
1.4實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀況
針對網(wǎng)絡(luò)流量變化的突發(fā)性特性,通過實(shí)時(shí)監(jiān)測網(wǎng)絡(luò)狀況,能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況,減輕維護(hù)人員的工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)發(fā)出自動(dòng)告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和猜測?,F(xiàn)在隨著Internet網(wǎng)絡(luò)不斷擴(kuò)大,網(wǎng)絡(luò)中也經(jīng)常會(huì)出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡(luò)突發(fā)事件從設(shè)備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡(luò)管理員感到棘手。因此,針對網(wǎng)絡(luò)中突發(fā)性的異常流量分析將有助于網(wǎng)絡(luò)管理員發(fā)現(xiàn)和解決新問題。
1.5網(wǎng)絡(luò)用戶行為監(jiān)測和分析
這對于網(wǎng)絡(luò)提供者來說非常重要,通過監(jiān)測訪問網(wǎng)絡(luò)的用戶的行為,可以了解到摘要:
1)某一段時(shí)間有多少用戶在訪問我的網(wǎng)絡(luò)。
2)訪問我的網(wǎng)絡(luò)最多的用戶是哪些。
3)這些用戶停留了多長時(shí)間。
4)他們來自什么地方。
5)他們到過我的網(wǎng)絡(luò)的哪些部分。
通過這些信息,網(wǎng)絡(luò)提供者可以更好的為用戶提供服務(wù),從而也獲得更大的收益。
2.網(wǎng)絡(luò)流量測量有5個(gè)要素摘要:
測量時(shí)間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡(luò)流量的測量實(shí)體,即性能指標(biāo)主要包括以下幾項(xiàng)。2.1連接性
連接性也稱可用性、連通性或可達(dá)性,嚴(yán)格說應(yīng)該是網(wǎng)絡(luò)的基本能力或?qū)傩?,不能稱為性能,但I(xiàn)TU-T建議可以用一些方法進(jìn)行定量的測量。
2.2延遲
對于單向延遲測量要求時(shí)鐘嚴(yán)格同步,這在實(shí)際的測量中很難做到,許多測量方案都采用往返延遲,以避開時(shí)鐘同步新問題。
2.3丟包率
為了評估網(wǎng)絡(luò)的丟包率,一般采用直接發(fā)送測量包來進(jìn)行測量。目前評估網(wǎng)絡(luò)丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當(dāng)一條路徑(通路)中沒有其他背景流量時(shí),網(wǎng)絡(luò)能夠提供的最大的吞吐量。
2.5流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考摘要:一種是以一段時(shí)間間隔內(nèi)在測量點(diǎn)上觀測到的所有傳輸成功的IP包數(shù)量除以時(shí)間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量摘要:用傳輸成功的IP包中總字節(jié)數(shù)除以時(shí)間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式摘要:被動(dòng)數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動(dòng)數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測量方法摘要:被動(dòng)測量方法和主動(dòng)測量方法然而,近幾年來,主動(dòng)測量技術(shù)被網(wǎng)絡(luò)用戶或網(wǎng)絡(luò)探究人員用來分析指定網(wǎng)絡(luò)路徑的流量行為。
3.1主動(dòng)測量
主動(dòng)測量的方法是指主動(dòng)發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應(yīng)作為性能評分的結(jié)果來分析。測量者一般采用模擬現(xiàn)實(shí)的流量(如WebServer的請求、FTP下載、DNS反應(yīng)時(shí)間等)來測量一個(gè)應(yīng)用的性能或者網(wǎng)絡(luò)的性能。由于測量點(diǎn)一般都靠近終究端,所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2被動(dòng)測量
被動(dòng)測量是在網(wǎng)絡(luò)中的一點(diǎn)收集流量信息,如使用路由器或交換機(jī)收渠數(shù)據(jù)或者一個(gè)獨(dú)立的設(shè)備被動(dòng)地監(jiān)測網(wǎng)絡(luò)鏈路的流量。被動(dòng)測量可以完全取消附加流量和Heisenberg效應(yīng),這些優(yōu)點(diǎn)使人們更愿意使用被動(dòng)測量技術(shù)。有些測度使用被動(dòng)測量獲得相當(dāng)困難摘要:如決定分縮手縮腳一所經(jīng)過的路由。但被動(dòng)測量的優(yōu)點(diǎn)使得決定測量之前應(yīng)該首先考慮被動(dòng)測量。被動(dòng)測量技術(shù)碰到的另一個(gè)重要新問題是目前提出的要求確保隱私和平安新問題。
3.3網(wǎng)絡(luò)流量抽樣測量技術(shù)
選擇部分報(bào)文,當(dāng)采樣時(shí)間間隔較大時(shí),細(xì)微的網(wǎng)絡(luò)行為變化就無法精確探測到。反之,抽樣間隔過小時(shí),又會(huì)占用過多的帶寬及需要更大的存儲(chǔ)能力。采樣方法隨采樣策略的不同而不同,如系統(tǒng)采樣或隨機(jī)采樣;也隨觸發(fā)采樣事件的不同而不同。如由報(bào)文到達(dá)時(shí)間觸發(fā)(基于時(shí)間采樣),由報(bào)文在流中所處的位置觸發(fā)(基于數(shù)目采樣)或由報(bào)文的內(nèi)容觸發(fā)(基于內(nèi)容采樣)。為了在減少采樣樣本和獲取更精確的流量數(shù)據(jù)之間達(dá)到平衡。
篇5
關(guān)鍵詞:流量監(jiān)測;winpcap;網(wǎng)絡(luò)數(shù)據(jù)流量分析
1 引言
隨著互聯(lián)網(wǎng)絡(luò)的迅速發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)流量特征的研究近年來引起了人們廣泛關(guān)注。網(wǎng)絡(luò)數(shù)據(jù)流量分析系統(tǒng)的定位重點(diǎn)在對網(wǎng)絡(luò)流量的流量、流向、協(xié)議的細(xì)節(jié)監(jiān)視和分析,網(wǎng)絡(luò)安全監(jiān)視。在容量規(guī)劃、入侵檢測和路由優(yōu)化時(shí),網(wǎng)絡(luò)管理員需要知道網(wǎng)絡(luò)的數(shù)據(jù)流量情況和盡量多的測量信息。
2 關(guān)鍵技術(shù)
⑴數(shù)據(jù)流。數(shù)據(jù)流是指輸入數(shù)據(jù)a1,a2,..按順序到達(dá)。這些數(shù)據(jù)描述了一個(gè)信號A。A是一個(gè)一維函數(shù)A:[1...N]R2。模型取決于ai如何描述A。本文把數(shù)據(jù)流技術(shù)和傳統(tǒng)的網(wǎng)絡(luò)管理技術(shù)相結(jié)合, 取得了較好的應(yīng)用效果。
⑵流量監(jiān)測原理。網(wǎng)絡(luò)流量監(jiān)測有主動(dòng)監(jiān)測和被動(dòng)監(jiān)測兩種不同的實(shí)現(xiàn)方法。主動(dòng)測量方法是向被測網(wǎng)絡(luò)中注入附加的“探測流量”并進(jìn)行返回?cái)?shù)據(jù)的采集來實(shí)現(xiàn)監(jiān)測的方法,該如果處理不當(dāng),也會(huì)給網(wǎng)絡(luò)增加額外的負(fù)荷,影響測量結(jié)果的客觀性,甚至使測量結(jié)果不準(zhǔn)確,產(chǎn)生Heisenburg效應(yīng)。而被動(dòng)測量方法是在網(wǎng)絡(luò)的某點(diǎn)采集、記錄并且分析網(wǎng)絡(luò)的流量信息來實(shí)現(xiàn)測量的方法。被動(dòng)測量可以完全消除附加的“探測流量”和Heisenbutg 效應(yīng),這是被動(dòng)測量的優(yōu)點(diǎn),但存在可能會(huì)涉及隱私和安全問題的不足。由于Internet上大多數(shù)數(shù)據(jù)傳輸是不加密的,鑒于被動(dòng)監(jiān)測的優(yōu)點(diǎn),本系統(tǒng)采用基于數(shù)據(jù)包捕獲的被動(dòng)監(jiān)測技術(shù)。
⑶winpcap。在網(wǎng)絡(luò)管理與安全防護(hù)中,對網(wǎng)絡(luò)數(shù)據(jù)流量進(jìn)行分析,是非常重要的一個(gè)任務(wù),從防火墻到攻擊檢測系統(tǒng),都會(huì)用到類似功能。開發(fā)此類軟件過程相當(dāng)復(fù)雜。而winpcap (indows packet capture)是windows平臺(tái)下一個(gè)免費(fèi)公共的網(wǎng)絡(luò)訪問系統(tǒng)。它提供了以下的各項(xiàng)功能:
1>捕獲原始數(shù)據(jù)報(bào);2>按照自定義的規(guī)則將某些特殊的數(shù)據(jù)報(bào)過濾掉;3>在網(wǎng)絡(luò)上發(fā)送原始的數(shù)據(jù)報(bào);4>收集網(wǎng)絡(luò)通信過程中的統(tǒng)計(jì)信息。
3 系統(tǒng)架構(gòu)
無論是基于網(wǎng)絡(luò)安全,還是基于網(wǎng)絡(luò)計(jì)費(fèi)系統(tǒng)的改進(jìn),網(wǎng)絡(luò)數(shù)據(jù)流量分析無疑是必要的,人們對網(wǎng)絡(luò)依賴很強(qiáng)。網(wǎng)絡(luò)數(shù)據(jù)流量系統(tǒng)的架構(gòu)包括三層:數(shù)據(jù)層(瀏覽統(tǒng)計(jì)、數(shù)據(jù)庫管理)、訪問應(yīng)用層、展現(xiàn)層(在線統(tǒng)計(jì)器、流量統(tǒng)計(jì)器、網(wǎng)絡(luò)速度監(jiān)視器)。
4 系統(tǒng)設(shè)計(jì)
⑴網(wǎng)絡(luò)監(jiān)視器。網(wǎng)絡(luò)監(jiān)視器是監(jiān)視網(wǎng)絡(luò)通信的,其主要工作有三項(xiàng):winpcap捕捉包、包分析、記錄。
1)winpcap捕捉包。在網(wǎng)絡(luò)包捕獲系統(tǒng)的實(shí)現(xiàn)中,采用的是WINPCAP包捕獲應(yīng)用系統(tǒng)框架。網(wǎng)絡(luò)監(jiān)聽模塊將網(wǎng)絡(luò)接口設(shè)置為混亂模式,將網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包截取下來,供協(xié)議分析模塊使用。由于效率的需要,有時(shí)要根據(jù)設(shè)置過濾網(wǎng)絡(luò)上的一些數(shù)據(jù)包,如特定IP,特定MAC地址、特定協(xié)議的數(shù)據(jù)包等。網(wǎng)絡(luò)監(jiān)聽模塊的過濾功能的效率是該網(wǎng)絡(luò)監(jiān)聽的關(guān)鍵,因?yàn)閷τ诰W(wǎng)絡(luò)上的每一數(shù)據(jù)包都會(huì)使用該模塊過濾,判斷是否符合過濾條件。
為提高效率,數(shù)據(jù)包過濾應(yīng)該在系統(tǒng)內(nèi)核里來實(shí)現(xiàn)。獲得數(shù)據(jù)包之后,如果在捕獲過程結(jié)束后創(chuàng)建了兩個(gè)線程實(shí)現(xiàn)對捕獲數(shù)據(jù)的實(shí)時(shí)性處理。
2)包分析。包分析指將捕捉來的數(shù)據(jù)報(bào)進(jìn)行分析。由于要進(jìn)行流量統(tǒng)計(jì)需要很多必要的信息,作為統(tǒng)計(jì)依據(jù),如IP地址、協(xié)議類型等。其中,數(shù)據(jù)長度可由函數(shù)調(diào)用返回的內(nèi)容得到而且此時(shí)得到的是實(shí)際在網(wǎng)上的包長度。
3)記錄。通過包的分析后,將有用的信息記錄到文件中去。其中包括目的IP、源IP,數(shù)據(jù)長度、協(xié)議類型、以及為了統(tǒng)計(jì)方便需要的時(shí)間信息。
⑵流量統(tǒng)計(jì)器。流量統(tǒng)計(jì)器,是對流量監(jiān)視器的記錄結(jié)果進(jìn)行統(tǒng)計(jì),將網(wǎng)絡(luò)監(jiān)視器的記錄文件內(nèi)容讀出,并根據(jù)網(wǎng)址分割標(biāo)準(zhǔn)及源和目的地分別統(tǒng)計(jì)出流向網(wǎng)外的國內(nèi)和國外流量,并將結(jié)果按照日期分別存儲(chǔ)在數(shù)據(jù)中。
5 系統(tǒng)實(shí)現(xiàn)
⑴捕捉包的實(shí)現(xiàn)。包捕捉作為一個(gè)獨(dú)立的應(yīng)用程序運(yùn)行,它從網(wǎng)上截獲包,并以文件形式將有用信息記錄下來,為流量統(tǒng)計(jì)準(zhǔn)備統(tǒng)計(jì)的原始依據(jù)。
⑵在線統(tǒng)計(jì)的實(shí)現(xiàn)。ping利用了原始套接口技術(shù)發(fā)送ICMP回射請求,并接收工CMP回射應(yīng)答。Socket是CP/IP編程的底層API(網(wǎng)絡(luò)編程接口)。在實(shí)現(xiàn)ping后可以將其作為一個(gè)函數(shù)調(diào)用,就很容易實(shí)現(xiàn)在線統(tǒng)計(jì)。
⑶圖形界面的實(shí)現(xiàn)。采用Visual C++.NET實(shí)現(xiàn)流量圖形化界面,主要是使用GDI函數(shù)畫圖,首先要得到一個(gè)設(shè)備描述句柄或一個(gè)可用的CDC設(shè)備描述表對象,WIN32API提供了BeginPaint()和GetDC兩個(gè)函數(shù),用于獲得指定窗口的設(shè)備描述句柄。MFC的窗口類CWnd類也提供了兩個(gè)當(dāng)前窗口的CDC對象的函數(shù)BeginPin()和GETDC();也可以在窗口處理函數(shù)中直接用CDC的派生類,最終實(shí)現(xiàn)流量圖形化。
篇6
【關(guān)鍵詞】網(wǎng)絡(luò)流量;預(yù)測;時(shí)間序列;自回歸模型
一、引言
現(xiàn)代科學(xué)技術(shù)的不斷發(fā)展也帶動(dòng)了網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)規(guī)模增長速度非???,各種網(wǎng)絡(luò)信息在網(wǎng)絡(luò)動(dòng)態(tài)中交互傳遞,對此必須保證網(wǎng)絡(luò)信息傳遞的安全,網(wǎng)絡(luò)管理員只要掌握好各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的流量數(shù)據(jù),就可以對整個(gè)網(wǎng)絡(luò)進(jìn)行有效的調(diào)控。網(wǎng)絡(luò)工作者在網(wǎng)絡(luò)設(shè)計(jì)時(shí)必須要考慮到網(wǎng)絡(luò)流量特性的問題,很多網(wǎng)絡(luò)流量模型近幾年也在不斷的被研究出來,網(wǎng)絡(luò)流量預(yù)測模型的研究也受到很大程度的重視。例如幾種比較有名的預(yù)測模型:馬爾科夫模型、泊松過程模型,近幾年開始有學(xué)者提出自回歸模型的概念。由于網(wǎng)絡(luò)的不斷發(fā)展,規(guī)模不斷增大,網(wǎng)絡(luò)流量本身已經(jīng)發(fā)展成為一種具有多種特性的事物,這給傳統(tǒng)網(wǎng)絡(luò)流量預(yù)測模型的預(yù)測造成了困難,因?yàn)閭鹘y(tǒng)模型預(yù)測方法很難捕捉到流量的時(shí)變性、以及高度自私性等特征。本文介紹的ARIMA模型,是一種同其他類型預(yù)測模型相比具有明顯優(yōu)勢的新型預(yù)測模型。
二、網(wǎng)絡(luò)流量預(yù)測原理
網(wǎng)絡(luò)流量的內(nèi)涵是指網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)總量,在采集網(wǎng)絡(luò)流量的原始數(shù)據(jù)時(shí),間隔采集就可以獲得一組組時(shí)間序列。通常情況下,可以采用下面這種方式來對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行描述:
由于網(wǎng)絡(luò)的快速發(fā)展,網(wǎng)絡(luò)的規(guī)模越來越大,網(wǎng)絡(luò)流量的各種特征也越來越難以捕捉到,傳統(tǒng)預(yù)測手段很難呈現(xiàn)數(shù)據(jù)之間的時(shí)間關(guān)系,因此現(xiàn)代的網(wǎng)絡(luò)流量預(yù)測變成了復(fù)雜時(shí)間序列回歸系統(tǒng)問題。ARIMA模型能夠很好的捕捉到網(wǎng)絡(luò)流量的各種特征,對時(shí)間序列性數(shù)據(jù)的研究具有很好的效果,因此在經(jīng)濟(jì)時(shí)間序列得到了很廣泛的應(yīng)用,解決了許多傳統(tǒng)預(yù)測模型無法解決的難題,本文將會(huì)介紹ARIMA模型預(yù)測的基本方法。
三、基于 ARIMA模型的網(wǎng)絡(luò)流量預(yù)測
1、ARIMA模型的描述
ARIMA模型之所以能很好的提高預(yù)測精度,在于其相對于傳統(tǒng)預(yù)測模型而言,很好的捕捉到了網(wǎng)絡(luò)流量的幾種特征,把采集到得數(shù)據(jù)通過處理,然后通過建立好的最佳預(yù)測模型,來對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行仿真預(yù)測。模擬預(yù)測結(jié)果很好的說明ARIMA模型比其他類型的模型預(yù)測的精度要高,并且把網(wǎng)絡(luò)流量的規(guī)律呈現(xiàn)的更加直觀。
對某一滿足ARIMA( p, q)模型的樣本數(shù)據(jù)集{w t= 0, 1, , },取自然對數(shù)并對其進(jìn)行d次差分(差分算子階數(shù)d通常取0或1,最多取2),可以得到平穩(wěn)的ARIMA( p, q)序列,在確定模型參數(shù)并進(jìn)行擬合和檢驗(yàn)后,就可以進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)流量的預(yù)測,利用希伯特空間上線性算子的基本理論,可以證明對于離散的、連續(xù)的、標(biāo)量以及向量的情況,用一個(gè)ARIMA(n,n-1)模型可以把任一平穩(wěn)隨機(jī)系統(tǒng)逼近到所要求的精確程度,而在實(shí)際應(yīng)用中,大量的隨機(jī)系統(tǒng)可以恰當(dāng)?shù)赜肁RIMA(2,1)模型來模擬。
對其參數(shù)的估計(jì)和定階有很多種方法,幾種常見的例如矩估計(jì)、線性建模、HDW、極大似然估計(jì)等方法,其中“矩估計(jì)方法”精度不高,一般作為其它更好方法的迭代初值,另幾種方法各有所長,本篇論文選擇的方法則是線性建模,一次來確定ARMA模型的參數(shù)。
根據(jù)最后 AIC和 SBC值最小化原則得到 AR IMA( p, q,d)的參數(shù)達(dá)到最優(yōu), 對于用不同參數(shù)模型計(jì)算的結(jié)果也可以采用真實(shí)數(shù)據(jù)對其進(jìn)行相似系數(shù)和擬合度的分析, 如果相似系數(shù)和擬合度最大, 則該模型就最優(yōu)模。
四、仿真分析
1、采集數(shù)據(jù)
為了對本文提出模型的效果進(jìn)行擬合和檢驗(yàn), 本文采集對 CERNET山西主節(jié)點(diǎn)一臺(tái) CISCO6509設(shè)備某端口流出流量進(jìn)行監(jiān)測, 采樣時(shí)間間隔為 5分鐘, 如圖所示:
2、數(shù)據(jù)處理
從上圖可以看出,該模型在初始階段擬合效果不太好, 但經(jīng)過大量數(shù)據(jù)的計(jì)算后, 在最后 48小時(shí)模型得到了較好的擬合效果, 與原始流量曲線的走勢基本相符。
4、網(wǎng)絡(luò)流量的預(yù)測
使用上述所到的 AR IMA 模型對未來 24小時(shí)的網(wǎng)絡(luò)流量進(jìn)行預(yù)測, 預(yù)測結(jié)果如圖所示:
上述部分是基于ARIMA模型對在網(wǎng)絡(luò)流量預(yù)測中的應(yīng)用介紹,ARIMA模型作為一種新型預(yù)測模型,同過去的幾種模型相比較起來,預(yù)測效果非常的直觀。與其他預(yù)測模型相比,優(yōu)越性可見一般,具體預(yù)測指標(biāo)如下表所示:
五、總結(jié)
傳統(tǒng)的網(wǎng)絡(luò)流量預(yù)測方法的預(yù)測基礎(chǔ)是建立在流量滿足線性關(guān)系,但實(shí)際上,這種關(guān)系式并不是始終都是成立的,實(shí)際網(wǎng)絡(luò)流量數(shù)據(jù)中包含了很多的非線性因素,它的表現(xiàn)規(guī)律并不很直觀,因此運(yùn)用傳統(tǒng)的方法對網(wǎng)絡(luò)流量的預(yù)測,其預(yù)測精度并不高,為了解決傳統(tǒng)預(yù)測手段精度不高的問題,本文圍繞如何準(zhǔn)確預(yù)測網(wǎng)絡(luò)流量模型這一目標(biāo), 提出了基于 ARIMA 的網(wǎng)絡(luò)流量時(shí)間序列模型, 本文詳細(xì)闡述了模型的數(shù)學(xué)算法和實(shí)現(xiàn)方法。仿真結(jié)果表明, 在實(shí)際的網(wǎng)絡(luò)流量環(huán)境中, ARI-MA模型降低了預(yù)測誤差, 提高了預(yù)測精確度, 具有較強(qiáng)的適應(yīng)能力。
參考文獻(xiàn):
[1]張冉,趙成龍. ARIMA模型在網(wǎng)絡(luò)流量預(yù)測中的應(yīng)用研究[J]. 計(jì)算機(jī)仿真,2011,02:171-174.
[2]薛可,李增智,劉瀏,宋承謙. 基于ARIMA模型的網(wǎng)絡(luò)流量預(yù)測[J]. 微電子學(xué)與計(jì)算機(jī),2004,07:84-87.
[3]崔文亮. 基于ARIMA模型的網(wǎng)絡(luò)流量預(yù)測[J]. 軟件,2012,11:221-223.
[4]郝占軍. 網(wǎng)絡(luò)流量分析與預(yù)測模型研究[D].西北師范大學(xué),2011.
[5]李菁菲. 基于小波技術(shù)和ARIMA模型的網(wǎng)絡(luò)流量預(yù)測研究[D].山東大學(xué),2010.
篇7
互聯(lián)網(wǎng)迅速發(fā)展的同時(shí),網(wǎng)絡(luò)安全問題日益成為人們關(guān)注的焦點(diǎn),病毒、惡意攻擊、非法訪問等都容易影響網(wǎng)絡(luò)的正常運(yùn)行,多種網(wǎng)絡(luò)防御技術(shù)被綜合應(yīng)用到網(wǎng)絡(luò)安全管理體系中,流量監(jiān)控系統(tǒng)便是其中一種分析網(wǎng)絡(luò)狀況的有效方法,它從數(shù)據(jù)包流量分析角度,通過實(shí)時(shí)地收集和監(jiān)視網(wǎng)絡(luò)數(shù)據(jù)包信息,來檢查是否有違反安全策略的行為和網(wǎng)絡(luò)工作異常的跡象。
在研究網(wǎng)絡(luò)數(shù)據(jù)包捕獲、 TCP/IP原理的基礎(chǔ)上,采用面向?qū)ο蟮姆椒ㄟM(jìn)行了需求分析與功能設(shè)計(jì)。該系統(tǒng)在VisualC++6.0環(huán)境下進(jìn)行開發(fā),綜合采用了Socket-Raw、注冊表編程和IP助手API等VC編程技術(shù),在系統(tǒng)需求分析的基礎(chǔ)上,對主要功能的實(shí)現(xiàn)方案和技術(shù)細(xì)節(jié)進(jìn)行了詳細(xì)分析與設(shè)計(jì),并通過測試,最終實(shí)現(xiàn)了數(shù)據(jù)包捕獲、流量監(jiān)視與統(tǒng)計(jì)主要功能,達(dá)到了預(yù)定要求,為網(wǎng)絡(luò)管理員了解網(wǎng)絡(luò)運(yùn)行狀態(tài)提供了參考。
關(guān)鍵詞:網(wǎng)絡(luò)管理;數(shù)據(jù)采集;流量統(tǒng)計(jì);Winsock2
1 引言
1.1 課題背景
隨著構(gòu)建網(wǎng)絡(luò)基礎(chǔ)技術(shù)和網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展以及用戶對網(wǎng)絡(luò)性能要求的提高,使得網(wǎng)絡(luò)管理成為迫切需要解決的問題,有效的網(wǎng)絡(luò)管理能夠保證網(wǎng)絡(luò)的穩(wěn)定運(yùn)行和持續(xù)發(fā)展,更重要的是,隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大和黑客技術(shù)的發(fā)展,入侵和攻擊的案例日益增多,對穩(wěn)定的網(wǎng)絡(luò)服務(wù)、信息安全、互聯(lián)網(wǎng)秩序都提出了嚴(yán)峻的挑戰(zhàn),網(wǎng)絡(luò)安全管理在整個(gè)網(wǎng)絡(luò)管理系統(tǒng)里扮演起更為重要的角色。
1.2 網(wǎng)絡(luò)安全管理的現(xiàn)狀與需求
目前,在網(wǎng)絡(luò)應(yīng)用不斷深入和技術(shù)頻繁升級的同時(shí),非法訪問、惡意攻擊等安全威脅也在不斷推陳出新,愈演愈烈。防火墻、VPN、IDS、防病毒、身份認(rèn)證、數(shù)據(jù)加密、安全審計(jì)等安全防護(hù)和管理系統(tǒng)在網(wǎng)絡(luò)中得到了廣泛應(yīng)用。從網(wǎng)絡(luò)安全專業(yè)管理人員的角度來說,最直接的需求就是根據(jù)分類在統(tǒng)一的界面中監(jiān)視網(wǎng)絡(luò)中各種運(yùn)行性能狀態(tài),獲取相關(guān)數(shù)據(jù)信息、日志信息和報(bào)警信息等,并進(jìn)行分類匯總、分析和審計(jì);同時(shí)完成攻擊事件報(bào)警、響應(yīng)等功能。因此,用戶的網(wǎng)絡(luò)管理需要不斷健全整體網(wǎng)絡(luò)安全管理解決方案,從統(tǒng)一安全管理平臺(tái)總體調(diào)控配置到多層面、分布式的安全系統(tǒng),實(shí)現(xiàn)對各種網(wǎng)絡(luò)安全資源的集中監(jiān)控、策略管理、審計(jì)及多種安全功能模塊之間的互動(dòng),從而有效簡化網(wǎng)絡(luò)安全管理工作,提升網(wǎng)絡(luò)的安全水平和可用性、可控制性、可管理性。
1.3 網(wǎng)絡(luò)流量監(jiān)控的引入
網(wǎng)絡(luò)安全管理體系中,流量監(jiān)控和統(tǒng)計(jì)分析是整個(gè)管理的基礎(chǔ)。
流量檢測主要目的是通過對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行實(shí)時(shí)連續(xù)的采集監(jiān)測網(wǎng)絡(luò)流量,對獲得的流量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)計(jì)算,從而得到網(wǎng)絡(luò)主要成分的性能指標(biāo)。網(wǎng)絡(luò)管理員根據(jù)流量數(shù)據(jù)就可以對網(wǎng)絡(luò)主要成分進(jìn)行性能分析管理,發(fā)現(xiàn)性能變化趨勢,并分析出影響網(wǎng)絡(luò)性能的因素及問題所在。此外,在網(wǎng)絡(luò)流量異常的情況下,通過擴(kuò)展的流量檢測報(bào)警系統(tǒng)還可以向管理人員報(bào)警,及時(shí)發(fā)現(xiàn)故障加以處理。在網(wǎng)絡(luò)流量檢測的基礎(chǔ)上,管理員還可對感興趣的網(wǎng)絡(luò)管理對象設(shè)置審查值范圍及配置網(wǎng)絡(luò)性能對象,監(jiān)控實(shí)時(shí)輪詢網(wǎng)絡(luò)獲取定義對象的當(dāng)前值,若超出審查值的正常預(yù)定值則報(bào)警,協(xié)助管理員發(fā)現(xiàn)網(wǎng)絡(luò)瓶頸,這樣就能實(shí)現(xiàn)一定程度上的故障管理。而網(wǎng)絡(luò)流量檢測本身也涉及到安全管理方面的內(nèi)容。
由此可見,對于一個(gè)有效的網(wǎng)絡(luò)安全管理系統(tǒng)來說,功能的實(shí)現(xiàn)都或多或少的依賴于流量信息的獲取。因此網(wǎng)絡(luò)流量信息的采集可以說是網(wǎng)絡(luò)安全管理系統(tǒng)得以實(shí)現(xiàn)的核心基石。它的應(yīng)用可以在一定程度上檢測到入侵攻擊,可以有效地幫助管理人員進(jìn)行網(wǎng)絡(luò)性能管理,并利用報(bào)警機(jī)制協(xié)助網(wǎng)管人員采取對應(yīng)的安全策略與防護(hù)措施,從而減少入侵攻擊所造成的損失。
1.4 本文的目的與任務(wù)
該網(wǎng)絡(luò)流量監(jiān)控及分析工具主要用途是通過實(shí)時(shí)連續(xù)地采集網(wǎng)絡(luò)數(shù)據(jù)并對其進(jìn)行統(tǒng)計(jì),得到主要成分性能指標(biāo),結(jié)合網(wǎng)絡(luò)流量的理論,通過統(tǒng)計(jì)出的性能指數(shù)觀察網(wǎng)絡(luò)狀態(tài),分析出網(wǎng)絡(luò)變化趨勢,找出影響網(wǎng)絡(luò)性能的因素。
本設(shè)計(jì)題目是教師自擬項(xiàng)目,前期任務(wù)主要是設(shè)計(jì)并完成系統(tǒng)的初步框架,實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的捕獲,并解決相應(yīng)問題,后期主要是通過一些API函數(shù)完成對各類數(shù)據(jù)信息的統(tǒng)計(jì)。
本系統(tǒng)實(shí)現(xiàn)以下功能:
(1)采用Winsock編寫原始套接字Socket-Raw對數(shù)據(jù)包進(jìn)行采集捕獲,并可實(shí)現(xiàn)分類及自定義范圍進(jìn)行捕獲;
(2)對捕獲的數(shù)據(jù)包進(jìn)行一定的解析;
(3)訪問操作系統(tǒng)提供的網(wǎng)絡(luò)性能參數(shù)接口,得到網(wǎng)卡總流量、輸入流量和輸出流量;
(4)系統(tǒng)提供了多種方式顯示結(jié)果,如曲線圖、列表等;
(5)使用IP幫助API獲取網(wǎng)絡(luò)統(tǒng)計(jì)信息;
(6)實(shí)現(xiàn)對部分常見威脅的預(yù)警,可繼續(xù)開發(fā)擴(kuò)展其報(bào)警功能。
篇8
關(guān)鍵詞:云資源池;安全;網(wǎng)絡(luò)堵塞;網(wǎng)絡(luò)防范
中圖分類號:TP393 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2014)07-1401-02
云計(jì)算的興起,數(shù)據(jù)中心作為云端的核心,承載了越來越多的業(yè)務(wù)。和傳統(tǒng)網(wǎng)絡(luò)相比,在需求和規(guī)劃上有著極大的差異性。這些差異也直接催生了網(wǎng)絡(luò)的變化,也給數(shù)據(jù)中心網(wǎng)絡(luò)安全帶來了新挑戰(zhàn)。
網(wǎng)絡(luò)堵塞是目前遇到的最為常見的網(wǎng)絡(luò)攻擊故障,表現(xiàn)為網(wǎng)絡(luò)鏈路鏈接被云主機(jī)在某一時(shí)間大量發(fā)包,占用了幾乎所有的網(wǎng)絡(luò)帶寬。當(dāng)網(wǎng)絡(luò)負(fù)載接近網(wǎng)絡(luò)容量時(shí),延時(shí)急劇增大,當(dāng)網(wǎng)絡(luò)負(fù)載大于網(wǎng)絡(luò)容量時(shí),延時(shí)為無窮大,導(dǎo)致網(wǎng)絡(luò)無法使用。云數(shù)據(jù)中心網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)的差異性,增加了故障排查的難度。
1 網(wǎng)絡(luò)堵塞監(jiān)測
2.3 查看對應(yīng)物理主機(jī)和承載的虛擬機(jī)異常流量
發(fā)現(xiàn)192.168.254.11服務(wù)器上的流量有異常,該物理主機(jī)的流量比正常情況下出現(xiàn)了很大變化,說明運(yùn)行在該物理主機(jī)上的虛擬機(jī)有流量問題。查看每個(gè)虛擬機(jī)的流量變化情況。發(fā)現(xiàn)有個(gè)iTV-100的虛擬機(jī)的流量出現(xiàn)了異常:
正常情況下,流量在50M左右,流量突然增加到900M以上,高峰時(shí)刻達(dá)到了1200M,超過了防火墻的網(wǎng)絡(luò)出口上限1000M,可以判斷,該虛擬機(jī)是引起網(wǎng)絡(luò)堵塞的原因。
3 安全加固
造成網(wǎng)絡(luò)堵塞大部分是由于DDOS攻擊引起的。這種攻擊就是要阻止合法用戶對正常網(wǎng)絡(luò)資源的訪問,它通過很多“僵尸主機(jī)”向受害主機(jī)發(fā)送大量看似合法的網(wǎng)絡(luò)包,從而造成網(wǎng)絡(luò)阻塞或服務(wù)器資源耗盡而導(dǎo)致拒絕服務(wù),導(dǎo)致合法用戶無法正常訪問服務(wù)器的網(wǎng)絡(luò)資源。
3.1 攻擊防范配置
攻擊防范是一個(gè)重要的網(wǎng)絡(luò)安全特性,它通過分析經(jīng)過設(shè)備的報(bào)文的內(nèi)容和行為,判斷報(bào)文是否具有攻擊特征,并根據(jù)配置對具有攻擊特征的報(bào)文執(zhí)行一定的防范措施。防火墻都提供了一些防御能力,華為防護(hù)墻的防范網(wǎng)絡(luò)攻擊的配置如下。
3.2 虛擬應(yīng)用流量限制
在云平臺(tái)下,由于部署了眾多的業(yè)務(wù)平臺(tái),為安全起見,每個(gè)業(yè)務(wù)平臺(tái)都有各自獨(dú)立使用的Vlan,在調(diào)研階段,就需要對業(yè)務(wù)平臺(tái)使用的網(wǎng)絡(luò)帶寬情況進(jìn)行規(guī)劃。部署時(shí),進(jìn)行網(wǎng)絡(luò)帶寬限制。Vmware提供了對一個(gè)Vlan進(jìn)行網(wǎng)絡(luò)流量限制的方法。在Vlan屬性對話框中,開啟流量調(diào)整策略,設(shè)置平均帶寬、帶寬峰值、突發(fā)大小的值。
4 結(jié)束語
云資源池的安全性一方面依賴于服務(wù)器虛擬化本身的安全性能,另一方面,需要采用傳統(tǒng)的安全技術(shù)和云資源池下的特性結(jié)合起來,在現(xiàn)有的網(wǎng)絡(luò)設(shè)備上進(jìn)行配置,減少網(wǎng)絡(luò)遭受攻擊的可能性。該文介紹的網(wǎng)絡(luò)在遭受攻擊后的檢測,通過分析防火墻、交換機(jī)、物理機(jī)的網(wǎng)絡(luò)流量、虛擬機(jī)的網(wǎng)絡(luò)流量幾個(gè)層面的特性,定位到網(wǎng)絡(luò)攻擊的根源,并提供了幾個(gè)加固防范的措施。
參考文獻(xiàn):
篇9
關(guān)鍵詞:SNMP;RRDTOOL;CACTI;流量監(jiān)控
1引言
隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和各種網(wǎng)絡(luò)業(yè)務(wù)應(yīng)用的普及,用戶對網(wǎng)絡(luò)資源的需求不斷增長,網(wǎng)絡(luò)已成為人們?nèi)粘9ぷ魃钪胁豢苫蛉钡男畔⒊休d工具,同時(shí)人們對網(wǎng)絡(luò)性能的要求也越高,在眾多影響網(wǎng)絡(luò)性能的因素中網(wǎng)絡(luò)流量是最為重要的因素之一,它包含了用戶利用網(wǎng)絡(luò)進(jìn)行活動(dòng)的所有的信息。通過對網(wǎng)絡(luò)流量的監(jiān)測分析,可以為網(wǎng)絡(luò)的運(yùn)行和維護(hù)提供重要信息,對于網(wǎng)絡(luò)性能分析、異常監(jiān)測、鏈路狀態(tài)監(jiān)測、容量規(guī)劃等發(fā)揮著重要作用。
SNMP(簡單網(wǎng)絡(luò)維護(hù)管理協(xié)議)是Internet工程任務(wù)組(IETF)在SGMP基礎(chǔ)上開發(fā)的,SNMP是由一系列協(xié)議組和規(guī)范組成的,SNMP的體系結(jié)構(gòu)包括SNMP管理者(SNMPManager)、SNMP者(SNMPAgent)和管理信息庫(MIB)。每個(gè)支持SNMP的網(wǎng)絡(luò)設(shè)備中都包含一個(gè),不斷地收集統(tǒng)計(jì)數(shù)據(jù),并把這些數(shù)據(jù)記錄到一個(gè)管理信息庫(MIB)中,網(wǎng)絡(luò)維護(hù)管理程序再通過SNMP通信協(xié)議查詢或修改所紀(jì)錄的信息。從被管理設(shè)備中收集數(shù)據(jù)有兩種方法:輪詢方法和基于中斷的方法。SNMP最大的特點(diǎn)是簡單性,容易實(shí)現(xiàn)且成本低,利用SNMP協(xié)議能夠?qū)Ρ槐O(jiān)視的各個(gè)網(wǎng)絡(luò)端口輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯(cuò)誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯(cuò)誤數(shù)、輸出隊(duì)長等進(jìn)行采集。
2RRDTOOL的工作原理
RRDTOOL代表“RoundRobinDatabasetool”,是TobiasOetiker設(shè)計(jì)的一個(gè)基于Perl的功能強(qiáng)大的數(shù)據(jù)儲(chǔ)存和圖形生成工具,最初設(shè)計(jì)目的是為流量統(tǒng)計(jì)分析工具M(jìn)RTG提供更好的數(shù)據(jù)存儲(chǔ)性能和更強(qiáng)的圖形生成功能。所謂的“RoundRobin”其實(shí)是一種存儲(chǔ)數(shù)據(jù)的方式,使用固定大小的空間來存儲(chǔ)數(shù)據(jù),并有一個(gè)指針指向最新的數(shù)據(jù)的位置。我們可以把用于存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫的空間看成一個(gè)圓,上面有很多刻度。這些刻度所在的位置就代表用于存儲(chǔ)數(shù)據(jù)的地方。所謂指針,可以認(rèn)為是從圓心指向這些刻度的一條直線。指針會(huì)隨著數(shù)據(jù)的讀寫操作自動(dòng)移動(dòng)。要注意的是,這個(gè)圓沒有起點(diǎn)和終點(diǎn),所以指針可以一直移動(dòng),而不用擔(dān)心到達(dá)終點(diǎn)后就無法前進(jìn)的問題。在一段時(shí)間后,當(dāng)所有的空間都存滿了數(shù)據(jù),就又從頭開始存放。這樣整個(gè)存儲(chǔ)空間的大小就是一個(gè)固定的數(shù)值。所以RRDtool就是使用類似的方式來存放數(shù)據(jù)的工具,RRDtool所使用的數(shù)據(jù)庫文件的后綴名是''''.rrd''''。
和其它數(shù)據(jù)庫工具相比,它具有如下特點(diǎn):
首先RRDtool存儲(chǔ)數(shù)據(jù),扮演了一個(gè)后臺(tái)工具的角色。但同時(shí)RRDtool又允許創(chuàng)建圖表,這使得RRDtool看起來又像是前端工具。其他的數(shù)據(jù)庫只能存儲(chǔ)數(shù)據(jù),不能創(chuàng)建圖表。
RRDtool的每個(gè)rrd文件的大小是固定的,而普通的數(shù)據(jù)庫文件的大小是隨著時(shí)間而增加的。
其他數(shù)據(jù)庫只是被動(dòng)的接受數(shù)據(jù),RRDtool可以對收到的數(shù)據(jù)進(jìn)行計(jì)算,例如前后兩個(gè)數(shù)據(jù)的變化程度(rateofchange),并存儲(chǔ)該結(jié)果。
RRDtool要求定時(shí)獲取數(shù)據(jù),其他數(shù)據(jù)庫則沒有該要求。如果在一個(gè)時(shí)間間隔內(nèi)(heartbeat)沒有收到值,則會(huì)用UNKN代替,其他數(shù)據(jù)庫則不會(huì)這樣做。
3監(jiān)測系統(tǒng)的安裝與配置
(1)配置路由器和交換機(jī):
開始配置RRDTool之前,必須對需要監(jiān)測的網(wǎng)絡(luò)及設(shè)備進(jìn)行良好的規(guī)劃、設(shè)計(jì)與配置,包括配置設(shè)備互聯(lián)地址、網(wǎng)管地址及路由,保證流量監(jiān)測計(jì)算機(jī)可以與被監(jiān)測設(shè)備網(wǎng)絡(luò)層的互通;配置SNMP通信字符串和端口號,掌握需要的監(jiān)測對象號(SNMPOID),確保流量監(jiān)測計(jì)算機(jī)可以獲取正確的SNMP信息。在路由器和交換機(jī)上啟動(dòng)SNMP,并設(shè)置只讀團(tuán)體名。命令如下:
(config)#snmp-serverenabletraps
(config)#snmp-servercommunitytestro
(2)安裝配置RRDTool:
我們以Debian平臺(tái)來安裝配置RRDTOOL系統(tǒng),在安裝RRDTOOL前首先要安裝支持RRDTOOL運(yùn)行的環(huán)境:Zlib、libart_lgpl、cgilib、Libpng、freetype軟件包。
①安裝apache、mysql、php:apt-getinstallapache2php4mysql-serverphp4-mysql;安裝成功后通過瀏覽器訪問客戶器,可以得到“Itworks!”的提示;利用mysqladmin工具給mysql添加好管理員密碼。
②安裝RRDTOOL:apt-getinstallrrdtool。
③安裝NET-SNMP:apt-getinstallsnmp。
④安裝Cacti:apt-getinstallcacti,在安裝過程中會(huì)提示你輸入mysql管理員密碼和cacti數(shù)據(jù)庫管理員密碼。
(3)系統(tǒng)配置:
安裝好系統(tǒng)后就要進(jìn)行簡單的初始化和配置,步驟如下:
①訪問x.x.x.x/cacti,按照向?qū)崾具M(jìn)行cacti的初始化安裝;
②利用crontab-e添加計(jì)劃任務(wù):
*/5****/usr/bin/php/usr/share/cacti/site/poller.php>/dev/null2>&1
③利用cacti進(jìn)行設(shè)備的添加;
④利用cacti進(jìn)行繪圖管理。
cacti其實(shí)是一套php程序,它運(yùn)用snmpget采集數(shù)據(jù),使用rrdtool繪圖。它的界面非常漂亮,能讓你根本無需明白rrdtool的參數(shù)能輕易的繪出漂亮的圖形。更難能可貴的是,它提供了強(qiáng)大的數(shù)據(jù)管理和用戶管理功能,一張圖是屬于一個(gè)host的,每一個(gè)host又可以掛載到一個(gè)樹狀的結(jié)構(gòu)上。用戶的管理上,作為一個(gè)開源軟件,它居然做到為指定一個(gè)用戶能查看的“樹”、host、甚至每一張圖,還可以與LDAP結(jié)合進(jìn)行用戶的驗(yàn)證!我不由得佩服作者考慮的周到!Cacti還提供自己增加模板的功能,讓你添加自己的snmp_query和script!可以說,cacti將rrdtool的所有“缺點(diǎn)”都補(bǔ)足了網(wǎng)絡(luò)地圖
篇10
關(guān)鍵詞: 網(wǎng)絡(luò)流量檢測; 群智能算法; RBF神經(jīng)網(wǎng)絡(luò); 網(wǎng)絡(luò)安全
中圖分類號: TN926?34; TP393 文獻(xiàn)標(biāo)識碼: A 文章編號: 1004?373X(2016)20?0012?03
Abstract: The application of swarm intelligence optimizing neural network in network security and a network traffic detection model based on neural network algorithm are studied in this paper. QAPSO algorithm is used to optimize the basis function center and base function width of RBF neural network, and the connection weights of the output layer and the hidden layer as well. The detection model studied in this paper is analyzed by means of an example. The collected data is used to train the network traffic identification system and test its performance. The method researched in this paper is compared with the algorithms based on the conventional PSO and HPSO. The results show that the detection method has a faster recognition speed and better recognition accuracy, and can avoid the occurrence of local optimal solutions.
Keywords: network traffic detection; swarm intelligence algorithm; RBF neural network; network security
0 引 言
隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展和普及,互聯(lián)網(wǎng)絡(luò)中的應(yīng)用和服務(wù)類型不斷增加,為了提高網(wǎng)絡(luò)安全,保護(hù)網(wǎng)民、公司企業(yè)以及政府部門等的財(cái)產(chǎn)與利益,需要對網(wǎng)絡(luò)流量進(jìn)行高效的監(jiān)測[1?2]。
RBF神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性擬合能力,即非線性映射能力,以及自學(xué)能力,同時(shí)便于計(jì)算機(jī)實(shí)現(xiàn),因而在網(wǎng)絡(luò)流量檢測等網(wǎng)絡(luò)安全領(lǐng)域得到了廣泛應(yīng)用。但是RBF神經(jīng)網(wǎng)絡(luò)的性能特別依賴網(wǎng)絡(luò)參數(shù)選取的好壞,而傳統(tǒng)RBF神經(jīng)網(wǎng)絡(luò)參數(shù)通常由人為按經(jīng)驗(yàn)或隨機(jī)選取,因此網(wǎng)絡(luò)的性能具有較強(qiáng)的隨機(jī)性[3?4]。
近年來,群智能優(yōu)化算法逐漸發(fā)展并得到較為廣泛的應(yīng)用,其中粒子群優(yōu)化算法是一種能夠全局優(yōu)化,具有建模速度快、收斂效率高的群智能優(yōu)化算法,然而使用常規(guī)PSO算法優(yōu)化神經(jīng)網(wǎng)絡(luò)仍然存在收斂速度和全局優(yōu)化能力不能夠達(dá)到平衡等問題[5?7]。因此本文研究一種基于量子自適應(yīng)粒子群優(yōu)化算法(QAPSO),對RBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)中心[Ci]、基函數(shù)的寬度[σi]以及輸出層與隱含層的連接權(quán)值[wi]進(jìn)行優(yōu)化。
1 基于群智能優(yōu)化的神經(jīng)網(wǎng)絡(luò)算法
本文研究的QAPSO優(yōu)化算法主要分為4部分,分別為初始化種群、估計(jì)進(jìn)化狀態(tài)、控制參數(shù)自適應(yīng)以及處理變異[8]。
1.1 初始化種群
2 實(shí)例分析
為驗(yàn)證本文建立基于QAPSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量檢測模型的性能,使用基于Libsvm軟件包的C#程序并結(jié)合數(shù)值計(jì)算軟件Matlab R2014對網(wǎng)絡(luò)流量進(jìn)行采集、計(jì)算以及分類。網(wǎng)絡(luò)流量檢測類型如表2所示。
表2 網(wǎng)絡(luò)流量檢測類型
使用常規(guī)PSO優(yōu)化算法及HPSO優(yōu)化算法對RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化,并建立同樣的網(wǎng)絡(luò)流量檢測模型,使用同樣的訓(xùn)練數(shù)據(jù)樣本進(jìn)行訓(xùn)練,使用同樣的測試數(shù)據(jù)樣本進(jìn)行性能測試。常規(guī)PSO優(yōu)化算法的參數(shù)為空間維度[D=24],粒子數(shù)量[N=30],最大迭代次數(shù)[tmax=200],連接權(quán)值[w=0.9~0.4],加速系數(shù)[c1]和[c2]均為2。HPSO優(yōu)化算法的參數(shù)為空間維度[D=24],粒子數(shù)量[N=30],最大迭代次數(shù)[tmax=200],連接權(quán)值[w=0.8~0.2],加速系數(shù)[c1]和[c2]均為2.5,[Vmaxd=0.5×Range]。QAPSO算法的參數(shù)為空間維度[D=24],粒子數(shù)量[N=30],最大迭代次數(shù)[tmax=200],連接權(quán)值[w=0.8~0.2],加速系數(shù)[c1]和[c2]為1.5~2.5,[Vmaxd=Range],[r1d]和[r2d]為0~1之間的隨機(jī)數(shù)。
從圖1可以看出,常規(guī)PSO優(yōu)化算法使得適應(yīng)度函數(shù)收斂到穩(wěn)定值時(shí)的迭代次數(shù)為171次,HPSO優(yōu)化算法使用了112次,而本文研究的QAPSO優(yōu)化算法只使用了76次。同時(shí),本文研究的QAPSO優(yōu)化算法的收斂值更低,適應(yīng)度函數(shù)的值即為RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差,因此適應(yīng)度函數(shù)越小,RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差越小,性能越好。因此,本文研究的QAPSO優(yōu)化算法相比另外兩種PSO優(yōu)化算法具有更快的收斂速度和更高的收斂精度,極大地提高了RBF神經(jīng)網(wǎng)絡(luò)的泛化能力。使用本文研究的QAPSO?RBF檢測模型及常規(guī)PSO和HPSO優(yōu)化RBF算法的檢測模型對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行識別。表3為三種檢測模型的檢測準(zhǔn)確率與反饋率對比。圖2為三種模型的平均檢測率和反饋率對比。
通過表3的數(shù)據(jù)可以看出,本文研究的QAPSO?RBF檢測模型對12種類型網(wǎng)絡(luò)服務(wù)與應(yīng)用均有較好的識別準(zhǔn)確率和反饋率,平均識別準(zhǔn)確率達(dá)到了92.81%,比HPSO?RBF算法的平均識別準(zhǔn)確率高出3.49%,比PSO?RBF算法的平均識別準(zhǔn)確率高出6.99%。QAPSO?RBF識別算法的平均識別反饋率達(dá)到了94.81%,比HPSO?RBF算法的平均識別反饋率高出3.51%,比PSO?RBF算法的平均識別反饋率高出7.28%??杀砻飨啾绕渌W尤簝?yōu)化算法,本文研究的QAPSO優(yōu)化算法在進(jìn)行多次迭代后仍然具有較好的活躍性,跳出局部最優(yōu)解,對最佳值的全局搜索能力具有非常顯著的提高,加快了算法收斂速率,提高了識別準(zhǔn)確率。
3 結(jié) 論
本文研究一種群智能優(yōu)化神經(jīng)網(wǎng)絡(luò)算法的網(wǎng)絡(luò)流量檢測模型。通過實(shí)際測試驗(yàn)證,相比其他粒子群優(yōu)化算法,本文研究的QAPSO優(yōu)化算法在進(jìn)行多次迭代后仍然具有較好的活躍性,跳出局部最優(yōu)解,對最佳值的全局搜索能力具有非常顯著的提高,加快了算法收斂速率,提高了識別準(zhǔn)確率。
參考文獻(xiàn)
[1] 盧金娜.基于優(yōu)化算法的徑向基神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)及應(yīng)用[D].太原:中北大學(xué),2015.
[2] 鐘建坤,周永福.群智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全的應(yīng)用研究[J].激光雜志,2015,36(4):143?146.
[3] 李博.粒子群優(yōu)化算法及其在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用[D].大連:大連理工大學(xué),2005.
[4] 蔣林利.改進(jìn)的PSO算法優(yōu)化神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用研究[D].廈門:廈門大學(xué),2014.
[5] 陳偉.基于群體智能算法的人工神經(jīng)網(wǎng)絡(luò)優(yōu)化及其應(yīng)用[D].無錫:江南大學(xué),2007.
[6] 劉曉剛.群體智能算法在RBF神經(jīng)網(wǎng)絡(luò)中的應(yīng)用[D].青島:青島大學(xué),2008.
[7] 馬汝輝.基于網(wǎng)絡(luò)流量異常檢測的網(wǎng)絡(luò)安全技術(shù)研究[D].無錫:江南大學(xué),2008.
熱門標(biāo)簽
網(wǎng)絡(luò)安全論文 網(wǎng)絡(luò)營銷論文 網(wǎng)絡(luò)倫理 網(wǎng)絡(luò)輿論論文 網(wǎng)絡(luò)銀行論文 網(wǎng)絡(luò)輿情論文 網(wǎng)絡(luò)文學(xué)論文 網(wǎng)絡(luò)交往 網(wǎng)絡(luò)輿論 網(wǎng)絡(luò)建設(shè)論文 心理培訓(xùn) 人文科學(xué)概論
相關(guān)文章
2神經(jīng)網(wǎng)絡(luò)在工程造價(jià)中的運(yùn)用
3企業(yè)社會(huì)化網(wǎng)絡(luò)招聘探討
4網(wǎng)絡(luò)時(shí)代對分課堂對學(xué)生的影響