語音視頻范文
時(shí)間:2023-03-15 02:11:16
導(dǎo)語:如何才能寫好一篇語音視頻,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。
篇1
關(guān)鍵詞: DPI技術(shù); 語音視頻監(jiān)控系統(tǒng); 網(wǎng)絡(luò)協(xié)議; 流量監(jiān)控架構(gòu)
中圖分類號: TN948.4?34; TP309 文獻(xiàn)標(biāo)識碼: A 文章編號: 1004?373X(2017)01?0067?03
Abstract: The method of combining software and hardware is used to propose the voice video traffic monitoring system with monitoring architecture, which is based on the protocol commonly used in voice video network recognized by hardware, network protocol recognizing network complexity by software, and recognition scheme combining port, statistics and various recognition technologies. The design of system architecture and related modules are analyzed in detail. The system performance was verified in the practical experiment environment. The results show that the client recognition rate of the voice video traffic monitoring system is higher than 91%, the system has no false alarm, and the recognition performance of the system can satisfy the users′ requirement.
Keywords: DPI technology; voice video monitoring system; network protocol; traffic monitoring architecture
0 引 言
S著智能手機(jī)的普及,WiFi大面積覆蓋,語音視頻可隨時(shí)隨地實(shí)現(xiàn),語音視頻因快捷方便、價(jià)格合理,因此得到眾多用戶的喜愛,目前其發(fā)展速度相當(dāng)快[1]。但網(wǎng)絡(luò)應(yīng)用在快速發(fā)展的同時(shí),各種網(wǎng)絡(luò)語音視頻流量也變得越來越復(fù)雜化和多樣化,導(dǎo)致網(wǎng)絡(luò)安全事故頻發(fā)[2?4]。網(wǎng)絡(luò)語音視頻流量分布不均勻,因此網(wǎng)絡(luò)語音視頻流量的安全狀況急需管理和維護(hù),網(wǎng)絡(luò)流量的監(jiān)控問題也同樣變得十分重要[5]。深度包監(jiān)測(DPI)是一種基于應(yīng)用層的流量檢測技術(shù)和控制技術(shù)[6]。使用單純的軟件監(jiān)測系統(tǒng)速度較慢,難以滿足網(wǎng)絡(luò)高速數(shù)據(jù)包處理的要求;而單純的硬件識別則占用大量的內(nèi)存,一般的內(nèi)存難以達(dá)到要求[7]。
本文采用軟硬件相結(jié)合的方法,將硬件識別語音視頻網(wǎng)絡(luò)常見的協(xié)議,軟件識別網(wǎng)絡(luò)復(fù)雜的網(wǎng)絡(luò)協(xié)議,在DPI技術(shù)的基礎(chǔ)上,設(shè)計(jì)語音視頻流量監(jiān)控系統(tǒng)。
1 語音視頻流量監(jiān)控系統(tǒng)架構(gòu)設(shè)計(jì)
本文設(shè)計(jì)的監(jiān)控語音視頻流量的系統(tǒng)架構(gòu)主要包含三個(gè)模塊,分別為語音視頻特征庫識別模塊、語音視頻策略配置模塊、語音視頻流量控制模塊,設(shè)計(jì)的監(jiān)控語音視頻流量的系統(tǒng)架構(gòu),如圖1所示。
用戶使用語音視頻時(shí),其數(shù)據(jù)流先進(jìn)入語音視頻特征庫模塊,然后該模塊對其匹配進(jìn)行識別,主要檢測用戶的語音視頻在特征庫中是否有與之相匹配的協(xié)議,然后語音視頻特征庫模塊將識別結(jié)果傳遞給語音視頻策略配置模塊,根據(jù)識別結(jié)果,該模塊對本庫進(jìn)行查詢,主要是看是否有對應(yīng)的語音視頻協(xié)議策略,如果有相關(guān)的語音視頻策略,該模塊就將結(jié)果傳遞到下個(gè)模塊,即語音視頻流量控制模塊,根據(jù)用戶下發(fā)的語音視頻控制策略,該模塊對達(dá)到用戶預(yù)期的語音視頻進(jìn)行放行、限制流量和阻止隔斷;如果語音視頻流量控制模塊未對語音視頻策略進(jìn)行任何傳遞,那么數(shù)據(jù)流在流出口直接傳輸。
1.1 語音視頻特征庫識別模塊
特征庫識別模塊首先要對網(wǎng)絡(luò)中各種協(xié)議的語音視頻流量進(jìn)行準(zhǔn)確識別,并根據(jù)用戶產(chǎn)生的語音視頻流量大小,對其實(shí)時(shí)占有的百分比進(jìn)行統(tǒng)計(jì),實(shí)現(xiàn)對用戶語音視頻流量的監(jiān)控。用戶的語音視頻流量如果傳遞到特征庫識別模塊,該模塊就會對相關(guān)的語音視頻報(bào)文進(jìn)行解析,通過PushQueue操作將語音視頻報(bào)文壓入數(shù)據(jù)包;在PopQueue操作下,將該數(shù)據(jù)包送到引摯,在服務(wù)端口,引摯對語音視頻流量進(jìn)行初步協(xié)議判定,并將結(jié)果記錄下來。引摯通過識別后,優(yōu)先對判定的語音視頻協(xié)議進(jìn)行匹配,如果出現(xiàn)未能匹配的情況,引摯識別則由特征庫識別模塊直接進(jìn)行。
經(jīng)過初步端口識別后,特征庫識別模塊進(jìn)行最核心部分的DPI識別,DPI識別中的協(xié)議特征庫包含兩個(gè)預(yù)設(shè)接口,在進(jìn)行識別時(shí),一個(gè)接口匹配解析引摯,另一個(gè)接口提供一個(gè)全局?jǐn)?shù)組,這個(gè)數(shù)組主要對所有應(yīng)用名進(jìn)行存儲,同時(shí)該接口還負(fù)責(zé)將數(shù)組傳遞到語音視頻的策略配置模塊,圖2為DPI識別語音視頻流程圖。
1.2 語音視頻策略配置模塊
語音視頻策略配置模塊主要由兩部分組成:一是全局?jǐn)?shù)組。這個(gè)數(shù)組由存儲應(yīng)用名的語音視頻特征庫識別模塊提供。二是語音視頻策略信息庫。全局?jǐn)?shù)組提供了一個(gè)界面,該界面能使用戶查詢應(yīng)用;根據(jù)查詢的結(jié)果,語音視頻策略信息庫至少提供一個(gè)配置策略,用戶將策略信息傳遞到下一個(gè)模塊,即語音視頻流量控制模塊,語音視頻控制模塊這時(shí)就會發(fā)出對應(yīng)的干擾報(bào)文和控制報(bào)文。
1.3 語音視頻流量控制模塊
語音視頻流量控制模塊實(shí)質(zhì)上是一種阻斷的技術(shù),該模塊限制特定的語音視頻速率,并將其完全阻斷,要很好地控制語音視頻流量,就必須先對具體協(xié)議進(jìn)行準(zhǔn)確的識別,識別精度決定控制精度,語音視頻流量控制模塊對特征庫識別模塊具有高度的依賴性,為很好地實(shí)現(xiàn)語音視頻流量控制模塊的核心技術(shù),本文選用旁路干擾語音視頻流量控制。
1.3.1 旁路干擾實(shí)現(xiàn)語音視頻流量控制
旁路干擾語音視頻流量控制主要由主機(jī)、路由器、分光器、流控設(shè)備組成,旁路干擾利用的是偽裝技術(shù),偽裝的數(shù)據(jù)包被發(fā)送到TCP,UDP后,出現(xiàn)兩種可能:一是降低數(shù)據(jù)傳輸速率;二是阻斷通信連接,這樣控制語音視頻流量的目的就達(dá)到了。
1.3.2 控制模塊的實(shí)現(xiàn)
控制模塊采用旁路干擾語音視頻流量的控制方式,在用戶下發(fā)相應(yīng)的語音視頻策略后,控制模塊就會產(chǎn)生相應(yīng)報(bào)文,成功地對用戶語音視頻流量實(shí)現(xiàn)控制,這是控制模塊的主要功能??刂颇K由策略接收器、報(bào)文緩存器、控制報(bào)文發(fā)送器組成,策略接收器接收由配置模塊發(fā)出的信息,并執(zhí)行命令送至報(bào)文緩存器和控制報(bào)文發(fā)送器;報(bào)文緩存器主要緩存和發(fā)送控制報(bào)文,并提供支持給控制報(bào)文發(fā)送器;控制報(bào)文發(fā)送器主要接收策略,并對控制報(bào)文進(jìn)行發(fā)送。
2 語音視頻流量識別方案的設(shè)計(jì)
2.1 識別語音視頻具體流程
識別語音視頻流量流程圖如圖3所示,在對語音視頻流量進(jìn)行識別時(shí),采用DPI技術(shù),對相關(guān)的信令流進(jìn)行識別。當(dāng)語音視頻被標(biāo)記為信令流后,引摯便會對該語音視頻進(jìn)行掃描,掃描包括數(shù)據(jù)包的全部負(fù)載內(nèi)容,本文通過對傳輸層協(xié)議類型、相關(guān)的IP地址、對應(yīng)的端口號的解析,得到語音視頻的三元組信息,把三元組信息添加到關(guān)聯(lián)表項(xiàng)協(xié)議中,如果有后續(xù)的流匹配到此三元組信息就被標(biāo)記為其數(shù)據(jù)流。對于沒有被識別的語音視頻,一般將其標(biāo)記為unknown,這樣,關(guān)于語音視頻流量的識別就全部完成。
2.2 監(jiān)控語音視頻流量方案的設(shè)計(jì)與部署
2.2.1 進(jìn)行網(wǎng)絡(luò)部署
實(shí)驗(yàn)室監(jiān)控語音視頻流量的組網(wǎng)環(huán)境如圖4所示,在同一個(gè)局域網(wǎng),為了避免語音視頻流量不經(jīng)過供應(yīng)商的服務(wù)器,采用不同的兩個(gè)公網(wǎng),由路由器Route1和 Route2分別進(jìn)行連接,服務(wù)器為Server,進(jìn)行雙網(wǎng)卡配置, Linux楸狙芯肯低常語音視頻流量在經(jīng)過服務(wù)器后,在Server服務(wù)器中,語音視頻從一個(gè)網(wǎng)卡傳遞到另一個(gè)網(wǎng)卡,兩個(gè)網(wǎng)卡之間分別嵌入識別引摯、控制引摯。網(wǎng)關(guān)通過PC和WiFi被設(shè)置成一個(gè)網(wǎng)卡IP地址,這個(gè)網(wǎng)卡歸屬于Server服務(wù)器。語音視頻在流經(jīng)PC和WiFi后,能順利通過Server服務(wù)器,利用PC對服務(wù)器進(jìn)行遠(yuǎn)程控制;由MobilePhone1,MobilePhone2產(chǎn)生的語音視頻流量通過PC可使用Wiershark的混雜模式抓取,便于分析各應(yīng)用的相關(guān)協(xié)議。
2.2.2 語音視頻流量監(jiān)控系統(tǒng)引摯架構(gòu)
語音視頻流量監(jiān)控系統(tǒng)引摯架構(gòu)如圖5所示,語音視頻流量監(jiān)控系統(tǒng)引摯由語音視頻流量識別、流量控制、特征庫、數(shù)據(jù)庫、前臺控制模塊五部分組成。通過對語音視頻特征的分析和提取,最后得到特征模塊庫文件,語音視頻進(jìn)入引摯后,結(jié)合特征庫模塊,識別模塊對語音視頻流量進(jìn)行模式匹配,并對語音視頻做出標(biāo)記,將識別結(jié)果送至數(shù)據(jù)庫模塊,然后送至前臺控制模塊。根據(jù)語音視頻流量監(jiān)控系統(tǒng)的識別結(jié)果,對語音視頻流量控制模塊進(jìn)行相關(guān)操作,從而實(shí)現(xiàn)對語音視頻流量的控制。
3 本系統(tǒng)功能實(shí)行
本系統(tǒng)的主要目的是實(shí)現(xiàn)對語音視頻流量的監(jiān)控,系統(tǒng)的識別準(zhǔn)確率由識別率、誤報(bào)率組成。識別率越大,系統(tǒng)監(jiān)控性能越好,誤報(bào)率越小,系統(tǒng)監(jiān)控準(zhǔn)確率越高。為了對本系統(tǒng)的識別準(zhǔn)確度進(jìn)行驗(yàn)證,對常用的媒體客戶端、視頻網(wǎng)站進(jìn)行測試,測試結(jié)果見表1。
從表1中可以看出,這些常用語音視頻流量監(jiān)控客戶端的識別率都大于91%,同時(shí)沒有誤報(bào),這表明系統(tǒng)識別性能可以滿足用戶需求。
4 結(jié) 語
本文采用軟件和硬件相結(jié)合的方法,設(shè)計(jì)了一種基于DPI技術(shù)的語音視頻流量監(jiān)控系統(tǒng),將硬件識別語音視頻網(wǎng)絡(luò)常見的協(xié)議,軟件識別網(wǎng)絡(luò)復(fù)雜的網(wǎng)絡(luò)協(xié)議,結(jié)合端口、統(tǒng)計(jì)等多種識別技術(shù)的識別方案,對語音視頻流量監(jiān)控進(jìn)行架構(gòu),同時(shí)對各種場景的應(yīng)用和采用不同協(xié)議的情況進(jìn)行了細(xì)致的分析,通過實(shí)際試驗(yàn)環(huán)境對系統(tǒng)性能進(jìn)行驗(yàn)證。測試結(jié)果表明,本系統(tǒng)的語音視頻流量監(jiān)控客戶端的識別率都大于91%,沒有誤報(bào),系統(tǒng)的識別性能可以滿足用戶需求。
參考文獻(xiàn)
[1] 陳先灝.DPI技術(shù)應(yīng)用發(fā)展研究[J].無線互聯(lián)科技,2015(21):32?33.
[2] 武光達(dá),蔣朝惠.基于DPI的流量識別系統(tǒng)的研究[J].技術(shù)研究,2014(10):44?49.
[3] 吳軍,杜澤華.一種以DPI為核心的網(wǎng)絡(luò)流量識別方案[J].軟件導(dǎo)刊,2014,13(1):23?26.
[4] 程博,辛陽.基于VOIP的語音視頻流量監(jiān)控方案設(shè)計(jì)與實(shí)施[J].技術(shù)研究,2014(6):53?58.
[5] 曾傳璜,陳景忠.基于DPI的流媒體流量監(jiān)控系統(tǒng)的分析與設(shè)計(jì)[J].電視技術(shù),2014,38(9):136?138.
篇2
何謂物聯(lián)網(wǎng)?
什么是物聯(lián)網(wǎng)?從用戶和行業(yè)角度來看,它是萬物相連,能把所有能上網(wǎng)的設(shè)備都連接起來,通過物聯(lián)網(wǎng)的感知再層和網(wǎng)絡(luò)交換層,進(jìn)入到物聯(lián)網(wǎng)的網(wǎng)絡(luò)應(yīng)用層。物聯(lián)網(wǎng)被視為互聯(lián)網(wǎng)的應(yīng)用擴(kuò)展,應(yīng)用創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的核心,以用戶體驗(yàn)為核心的創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的靈魂。
物聯(lián)網(wǎng)的架構(gòu)分為三層:應(yīng)用層,網(wǎng)絡(luò)層和感知層。第一層是感知層,感知層通常情況下就是模擬量,相關(guān)的數(shù)字量或者相關(guān)的可變量,對它進(jìn)行數(shù)據(jù)的采集。通過網(wǎng)絡(luò)交換層把數(shù)據(jù)傳輸?shù)綉?yīng)用層,進(jìn)行智能化的分析。感知層相當(dāng)于人的五官以及皮膚。它要解決的問題就是把模擬量數(shù)據(jù)量進(jìn)行采集編碼。網(wǎng)絡(luò)層非常重要,需要高可靠性、高安全性地傳輸送給上一層,上一層是應(yīng)用層,主要功能是把感知層送過來的數(shù)據(jù)進(jìn)行分析處理進(jìn)行正確的判斷。應(yīng)用層解決的問題是人機(jī)的交互,包括我們的觸摸屏也是。物聯(lián)網(wǎng)與傳統(tǒng)網(wǎng)絡(luò)的主要區(qū)別在于,物聯(lián)網(wǎng)擴(kuò)大了傳統(tǒng)網(wǎng)絡(luò)的通信范圍。
物聯(lián)網(wǎng)的關(guān)鍵技術(shù)
物聯(lián)網(wǎng)關(guān)鍵技術(shù)有四點(diǎn),主要包括:M2M,云計(jì)算,人工智能以及數(shù)據(jù)挖掘。
M2M是指Machine-to-Machine:機(jī)器對機(jī)器,設(shè)備對設(shè)備或Man-to-Machine:人對機(jī)器。M2M將多種通信技術(shù)有機(jī)地結(jié)合在一起,將數(shù)據(jù)從一臺終端傳送到另一臺終端。M2M技術(shù)的目標(biāo)是使所有機(jī)器設(shè)備都具備聯(lián)網(wǎng)和通信能力。云計(jì)算是分布式計(jì)算、并行計(jì)算和網(wǎng)絡(luò)計(jì)算的發(fā)展。
云計(jì)算通過共享基礎(chǔ)資源(硬件、平臺、軟件)的方法,將巨大的資源池連接在一起以提供各種IT服務(wù),這樣企業(yè)與個(gè)人用戶無需再投入昂貴的硬件購置成本,只需要通過互聯(lián)網(wǎng)來租賃計(jì)算力等資源。對于AV語音和視頻、照片數(shù)據(jù)資料存儲來說,我們可以從傳統(tǒng)的存儲在硬盤轉(zhuǎn)變存儲到云端。按需索取我們想要的資料與數(shù)據(jù)。
人工智能是探索研究使各種機(jī)器模擬人的某些思維過程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等),使人類的智能得以物化與延伸的一門學(xué)科。人工智能,主要是在應(yīng)用層上面,人工智能包括語音識別、圖像識別或者人員識別,這也是屬于物聯(lián)網(wǎng)里面人工智能之一。
數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的及隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中,挖掘出隱含的、未知的、對決策有潛在價(jià)值的數(shù)據(jù)的過程。數(shù)據(jù)挖掘主要基于人工智能、機(jī)器學(xué)習(xí)、模式識別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫、可視化技術(shù)等,高度自動化地分析數(shù)據(jù),做出歸納性的推理。在物聯(lián)網(wǎng)中,數(shù)據(jù)挖掘只是一個(gè)代表性概念,它是一些能夠?qū)崿F(xiàn)物聯(lián)網(wǎng)“智能化”、“智慧化”的分析技術(shù)和應(yīng)用的統(tǒng)稱。
傳統(tǒng)AV系統(tǒng)的技術(shù)瓶頸
傳統(tǒng)AV系統(tǒng)遭遇很多技術(shù)瓶頸。 (1)傳統(tǒng)的AV系統(tǒng)跨區(qū)度小,很難跨區(qū)域信號共享,在會議中心多會議室或可分割的酒店宴會廳,房間與房間很難跨區(qū)域進(jìn)行音視頻信號的共享;如果要實(shí)現(xiàn)共享,傳統(tǒng)的方式需要布置非常多的跳線,如果用切換的方式,也可能會變成切換設(shè)備非常多,較為繁瑣,容易出現(xiàn)操作失誤。(2)傳輸距離受到限制,如在一些大型的宴會廳、報(bào)告廳及或功能廳,現(xiàn)場到機(jī)房的高清信號線的傳輸距離會受到限制,HDMI和DVI的距離理論上是15米,增加傳輸器后可適當(dāng)延長,但不能很好保證系統(tǒng)的靈活性和穩(wěn)定性,增加了設(shè)計(jì)和施工的難度。(3)升級擴(kuò)展麻煩,很多系統(tǒng)在應(yīng)用了一兩年以后,在需要升級的時(shí)候,往往可能需要換主機(jī),換主機(jī)基本上就把整個(gè)系統(tǒng)都換掉了。(4)傳統(tǒng)模擬系統(tǒng)容易被淘汰,因?yàn)樗菀资芫€路干擾產(chǎn)生噪音,波紋,影響清晰度和語音可懂度。(5)保密單位重要場所的音視頻會議,與現(xiàn)場的音視頻管理模式或監(jiān)聽模式,在這種會議需要保密的情況下可能就會產(chǎn)生很多影響與沖突。(6)專業(yè)設(shè)備管理控制復(fù)雜。單個(gè)設(shè)備專業(yè)復(fù)雜,跳線繁瑣,一直是傳統(tǒng)系統(tǒng)的瓶頸,系統(tǒng)越大,復(fù)雜程度越高,對操作管理人員的專業(yè)知識要求越多,造成性能優(yōu)良的設(shè)備沒有好的管理人員不能發(fā)揮它應(yīng)有的使用效率。
最主要的是傳統(tǒng)音視頻的基礎(chǔ)架構(gòu)決定了它的瓶頸,單獨(dú)主機(jī)的方式,每個(gè)需要音視頻的房間重復(fù)復(fù)制主機(jī),處理器,造成重復(fù)投資,資源浪費(fèi),需要更多的操作人員管理,很難形成整體協(xié)調(diào)和同步共享。采用數(shù)率比較低的,很難滿足我們?nèi)找詽u進(jìn)的使用要求。這些都是傳統(tǒng)音視頻方面的一些不足之處,那么有沒有新的方式來改變這些問題,答案當(dāng)然是肯定的。那就是引入物聯(lián)網(wǎng)技術(shù)。
當(dāng)傳統(tǒng)AV系統(tǒng)遭遇物聯(lián)網(wǎng)
引入物聯(lián)網(wǎng)的相關(guān)技術(shù)之后,首先,從體系架構(gòu)上的變化,音頻和視頻以及控制基于物聯(lián)網(wǎng)的架構(gòu)模式,全高清、標(biāo)清視頻信號和高保真音頻信號統(tǒng)一進(jìn)入到網(wǎng)絡(luò),通過局域網(wǎng)絡(luò)無損傳輸,物聯(lián)應(yīng)用層智能化管理和處理模式。系統(tǒng)結(jié)構(gòu)簡單明了,拋棄了采用低速率通訊的架構(gòu)模式?;谖锫?lián)網(wǎng)的架構(gòu)分為三層,分別為智能管理應(yīng)用層,網(wǎng)絡(luò)交換層和接口感知層;三個(gè)層面分別負(fù)責(zé)不同的工作任務(wù),接口感知層負(fù)責(zé)與前端和終端設(shè)備的連接,起到協(xié)議轉(zhuǎn)換的功能;網(wǎng)絡(luò)傳輸層對音視頻信號進(jìn)行無損的傳輸,智能化管理應(yīng)用層控制所有的輸入和輸出及網(wǎng)絡(luò)控制節(jié)點(diǎn),采用人性化3D立體的界面,通過有線或無線觸控終端管理,可提供集中流媒體的存儲,數(shù)據(jù)庫狀態(tài)服務(wù)等處理。其次,基于物聯(lián)網(wǎng)的數(shù)據(jù)庫管理設(shè)計(jì)尤為重要,對以后系統(tǒng)的擴(kuò)展升級及維護(hù)都可重新分析系統(tǒng)的現(xiàn)狀,進(jìn)一步提升了系統(tǒng)設(shè)計(jì)的穩(wěn)定性。
三是帶來距離的改變?;谖锢砭W(wǎng)的全交換音視頻方式,突破了傳統(tǒng)音視頻上距離的限制,近距離可通過局域網(wǎng)無損傳輸,遠(yuǎn)距離可通過光纖;真正意義上達(dá)到了網(wǎng)絡(luò)到哪里,音視頻即可到哪里的境界。
四是設(shè)備數(shù)量的改變。隨著物聯(lián)網(wǎng)技術(shù)的加入,基本的設(shè)備變成了輸入輸出和控制節(jié)點(diǎn)與交換機(jī)之間的關(guān)系,用一套簡單明了的設(shè)備代替復(fù)雜繁多的傳統(tǒng)模擬設(shè)備,避免了重復(fù)復(fù)制主機(jī)的模式,降低了故障點(diǎn)和成本,保證了系統(tǒng)的完整性。
五是改變升級擴(kuò)展方式,系統(tǒng)平臺軟件化,系統(tǒng)升級,設(shè)備基于網(wǎng)絡(luò),只要增加接口類設(shè)備,軟件應(yīng)用模塊就可以完成功能的升級。如原來的切換矩陣是8×8的,現(xiàn)在需要擴(kuò)展到13進(jìn)11出,那么我只需要增加輸入和輸出的節(jié)點(diǎn)即可。
六是信號交互共享的改變,多房間音視頻互聯(lián)互通,冗余備份,通過物聯(lián)網(wǎng)網(wǎng)絡(luò)交換層,經(jīng)授權(quán)可方便快捷地把本地的音視頻信號共享到其他房間,只需通過軟件直接就可控制;如在一些酒店可分割的宴會廳,通過物聯(lián)網(wǎng)的管理方式,能夠快速直觀地切換分割和聯(lián)合模式,無需手動頻繁跳線鏈接。
除此之外,傳統(tǒng)AV系統(tǒng)引入物聯(lián)網(wǎng)技術(shù)后還帶來了RFID控制方式。物聯(lián)網(wǎng)支持設(shè)備與設(shè)備直接通訊,M2M自助完成控制,通過RFID的模塊面板,對于投影幕、投影機(jī)、窗簾和燈光等雙通道的管理。
在保密會議中我們可通過物理上斷開機(jī)房的監(jiān)聽音箱和視頻的圖像,物聯(lián)網(wǎng)應(yīng)用管理層提供電平表和各個(gè)設(shè)備狀態(tài)的顯示,通過軟件平臺的電平表可直觀掌握音量的大小,無需現(xiàn)場管理或機(jī)房監(jiān)聽,保密性強(qiáng)。
例如使用AVMedia的美國百威媒體矩陣MixMinus,基于物聯(lián)網(wǎng)的百威媒體矩陣NION系列設(shè)備提供了MixMinus話筒管理技術(shù)的設(shè)計(jì)。該設(shè)計(jì)包括聲場均勻度、GainUnity以及MixMinus技術(shù)。GainUnity電平統(tǒng)調(diào)是控制放大增益回饋?zhàn)钪苯雍蜏?zhǔn)確的辦法,聲學(xué)頻點(diǎn)處理是輔助。MixMinus能顯著改善揚(yáng)聲器與高靈敏話筒近距離拾音引起的房間增益不足。
物聯(lián)網(wǎng)架構(gòu)下的AV系統(tǒng)集成―AVmedia“云”交互音視頻集成
傳統(tǒng)的音視頻控制較為復(fù)雜,按鈕和推桿,都是非常專業(yè)的控件??勺罱K用戶并不是專業(yè)音頻人員,他們只是使用者。
在傳統(tǒng)方式的架構(gòu)下,很難想到更多的人性化交互方式。如缺乏新的知識面,音頻、視頻與控制技術(shù)互通及距離都受限。對于網(wǎng)絡(luò)技術(shù)的了解較少,導(dǎo)致音視頻技術(shù)未能更人性化、以人為本地為我們提供服務(wù)。
基于物聯(lián)網(wǎng)的全交換音視頻技術(shù),究竟給我們帶來了什么理念?
物聯(lián)網(wǎng)架構(gòu)下的AV系統(tǒng)集成具備物聯(lián)網(wǎng)應(yīng)用的方式。在管理應(yīng)用層面,通過所見即所得的管理設(shè)計(jì)理念,提高了對人機(jī)交互的融洽度,并且給用戶帶來全新的體驗(yàn)和感受的設(shè)計(jì)理念,這是傳統(tǒng)系統(tǒng)很難做到的。
篇3
關(guān)鍵詞:FMS4;實(shí)時(shí)網(wǎng)絡(luò)教學(xué)輔導(dǎo);RTMFP;P2P
中圖分類號:TP37文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2012)01-0144-05
Research of Audio and Video Interaction Technology Teaching Application Based on P2P of FMS4―Base on Web-Based Remote Teaching Guidance System
HU Shi-qing, ZHOU Bing
(Department of Educational Technology, Normal College, Shenzhen University, Shenzhen 518060, China)
Abstract: In recent years, along with the development of information technology, web-based remote teaching guidance has become popular in the field of education guidance. But because Simultaneity of real-time video streaming is complicated and big, have led to the fact that it is difficult to develop the web-based remote teaching guidance system. Adobe Company release the latest FMS4 streaming media server in September of 2010, bring real-time video communication to P2P era. makes that FMS4 can be used to realize the P2P remote real-time video interactions and text communication function. Based on development of remote teaching guidance system, this paper analysis realization methods of P2P text Interaction function of FMS4, including the development environment, realization principle, key code and function etc. And analysis realization process of P2P real-time audio and video of FMS4, including the comparison RTMP with RTMFP agreement , principle and methods of realization based on P2P audio and video Interaction function of FMS4. through test and trial, Indicate that real-time and compressive capacity of the system have been obvious improved.
Key words: FMS4; Real-time Web-based Teaching Guidance; RTMFP; P2P
教學(xué)輔導(dǎo)作教學(xué)重要環(huán)節(jié),它對鞏固教學(xué)效果,幫助學(xué)困生進(jìn)步,推動學(xué)優(yōu)生全面發(fā)展起到了重要作用[1]。隨著信息技術(shù)的發(fā)展,教學(xué)輔導(dǎo)的形式,呈現(xiàn)遠(yuǎn)程化、異地化、網(wǎng)絡(luò)化的趨勢。相對于傳統(tǒng)的面對面的教學(xué)輔導(dǎo),網(wǎng)絡(luò)遠(yuǎn)程教學(xué)輔導(dǎo)打破時(shí)間和地域限制,可以讓學(xué)生足不出戶得到教師的實(shí)時(shí)高效輔導(dǎo),并且憑借其真實(shí)、直觀、實(shí)惠、便捷、安全的優(yōu)勢,快速發(fā)展成為了教育輔導(dǎo)市場的新方向。要開展網(wǎng)絡(luò)遠(yuǎn)程教學(xué)輔導(dǎo),它所依托的遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng),成為了影響教學(xué)輔導(dǎo)效果的重要因素。
網(wǎng)絡(luò)遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)的理想方式是通過網(wǎng)絡(luò)提供師生面對面的實(shí)時(shí)交流,因此,教師和學(xué)生之間的實(shí)時(shí)音視頻傳播和文字交流質(zhì)量是遠(yuǎn)程教學(xué)輔導(dǎo)的實(shí)現(xiàn)基礎(chǔ)和核心功能,一個(gè)優(yōu)秀的遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)必須要確保系統(tǒng)運(yùn)行時(shí)有流暢的實(shí)時(shí)性和豐富的交互性。
通過調(diào)查發(fā)現(xiàn)目前國內(nèi)應(yīng)用的網(wǎng)絡(luò)遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)主要有泛智網(wǎng)、家教通、異地家教網(wǎng)、智龍網(wǎng)、24家教網(wǎng)等,這些遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)的實(shí)時(shí)視頻應(yīng)用,主要采用了兩種服務(wù)器:一種是開源的Red5,另一種是FMS服務(wù)器。其中Red5是一款基于Java的開源流媒體服務(wù)器,它依托RTMP協(xié)議來傳輸流媒體,實(shí)現(xiàn)了實(shí)時(shí)視頻播放、遠(yuǎn)程共享對象、實(shí)時(shí)錄制等功能。由于開源的原因,目前成為了企業(yè)架設(shè)實(shí)時(shí)視頻通信服務(wù)時(shí)的優(yōu)先選擇[2]。FMS是Adobe公司推出的流媒體服務(wù)器,它是當(dāng)前實(shí)時(shí)視頻通信市場的主流服務(wù)器,它幾乎能滿足網(wǎng)絡(luò)實(shí)時(shí)視頻通信的所有應(yīng)用需求,是主流視頻服務(wù)廠商的偏愛。但由于Red5和FMS4.0之前版本的服務(wù)器,均采用基于TCP的RTMP協(xié)議來通信,不能支持低延遲和大的并發(fā)流,所以需要部署大量的邊緣服務(wù)器和增加服務(wù)器的帶寬,來保證視頻的流暢和通信質(zhì)量,從而大大增加了企業(yè)開發(fā)成本。
2010年9月Adobe系統(tǒng)公司了最新版本的FMS4,它基于RTMFP協(xié)議實(shí)現(xiàn)了P2P技術(shù),代表了當(dāng)前主流的網(wǎng)絡(luò)實(shí)時(shí)視頻交互技術(shù)?;谝陨显颍覀冊谠O(shè)計(jì)新版的遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)中,采用了最新版的FMS4,實(shí)現(xiàn)了基于FMS4的P2P實(shí)時(shí)音視頻交互功能,將FMS4的P2P技術(shù)引入網(wǎng)絡(luò)遠(yuǎn)程教學(xué)輔導(dǎo)領(lǐng)域,并對它進(jìn)行有益嘗試和研究。
1 FMS和P2P技術(shù)概述
FMS(Adobe Flash Media Server)是Adobe公司推出的流媒體服務(wù)器,它能夠提供優(yōu)秀的流媒體播放和實(shí)時(shí)通信功能,同時(shí)FMS還提供了強(qiáng)大的可定制腳本的服務(wù)器流媒體引擎[3]。通過這個(gè)引擎,允許建構(gòu)面向互聯(lián)網(wǎng)任何用戶群體的交互媒體應(yīng)用,以及基于FLV的傳統(tǒng)視頻點(diǎn)播服務(wù)(VOD),還能夠建構(gòu)如視頻博客、視頻共享、視頻直播、在線游戲、視音頻聊天等交互性的雙向及多向應(yīng)用[4]。由于Adobe公司在網(wǎng)絡(luò)多媒體應(yīng)用上的雄厚實(shí)力,以及Flash Player在網(wǎng)絡(luò)上廣泛應(yīng)用,F(xiàn)MS已成為多媒體應(yīng)用服務(wù)器端的主要系統(tǒng)平臺,如優(yōu)酷、土豆等大型視頻網(wǎng)站就采用了這項(xiàng)技術(shù)。
P2P又稱對等互聯(lián)網(wǎng)絡(luò)技術(shù),它不會將所有網(wǎng)絡(luò)負(fù)載聚集在較少的幾臺服務(wù)器上,而依賴網(wǎng)絡(luò)中參與者的計(jì)算能力和帶寬。在P2P應(yīng)用環(huán)境中實(shí)現(xiàn)了客戶端的之間直接聯(lián)系,讓客戶端在網(wǎng)絡(luò)環(huán)境下利用P2P直接交互。在P2P環(huán)境中真正地消除中間商,使得網(wǎng)絡(luò)共享和交互變得更容易、更直接,因此,加入節(jié)點(diǎn)越多、整個(gè)系統(tǒng)的容量也越大[5]。這與傳統(tǒng)的客戶/服務(wù)器架構(gòu)剛好相斥,在那種架構(gòu)中每增加一個(gè)客戶端,意味著分享一份系統(tǒng)資源,系統(tǒng)的整體性能將下降[6]。P2P架構(gòu)的這種分布特性,在大流量的實(shí)時(shí)遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)中,對解決視頻帶寬緊張,提高視頻傳播的速度和質(zhì)量有明顯優(yōu)勢。
目前,在剛的FMS 4中,增加了最值得期待的新功能,對p2p的支持,提供了安全、可擴(kuò)展的P2P直播和點(diǎn)播功能。
2基于FMS4的P2P文本交互功能的實(shí)現(xiàn)研究
2.1基于FMS4的系統(tǒng)開發(fā)環(huán)境
在FMS4之前的FMS流媒體服務(wù)器都沒有提供P2P功能,直到2009年Adobe才提拱了在Stratus2的流媒體服務(wù)器中使用P2P功能[7]。但要架構(gòu)Stratus2的P2P服務(wù),首先要向Adobe公司申請開發(fā)密鑰,然后聯(lián)結(jié)Stratus服務(wù)器,如果成功將得到“NetConnection. Connect.Success”事件,并被分配一個(gè)獨(dú)特的256位peer ID,其它Flash Player客戶端必須通過個(gè)peer ID才能通信[8]。如果要進(jìn)行第二次開發(fā),就會感到局限,因?yàn)椴荒茏约翰渴鸱?wù)器進(jìn)行局域網(wǎng)內(nèi)的開發(fā)運(yùn)營。令人高興的是,在最新的fms4中,p2p功能已經(jīng)集成進(jìn)來了,使得利用FMS開發(fā)多媒體服務(wù)發(fā)生了質(zhì)的飛躍,但要開發(fā)FMS4的P2P服務(wù)系統(tǒng),開發(fā)環(huán)境要達(dá)到如下要求:(1)開發(fā)使用的Flex SDK要達(dá)到Flex SDK4.1以上版本,可以從Adobe官網(wǎng)下載,或者可以安裝目前最新版的Flash Builder4,它默認(rèn)的Flex SDK是Flex SDK4.1。(2)FMS流媒體服務(wù)器,必須是FMS4以上版本,可以從Adobe官網(wǎng)上獲得。(3)Flash Player要達(dá)到Flash Player10.1以上版本,如果是開發(fā),最好使用debug版的Flash Player。
2.2基于FMS4的P2P文本交互功能的實(shí)現(xiàn)原理
在FMS4.0之前,如果我們要做一個(gè)多人實(shí)時(shí)在線交互的應(yīng)用,比如多人文本聊天功能時(shí),我們需要通FMS服務(wù)器把所有在線用戶鏈接起來,如果網(wǎng)中的某個(gè)人需要向所有人發(fā)送信息,那所有信息都必須經(jīng)過FMS服務(wù)器發(fā)送,這樣才能實(shí)現(xiàn)共享數(shù)據(jù)服務(wù)。這種模式在眾多用戶的遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)中會使服務(wù)器的壓力增大,實(shí)時(shí)交流的服務(wù)質(zhì)量下降,影響學(xué)生學(xué)習(xí)的滿意度[9]。假如教師A一個(gè)數(shù)據(jù)想給同網(wǎng)段的其他100個(gè)學(xué)生,那么這100個(gè)學(xué)生都需要通過服務(wù)器來與教師A通信,這無疑加重了服務(wù)器和教師A的負(fù)擔(dān),影響了整個(gè)系統(tǒng)的服務(wù)質(zhì)量。而在FMS4.0中引入了NetGroup“群組”的概念,利用p2p的功能很好地解決了這個(gè)問題。當(dāng)教師A數(shù)據(jù)想讓同一個(gè)組中的其他100個(gè)學(xué)生接收時(shí),那么當(dāng)教師A將數(shù)據(jù)發(fā)送到學(xué)生B時(shí),學(xué)生B獲得所有數(shù)據(jù)后也可以將數(shù)據(jù)加入“群組”內(nèi),同時(shí)出去,這樣學(xué)生B也成了數(shù)據(jù)的者,那么其他學(xué)生就可以不從教師A處獲取數(shù)據(jù),從而可以減輕教師A的實(shí)時(shí)通信壓力。同時(shí)由于采用了P2P通信,教師與學(xué)生之間的數(shù)據(jù)交換不需要經(jīng)過服務(wù)器中轉(zhuǎn),從而也大幅度降低了服務(wù)器負(fù)荷,保證了服務(wù)質(zhì)量。這就是新的基于FMS4.0的P2P模式,每個(gè)用戶都可以作為數(shù)據(jù)的接收者和發(fā)出者,參與的用戶越多,數(shù)據(jù)的副本就越多,服務(wù)的速度也就越快。
如圖1所示,基于FMS4的P2P文本交互功能的具體流程是:發(fā)送端和接收端分別向FMS4.0服務(wù)器發(fā)出聯(lián)接請求,如果FMS4服務(wù)器接收連接,發(fā)送端和接收端將分別收到連接成功的信息"NetConnection.Connect.Success",此時(shí)發(fā)送端和接收端通過方法“new NetGroup(netConnec? tion, roupSpecifier.groupspecWithAuthorizations())”加入到同名的群組中。如果加入“群組”成功,發(fā)送端和接收端將收到“NetGroup.Connect.Success”狀態(tài),這時(shí)發(fā)送端可以通過“netGroup.addHaveObjects(0, _dataLength -1)”將要發(fā)的數(shù)據(jù)加入群組的待發(fā)數(shù)據(jù)列表中。接收端收到“NetGroup.Connect.Success”狀態(tài)后,就可調(diào)用addWantObjects方法向發(fā)送端提出發(fā)送數(shù)據(jù)請求,此時(shí)發(fā)送端收到"Net Group.Replication.Request"狀態(tài)提示,發(fā)送端就可以響應(yīng)接收端的請求,通過調(diào)用“netGroup.省略.省略.index])”方法,以UDP協(xié)議的方式將需要的數(shù)據(jù)塊發(fā)送過去,然后“接收方”會收到"NetGroup.Replication.Fetch.SendNotify"的數(shù)據(jù)到達(dá)通 知,如果成功接收,接收端將進(jìn)入“NetGroup.Replication.Fetch.Result”狀態(tài),數(shù)據(jù)全部接收完成后,接收端可將收到的數(shù)據(jù)重新合并呈現(xiàn)在接收端的視圖上,同時(shí)還可調(diào)用addWantObjects方法將數(shù)據(jù)添加到群組待發(fā)的數(shù)據(jù)列表中,接收端此時(shí)變成了新的發(fā)送端[10]。
部分關(guān)鍵代碼如下:
// "接收方"有數(shù)據(jù)到達(dá)時(shí)將觸發(fā)此處理,但目前尚未接收數(shù)據(jù)
case "NetGroup.Replication.Fetch.省略.index);//教師信息即將接收
break;
case "NetGroup.Replication.Fetch.Failed":
case "NetGroup.Replication.Fetch.省略.省略.object);//教師信息已接收
//接收完成以后,將數(shù)據(jù)添加到待發(fā)送對象列表,此時(shí)接收方又轉(zhuǎn)變成了發(fā)送方
netGroup.省略.省略.index);
//新建群組,設(shè)置相關(guān)參數(shù),并加入群組
private function OnConnect():void{
var groupSpecifier:GroupSpecifier; //創(chuàng)建一個(gè)GroupSpecifier對象并設(shè)置相關(guān)參數(shù)據(jù)
groupSpecifier = new GroupSpecifier( groupNameText.text);
groupSpecifier.postingEnabled = true;
groupSpecifier.serverChannelEnabled = true;
groupSpecifier.objectReplicationEnabled = true;
groupSpecifier.ipMulticastMemberUpdatesEnabled=true;
netGroup = new NetGroup(netConnection, groupSpecifier.groupspecWithAuthorizations());
netGroup.addEventListener(_STATUS, NetStatusHandler);
}//將教師的聊天內(nèi)容加入“群組”的待發(fā)送列表,并顯示在界面
private function massageDisplay():void{
var _message:Object = new Object;
_message.user = userNameText.text;
_message.text = chatText.text;
_message.sequence = sequenceNumber++;
_message.sender = netConnection.省略Group.addHaveOb? jects(0, _dataLength - 1);
}
2.3基于FMS4的P2P文本交互功能的實(shí)現(xiàn)驗(yàn)證
為了真實(shí)再現(xiàn)FMS4.0的P2P實(shí)現(xiàn)過程,我們在基于p2p的文本交互功能模塊中,將教師端的每條發(fā)送數(shù)據(jù)通過for循環(huán)向發(fā)送列表重復(fù)加了二十條,點(diǎn)擊發(fā)送將數(shù)據(jù)發(fā)送出去,然后重開了二個(gè)學(xué)生端依次點(diǎn)“接收信息”。發(fā)現(xiàn)當(dāng)?shù)谝粋€(gè)學(xué)生端接收完20條教師端的信息后,它自己開始接收第二個(gè)學(xué)生端的請求,此時(shí)第一個(gè)學(xué)生端變成了教師信息的發(fā)送端,其它學(xué)生端可以從第一個(gè)學(xué)生那里獲得教師信息。通過開多個(gè)窗口測試發(fā)現(xiàn),加入學(xué)生群組的人越多速度會越快。基于FMS4.0的P2P文本交互功能演示如圖2。
3基于FMS4的P2P實(shí)時(shí)音視頻功能實(shí)現(xiàn)研究
Flash Player已經(jīng)在web視頻領(lǐng)域占有了重要的市場份額,這得益于FMS流媒體服務(wù)器卓越的性能和Flash Player的98%的普及程度。利用FMS流媒體服務(wù)器可以開發(fā)視頻點(diǎn)播或者實(shí)時(shí)視頻的應(yīng)用程序。視頻點(diǎn)播應(yīng)用程序是從服務(wù)器向客戶端提供已編碼處理的視頻流,這些音視頻流可以是歌曲、電影、電視劇等音頻或視頻文件,目前主流的優(yōu)酷、土豆等視頻網(wǎng)站就是采用的這種技術(shù)。實(shí)時(shí)視頻應(yīng)用程序是客戶端通過視頻采集設(shè)備如攝像頭等,將采集的實(shí)時(shí)視頻或音頻數(shù)據(jù),通過FMS服務(wù)器發(fā)送給其它的客戶端或者是發(fā)送給FMS服務(wù)器保存處理。實(shí)況視頻的典型應(yīng)用包括視頻會議、遠(yuǎn)程教學(xué)輔導(dǎo)等。
3.1 RTMP與RTMFP
FMS4.0之前版本在提供視頻服務(wù)時(shí),使用了Real-Time Messaging Protocol (RTMP)協(xié)議。RTMP是流媒體、共享對象、遠(yuǎn)程連接的優(yōu)秀選擇,它能滿足實(shí)時(shí)性要求不高的交互式音頻和視頻通信,當(dāng)同時(shí)在線的用戶數(shù)量大時(shí),網(wǎng)絡(luò)通信的并發(fā)量就會倍增,對服務(wù)器就會產(chǎn)生巨大的壓力。在FMS4.0中采用了一種新的通信協(xié)議RTMFP(實(shí)時(shí)流媒體協(xié)議),RTMFP是Adobe公司開發(fā)的新的通信協(xié)議,它可以使終端用戶在基于Adobe AIR架構(gòu)的多個(gè)Adobe Flash播放器和應(yīng)用程序之間進(jìn)行直接通信[11]。RTMFP協(xié)議為應(yīng)用程序(如遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng))提供了高質(zhì)量的實(shí)時(shí)通信解決方案,同時(shí),RTMFP協(xié)議也實(shí)現(xiàn)了視頻點(diǎn)播、實(shí)時(shí)直播等功能,客戶端用 戶通過麥克風(fēng)和攝像頭就能實(shí)現(xiàn)高質(zhì)量的直接音頻或視頻通信交流。
通過表1,RTMFP與RTMP的比較,RTMFP在多個(gè)功能點(diǎn)上進(jìn)行了優(yōu)化,表現(xiàn)出強(qiáng)勁的性能和卓越的品質(zhì)。
1)RTMP是基于TCP協(xié)議,而RTMFP是建立在UDP協(xié)議和性能更優(yōu)的FlashPlayer10以上版本。TCP提供了可靠的數(shù)據(jù)傳輸,比較適合于文件傳輸和電子郵件等用途,但它沒有提供任何端到端延遲保證。這種提供可靠數(shù)據(jù)傳輸?shù)腡CP實(shí)現(xiàn)了重新傳輸丟失數(shù)據(jù)的功能,但增加了延遲。而實(shí)時(shí)通信中最重要的目標(biāo)是確保最小的端到端延遲,因此TCP協(xié)議并不適合這一用途。為了確保傳輸過程中的錯(cuò)誤恢復(fù),在Flash Player 10中采用了先進(jìn)的音頻和視頻壓縮技術(shù),如Speex音頻和H.264視頻編解碼器,保證實(shí)時(shí)通信的正確性。同時(shí)RTMFP還提供了可靠和不可靠的兩種服務(wù),當(dāng)在Flash Player實(shí)例之間,使用NetStream.send()發(fā)送數(shù)據(jù)時(shí),提供可靠的數(shù)據(jù)傳輸;而當(dāng)使用Speex發(fā)送音頻時(shí),不可靠的交互方式被使用,以提供最小的延遲。
2)支持點(diǎn)對點(diǎn)通信。在利用RTMP通信時(shí),如果客戶端之間要進(jìn)行數(shù)據(jù)傳輸,必須先將數(shù)據(jù)發(fā)送到FMS服務(wù)器端,然后經(jīng)過服務(wù)器轉(zhuǎn)發(fā)到其它用戶,而利用RTMFP通信時(shí),它無需經(jīng)過服務(wù)器的中轉(zhuǎn),就可以將一個(gè)客戶端的數(shù)據(jù)直接發(fā)送到另一個(gè)客戶端。此時(shí)的FMS服務(wù)器只起到橋梁作用,為客戶端之間創(chuàng)建通信會話,傳遞其它客戶端的相關(guān)信息。這種優(yōu)勢在遠(yuǎn)程教學(xué)輔導(dǎo)應(yīng)用中,可大大減輕網(wǎng)絡(luò)帶寬的消耗和服務(wù)器的負(fù)擔(dān)。
3)支持?jǐn)?shù)據(jù)傳輸?shù)膬?yōu)先次序。在實(shí)時(shí)通信中如果帶寬有限時(shí)我們希望能優(yōu)先確保聲音的暢通,再保證視頻和非實(shí)時(shí)的數(shù)據(jù)通信。RTMFP支持這種數(shù)據(jù)傳輸?shù)膬?yōu)先次序,大大提高了用戶體驗(yàn)。
4)支持連接錯(cuò)誤恢復(fù)能力。RTMFP協(xié)議提供了兩種重要特性,有助于解決一些連接錯(cuò)誤導(dǎo)致的問題:1、快速連接修復(fù):連接在短暫掉線的情況下將會快速恢復(fù)。例如,當(dāng)一個(gè)無線網(wǎng)絡(luò)連接掉線了,那么會馬上重建連接。一旦重新連接,它將迅速擁有所有的傳送能力。2、IP動態(tài)化:即使一個(gè)客戶轉(zhuǎn)換到新的IP地址,原先處于活動狀態(tài)的網(wǎng)絡(luò)peer會話仍然會保持。例如,一臺無線網(wǎng)絡(luò)連接的筆記本接入到有線網(wǎng)絡(luò)后,會獲得一個(gè)新IP地址,但它仍然可以繼續(xù)之前的通信。
3.2基于FMS4的P2P的音視頻功能的實(shí)現(xiàn)原理
要架構(gòu)基于FMS4.0的P2P實(shí)時(shí)音視頻共享教學(xué)應(yīng)用,需要分別配置FMS4服務(wù)器、發(fā)送端和接收端。具體發(fā)送端、接收端和服務(wù)器的交互流程如圖3如示。
1)發(fā)送端的開發(fā)思路是:首先獲得FMS4.0服務(wù)器的URL和將要進(jìn)入的“群組名”,然后創(chuàng)建一個(gè)NetConnec? tion對象,調(diào)用netConnection.addEventListener(NetSta? _STATUS, netStatusHandler)進(jìn)行監(jiān)聽,通過命令netConnection.connect(“url”)連接服務(wù)器,這里URL與以往版本的FMS連接不同,F(xiàn)MS4.0采用的是RTMFP協(xié)議,所以URL應(yīng)當(dāng)改成“rtmfp://localhost/…”的形式;如果服務(wù)器接受請求,發(fā)送端將收到“NetConnection.Connect.Success”的狀態(tài),此時(shí)發(fā)送端可以創(chuàng)建NetGroup對象,設(shè)置相關(guān)“群組”的配置并連接該“群組”;如果連接成功,發(fā)送端進(jìn)入“NetGroup.Connect.Success”狀態(tài),這時(shí)可繼續(xù)創(chuàng)建一個(gè)發(fā)送流NetStream對象并向服務(wù)器發(fā)送連接,如成功會收到“NetStream.Connect.Success”信息;當(dāng)收到發(fā)送流連接成功后,可以檢測麥克風(fēng)和攝像頭并配置它們的相關(guān)參數(shù),分別使用netStream.attachAudio(mic);和netStream.attachCamera(camera)命令,將音頻和視頻信息添加到發(fā)送流上;同時(shí)還要創(chuàng)建一個(gè)VideoDisplay視頻播放組件,將攝像頭采集到的視頻信息在發(fā)送端顯示出來,讓發(fā)送者自己了解當(dāng)前的視頻狀態(tài);最后,發(fā)送端可以使用發(fā)送流的publish命令netStream.publish("教師名")將這個(gè)流出去,此時(shí)接收端就能收到這個(gè)音視頻流的信息了。當(dāng)然此處也可以這樣設(shè)計(jì),將流名改成為發(fā)送端的用戶名,當(dāng)用戶將自己本地?cái)z像頭捕捉到的畫面publish到fms4服務(wù)器時(shí),fms4服務(wù)器將存放它在userList這個(gè)集合對象中,集合中存放的是每個(gè)用戶名也就是他們視頻的名字。每當(dāng)新用戶加入或者退出會議的時(shí)候,fms4服務(wù)器就把這個(gè)userList廣播給每個(gè)還在線的用戶。接收端的用戶取得userList后,只需播放其它用戶名的視頻即可[12]。
2)接收端的開發(fā)思路是:前面步驟與發(fā)送端相同,也是先與服務(wù)器建立連接,然后創(chuàng)建“群組”,如果以上都成功,就要創(chuàng)建一個(gè)接收流來接收發(fā)送端的音視頻信息,這里不需要再去獲取麥克風(fēng)和攝像頭的信息了,只需再創(chuàng)建一個(gè)Video視頻播放組件,將接收流的信息通過attachNetStream(inNetStream)命令加入Video組件,并調(diào)用netStream.play("教師名"),就可開始播放發(fā)送端的音視頻信息了。這里的play()方法的參數(shù)必須與發(fā)送端的publish()方法的參數(shù)名相同。當(dāng)然大多數(shù)據(jù)情況下,一個(gè)客戶端既是者也是訂閱者,那么它必須創(chuàng)建兩個(gè)流,一個(gè)流,一個(gè)接受流。
3)服務(wù)器的開發(fā)思路,如果要在FMS4服務(wù)器上注冊一個(gè)應(yīng)用程序,需要在FMS4的安裝目錄下的/applications文件夾中新建一個(gè)以應(yīng)用程序名命名的文件夾,然后在此文件夾下新建一個(gè)名為main.asc文件存放服務(wù)器端代碼。在main.asc文件中可以使用兩個(gè)對象:Client對象和application對象。當(dāng)一個(gè)客戶端連接到一個(gè)FMS4上的應(yīng)用程序時(shí),F(xiàn)MS4服務(wù)器可以通過創(chuàng)建Client類的實(shí)例來代表一個(gè)客戶端,有了這項(xiàng)客戶端實(shí)例,就可以用它來完成這個(gè)客戶端發(fā)送和接收數(shù)據(jù)。服務(wù)器端的application對象代表這個(gè)應(yīng)用程序,它是Application類的實(shí)例,通過它服務(wù)器端可以接受客戶端的連接請求,也可完成客戶端的連接斷開和關(guān)閉應(yīng)用程序等功能。當(dāng)一個(gè)客戶端連接FMS4服務(wù)器時(shí),服務(wù)器端將接受一個(gè)application.onConnect事件,如果接受此客戶端連接請求,則調(diào)用appli? cation.acceptConnection(currentClient)方法。如果此客戶端不符合連接要求,則調(diào)用application.rejectConnection(currentClient)方法來拒絕此客戶端請求。相反,當(dāng)一個(gè)客戶端斷開FMS4.0服務(wù)器時(shí),服務(wù)器端接受到一個(gè)application.onDisconnect事件,此時(shí)可以通過application.clients命令來向所有在線客戶端發(fā)送信息,通知其它用戶此用戶已下線[13]。
3.3基于FMS的P2P的音視頻功能的實(shí)現(xiàn)驗(yàn)證
在最新的遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)上采用FMS4作為流媒體服務(wù)器后,實(shí)現(xiàn)現(xiàn)了文本和音視頻的實(shí)時(shí)交互功能。經(jīng)測試發(fā)現(xiàn)依托FMS4的P2P技術(shù),在課堂人越多時(shí),視頻越流暢,語音越清晰。其系統(tǒng)演示如圖4所示。
4結(jié)束語
通過對FMS4的應(yīng)用研究發(fā)現(xiàn)它對比以往版本的確實(shí)有了新的改進(jìn),特別是它基于RTMFP協(xié)議的P2P音視頻技術(shù)的新功能,給我們遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)的系統(tǒng)穩(wěn)定性和抗壓性帶來了許多實(shí)惠,相信不久將有更多的視頻應(yīng)用系統(tǒng)采用FMS4,希望通過將FMS4引入遠(yuǎn)程教學(xué)輔導(dǎo)領(lǐng)域,能對將來遠(yuǎn)程教學(xué)輔導(dǎo)系統(tǒng)的設(shè)計(jì)開發(fā)人員有所借鑒。
參考文獻(xiàn):
[1]趙才欣.對改進(jìn)教學(xué)輔導(dǎo)的若干認(rèn)識[J].現(xiàn)代教學(xué).2009.8.
[2]孫超.流媒體服務(wù)器Red5的擴(kuò)展設(shè)計(jì)、測試與優(yōu)化[d].上海交通大學(xué)碩士學(xué)位論文.2009.1.
[3]魯志剛.基于Flash Media Server(FMS)的網(wǎng)絡(luò)教學(xué)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].東北師范大學(xué)碩士學(xué)位論文. 200906:29-45.
[4]尤亮.基于流媒體技術(shù)的在線視頻教學(xué)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].廈門大學(xué)碩士學(xué)位論文. 200811:54-60.
[5]方玉田.淺談P2P拓?fù)浣Y(jié)構(gòu)及算法[J].遠(yuǎn)程教育雜志.74-75.
[6]佚名. P2P網(wǎng)絡(luò)的優(yōu)勢[DB/OL].省略/Tutorial/CSharp/fms%20p2p/fms%20p2p.aspx.
[7]佚名.stratus[DB/OL]..
[9]菩提樹下的楊過. flash player10.1 + FMS4中的p2p功能[DB/OL].省略.
[10] Adobe?Flex?4.1語言參考.
[11]徐洪華,底曉強(qiáng),郭乃珠.基于RTMP協(xié)議的視頻廣播系統(tǒng)結(jié)構(gòu)設(shè)計(jì).長春理工大學(xué)學(xué)報(bào),2007,12.
篇4
I空間――戰(zhàn)隊(duì)獨(dú)享屬地
何謂I空間?它就是ET為網(wǎng)游玩家們專門設(shè)計(jì)的一個(gè)獨(dú)享的屬地,除了獨(dú)立的空間以外,還有多人語音及視頻溝通,特別適合于戰(zhàn)隊(duì)使用。由于是一個(gè)戰(zhàn)隊(duì)獨(dú)享的網(wǎng)絡(luò)交流空間,不會為其它人所打擾。另一方面,戰(zhàn)隊(duì)非常需要一個(gè)在網(wǎng)絡(luò)上的聚集地,就像現(xiàn)實(shí)中部隊(duì)需要扎營一樣,否則就會一盤散沙。無論是比賽開始前,還是平時(shí)訓(xùn)練,或者是比賽結(jié)束后的交流,I空間都為所有隊(duì)員提供一個(gè)共同的家,大家不僅可以用文字聊天,更可以實(shí)現(xiàn)清晰、同步的語音視頻聊天,這也是I空間區(qū)別于其它聊天室的最重要的部分。
多人視頻――從虛擬到現(xiàn)實(shí)不再是夢想
北京的玩家和海南的玩家,大家可以通過I空間的語音視頻聊天系統(tǒng),即可以聽見了聲音,而且也看到了人,這個(gè)時(shí)候玩家與玩家之間的友情將變得更加真實(shí)。I空間可以同時(shí)實(shí)現(xiàn)十人在線同時(shí)進(jìn)行視頻聊天,而且畫面十分淅流暢,幾乎和電視一樣。I空間將視頻窗口引入群體聊天室,通過兩個(gè)音視頻窗口輪流進(jìn)行多人音視頻交流。這種全新的清晰音視頻聊天氣氛,與時(shí)下大部分文字聊天室具有截然不同的區(qū)別。
多人語音――游戲的臨時(shí)指揮系統(tǒng)
I空間的多人語音與多人視頻的原理幾乎相同,只不過主角由攝像頭變成了麥克風(fēng),可以支持10人同時(shí)在線語音。之所以單獨(dú)提出來,是因?yàn)橐恍Σ僮饕筝^高的游戲,使得你不得不全神貫注于游戲,而只能采用語音來溝通。比如星際、帝國、魔獸以及目前火爆中反恐精英等網(wǎng)絡(luò)游戲。現(xiàn)在一些CS戰(zhàn)隊(duì)在平常比賽時(shí)則采用了I空間的語音功能作為一個(gè)游戲“語音指揮平臺”,隊(duì)友們可以實(shí)時(shí)報(bào)告位置、敵情,以及指揮掩護(hù)、沖鋒。
多媒體文件播放――游戲之外的友情世界
篇5
1、學(xué)會聲母y、w和整體認(rèn)讀音節(jié)yi、wu、yu,認(rèn)清字形,讀準(zhǔn)音。
2、學(xué)會聲母y、w與單韻母的拼音,會拼讀yɑ、wɑ兩個(gè)音節(jié)。
3、會正確讀出yi、wu、yu的四聲。
4、會在四線格里抄寫聲母y、w。
課時(shí)安排:2課時(shí)
第一課時(shí)
教學(xué)目標(biāo):
1、學(xué)會聲母
y、w。
2、學(xué)會聲母y、w與單韻母的拼音,會拼讀yɑ、wɑ兩個(gè)音節(jié)。
教學(xué)過程:
一、復(fù)習(xí)檢查。
二、教學(xué)聲母y。
1、看圖說話引出y。
2、教學(xué)y的發(fā)音,認(rèn)清字形。
用比較法:單韻母I要讀得響而長,聲母y要讀得輕而短。我們可以叫它大y。y的樣子像樹杈。
3、指導(dǎo)抄寫。
三、教學(xué)聲母w。
1、看圖說話引出w。
2、教學(xué)w的發(fā)音,認(rèn)清字形。
(1)對比讀u—w。聲母w要讀得輕而短,我們叫它大w。
(2)用形象法記形:“小屋倒影w、w、w?!?/p>
3、指導(dǎo)抄寫。
四、看圖說話,教學(xué)y、w和ɑ拼音。
五、練習(xí)聲母y、w與帶調(diào)單韻母拼讀。
第二課時(shí)
教學(xué)目標(biāo):
1、學(xué)習(xí)整體認(rèn)讀音節(jié)yi、wu、yu,認(rèn)清字形,讀準(zhǔn)音。
2、會正確讀出yi、wu、yu的四聲。
教學(xué)過程:
一、復(fù)習(xí)檢查。
二、教學(xué)整體認(rèn)讀音節(jié)yi、wu、yu。
1、講述故事,幫助記憶:有一天,i、u、ü三個(gè)小朋友要出去玩,可是他們年紀(jì)小,又不認(rèn)識路,怎么辦呢?他們就請大y和大w帶路。大y帶著小I一塊兒走,就成了音節(jié)yi。(帶學(xué)生念:yi、yi、yi)。大w帶著小u一塊兒走,就成了音節(jié)wu。(帶學(xué)生念:wu、wu、wu)。小ü沒人帶,急得哭了,兩滴眼淚往外流。大y說:“好吧,我再帶一個(gè),可是你得把眼淚擦掉?!?/p>
小ü高興地把眼淚擦得干干凈凈,就成了音節(jié)yu。(帶學(xué)生念:yu、yu、yu)。
2、音節(jié)yi、wu、yu的四聲練習(xí)。
三、猜音節(jié)游戲。
老師拿出一張小圖片,說出一個(gè)詞,請小朋友認(rèn)真聽并找出有關(guān)詞的音節(jié),然后當(dāng)小老師領(lǐng)讀。
醫(yī)生(yī)
椅子(yǐ)
阿姨(yí)
烏鴉(wū)
玉米(yù)
梧桐樹(wú)
跳舞(wǔ)
小魚(yú)
羽毛(yǔ)
四、練習(xí)拼讀音節(jié)。
1、看圖說話引出音節(jié)。
2、訓(xùn)練正確認(rèn)讀ā
yí(阿姨)、yǔ
篇6
關(guān)鍵詞 電視技術(shù);音視頻同步;實(shí)現(xiàn)
中圖分類號TN94 文獻(xiàn)標(biāo)識碼A 文章編號 1674-6708(2013)90-0006-02
音視頻的數(shù)字化處理與同步傳輸是電視節(jié)目傳輸高質(zhì)量的重要標(biāo)志,也是數(shù)字電視技術(shù)和多媒體通信技術(shù)中一個(gè)極為特殊和重要的關(guān)鍵技術(shù)。隨著數(shù)字技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù)和多媒體技術(shù)的進(jìn)一步發(fā)展及數(shù)字電視的廣泛普及,廣大電視用戶對音頻與視頻服務(wù)質(zhì)量的要求越來越高,如何確保音視頻同步己經(jīng)成為電視技術(shù)研究領(lǐng)域的重點(diǎn)問題。
1有線電視技術(shù)中的音視頻同步
同步,即將不同類型載體所傳輸?shù)男畔凑找欢ǖ臅r(shí)間、空間和邏輯關(guān)系組成一個(gè)有機(jī)的整體,再以某種形式在同一時(shí)間點(diǎn)展現(xiàn)出來。音視頻同步,就是確保具有一定相關(guān)性的音視頻信號能夠在同一時(shí)間點(diǎn)上進(jìn)行播放,以達(dá)到電視節(jié)目完整呈現(xiàn)的目的。音頻和視頻技術(shù)的發(fā)展是音視頻同步技術(shù)發(fā)展的前提。如果不能保持音視頻同步,廣大電視用戶所收看到的電視節(jié)目的聲音和圖像就不是相互匹配,邏輯關(guān)系十分混亂,降低了數(shù)字電視傳輸質(zhì)量,影響了用戶的視聽感受,使用戶無法正確理解數(shù)字電視所提供的電視節(jié)目信息。在傳統(tǒng)的模擬電視系統(tǒng)中,發(fā)送端在傳輸圖像與聲音信號時(shí)會同時(shí)發(fā)送同步信號,接收端也就能夠直接獲得時(shí)間信息,發(fā)送端與接收端夠保持同步,用戶所看到電視音視頻也就保持了統(tǒng)一。當(dāng)前,數(shù)字電視已經(jīng)逐步取代了模擬電視,被廣大用戶所接受。音視頻編解碼技術(shù)是數(shù)字電視技術(shù)的核心,圖像和聲音的數(shù)字化處理與傳輸取得突破性進(jìn)展也正是其得以普及的重要原因。但在數(shù)字電視系統(tǒng)中,圖像編碼的類型不同,圖像的復(fù)雜程度明顯變化,編碼后也很難形成同步脈沖,幀與幀之間的延遲恒定性被打破,這就迫切需要新的技術(shù)來為音視頻同步服務(wù)。
2影響音視頻同步的相關(guān)因素
音視頻數(shù)據(jù)自身的特性及其所處的環(huán)境是造成音視頻無法保持同步的重要原因。在現(xiàn)代數(shù)字電視系統(tǒng)中,發(fā)送端產(chǎn)生的音視頻數(shù)據(jù)需要通過一定的傳輸網(wǎng)絡(luò)才能為接收端所接受。而在信號傳輸?shù)倪^程中,音視頻數(shù)據(jù)的將會因一些特定的原因受到影響,從而導(dǎo)致音視頻數(shù)據(jù)被接收端接收時(shí)不能保持同步。具體來說,主要有如下幾個(gè)因素。
2.1延時(shí)抖動
延時(shí)抖動,是指數(shù)據(jù)信號從起點(diǎn)傳輸?shù)浇K點(diǎn)時(shí)發(fā)生的延時(shí)變化。在有線電視技術(shù)系統(tǒng)中,音視頻信號在很多部位都可能發(fā)生延時(shí)抖動。延時(shí)抖動對于音視頻數(shù)據(jù)信號的同步影響較大,將導(dǎo)致視頻和音頻數(shù)據(jù)流的內(nèi)部時(shí)序關(guān)系被打斷,二者之間的一致關(guān)系也被破壞。
2.2時(shí)鐘偏差
在無全局時(shí)鐘的情況下,由于物理因素而導(dǎo)致發(fā)送端的信源與接收端本地時(shí)鐘頻率存在偏差,而音視頻數(shù)據(jù)的播放是由接收端的本地時(shí)鐘驅(qū)動的,在一段時(shí)間之后,接收端就可能產(chǎn)生數(shù)據(jù)不足或溢出的現(xiàn)象,從而影響有線電視的收視效果。
2.3數(shù)據(jù)采集和傳輸時(shí)間偏差
當(dāng)音視頻信號源頭為多個(gè)信源的時(shí)候,信源必須保持同步采集和傳輸,否則,就會引起接收端信號的不同步現(xiàn)象。
2.4其他
音視頻信號在傳輸過程中由于受到影響,或者是有線電視網(wǎng)絡(luò)傳輸能力出現(xiàn)問題,都有可能造成信號丟失或者是時(shí)間邏輯關(guān)系混亂,導(dǎo)致音視頻無法同步。
3 MPEG-2壓縮編碼技術(shù)及其在數(shù)字電視中的應(yīng)用
MPEG-2 壓縮編碼技術(shù)是數(shù)字電視系統(tǒng)中的關(guān)鍵技術(shù)。MPEG,即活動圖像專家組英文表述的縮寫,Moving Picture Expert Group,MPEG-2是由ISO/IEC 信息技術(shù)聯(lián)合技術(shù)委員會1988年于制定的一種通用的活動圖像、伴音及其組合編碼的標(biāo)準(zhǔn)。這一標(biāo)準(zhǔn)支持較高范圍內(nèi)的圖像分辨率。MPEG-2壓縮編碼技術(shù)在數(shù)字電視技術(shù)體系中有重要地位。數(shù)字電視,是將原有的模擬信號轉(zhuǎn)換為數(shù)字信號,再經(jīng)過 MPEG-2壓縮編碼形成數(shù)字信號源,并在電視傳輸網(wǎng)絡(luò)上進(jìn)行傳輸,用戶接收端在模擬電視機(jī)上安裝一個(gè)可以機(jī)頂盒,再經(jīng)過調(diào)諧、QAM 解調(diào)、解擾等一系列處理后,將數(shù)字信號還原為模擬信號,最終實(shí)現(xiàn)用普通模擬電視來收看到高質(zhì)量數(shù)字電視節(jié)目的電視技術(shù)。
4 主要的音視頻同步算法
音視頻同步是指音頻、視頻在經(jīng)過存儲、處理、傳輸和播放等環(huán)節(jié)仍能維持同一的時(shí)間邏輯關(guān)系。這一時(shí)間邏輯關(guān)系是在獲取音視頻數(shù)據(jù)時(shí)同時(shí)確定的,并且要保持恒定,否則就會影響數(shù)字電視節(jié)目的播放質(zhì)量。目前,在MPEG-2標(biāo)準(zhǔn)下,以MPEG-2實(shí)時(shí)解碼技術(shù)為核心的音視頻同步算法主要操作方法有:
4.1恢復(fù)系統(tǒng)時(shí)鐘
針對因發(fā)送端與接收端時(shí)鐘不一致而導(dǎo)致的音視頻不同步現(xiàn)象,可以利用碼流中的PCR恢復(fù)系統(tǒng)時(shí)鐘的STC,進(jìn)而按照DTS和PTS所指示的時(shí)間解碼和播放音視頻幀,這樣音視頻就能保持同步。
4.2音視頻跟蹤技術(shù)
利用MPEG-2 軟件解碼器進(jìn)行解碼時(shí)可以采用這一方法。其中,音頻跟蹤技術(shù)主要是以音頻為主流媒體,視頻為從流媒體,在保持音頻的播放速率不變的基礎(chǔ)上,利用基于相同時(shí)間基點(diǎn)的數(shù)據(jù)單元的時(shí)間標(biāo)簽,通過調(diào)整視頻的播放幀率來實(shí)現(xiàn)音視頻同步。而視頻跟蹤技術(shù)中,就是以視頻為主流媒體,音頻為從流媒體,處理方法同上。
4.3其他
除上述方法之外,還可以將音頻信號,嵌入到視頻的傳輸系數(shù)中,再將這種混合了音視頻的數(shù)據(jù)一起進(jìn)行編碼。接收端接收到數(shù)據(jù)信息之后,先從混合信號中提取出隱藏的音頻信息,再利用解碼器進(jìn)行解碼,這時(shí)就可以實(shí)現(xiàn)音視頻信號的同步播放。
當(dāng)前,數(shù)字電視已成為廣播電視主要播出時(shí)所采用的主要形式,數(shù)字電視高質(zhì)量傳輸和播出的重要標(biāo)志就是音視頻同步。音視頻同步具體是指音視頻信號經(jīng)過信號存儲、轉(zhuǎn)換、傳輸、信號還原之后,在被播出時(shí)能夠保持一致。MPEG-2是適用于廣播電視技術(shù)圖像及語音同步的編碼標(biāo)準(zhǔn),針對造成音視頻信號不能同步的因素,制定有效方案來實(shí)現(xiàn)音視頻同步,為廣大用戶提供更高質(zhì)量的有線數(shù)字電視播放服務(wù)。
篇7
【關(guān)鍵詞】TCP/IP;delphi6.0;SQLserver 2000
【Abstract】The designand implementation of LAN communication tool have been proposrd. The system was designed in delphi 6.0 and stored data in SQLserver 2000.The transmission form of TCP and UDP and C/S structure were used in the design.At last,the function just as user registration and login,the display and find between friends,the text chat,the voice and video chat were achived.
【Key words】TCP/IP;delphi6.0;SQLserver 2000
0 引言
隨著全球信息化進(jìn)程的不斷發(fā)展,越來越多的企業(yè)使用局域網(wǎng)來管理各種事務(wù)。但隨著局域網(wǎng)的機(jī)器增多,軟件的應(yīng)用對局域網(wǎng)的信息吞吐、處理能力的要求也越高。為解決上述矛盾,就有必要設(shè)計(jì)一個(gè)在局域網(wǎng)里的ICQ,通過該系統(tǒng),進(jìn)行文件傳輸,消息的,提高企業(yè)的工作效率。
1 需求分析
該系統(tǒng)基于TCP/IP網(wǎng)絡(luò)協(xié)議,采用C/S模式,服務(wù)器端與數(shù)據(jù)庫連接,客戶端安裝在不同電腦上可通過同一服務(wù)器實(shí)現(xiàn)數(shù)據(jù)通訊。實(shí)現(xiàn)的功能如下:
(1)用戶注冊,隨機(jī)分配號碼并填寫個(gè)人信息;
(2)用戶登入驗(yàn)證并導(dǎo)出好友列表;
(3)能夠查找好友并認(rèn)證后加為好友;
(4)文字聊天,聊天記錄保存;
(5)點(diǎn)對點(diǎn)文件傳輸功能;
(6)視頻語音捕獲與傳輸(視頻語音聊天功能)。
2 詳細(xì)設(shè)計(jì)
2.1 概要設(shè)計(jì)
本課題在研究和分析計(jì)算機(jī)TCP/IP網(wǎng)絡(luò)協(xié)議基礎(chǔ)上,在不同計(jì)算機(jī)之間實(shí)現(xiàn)數(shù)據(jù)通訊。采用TCP和UDP傳輸方式,編寫客戶端與服務(wù)器端網(wǎng)絡(luò)軟件??蛻粝蚍?wù)器發(fā)出服務(wù)請求,服務(wù)器作出應(yīng)答響應(yīng),服務(wù)器監(jiān)聽客戶發(fā)出的請求,當(dāng)客戶提出連接請求后,服務(wù)器作出應(yīng)答,并為客戶提供相應(yīng)的服務(wù)。
本系統(tǒng)前臺使用Delphi6.0進(jìn)行設(shè)計(jì),后臺運(yùn)用Sql Server 2000進(jìn)行數(shù)據(jù)管理。
2.2 方案設(shè)計(jì)
該即時(shí)通的工作過程如下:當(dāng)服務(wù)器開啟時(shí),用戶從客戶端登錄,通過TCP/IP網(wǎng)絡(luò)將輸入的帳號和密碼傳到服務(wù)器,服務(wù)器從數(shù)據(jù)庫中對應(yīng)的數(shù)據(jù)表查找驗(yàn)證,若驗(yàn)證錯(cuò)誤,返回錯(cuò)誤提示信息;若驗(yàn)證通過,則登錄QQ主頁面。在進(jìn)入主頁面后,用戶可通過輸入對方QQ號查找其他用戶且加對方為好友。兩用戶可通過點(diǎn)對點(diǎn)通訊實(shí)現(xiàn)文字聊天,語音視頻聊天,文件傳輸?shù)取?/p>
2.3 系統(tǒng)數(shù)據(jù)表設(shè)計(jì)
本系統(tǒng)使用SQL Server 2000設(shè)計(jì)后臺數(shù)據(jù)庫,共設(shè)計(jì)了兩張數(shù)據(jù)表:用戶信息表和好友信息表。
用戶信息數(shù)據(jù)表用于儲存注冊用戶的信息,存儲的信息包括:用戶QQ號(主鍵)、用戶密碼、用戶昵稱、性別、是否在線(1為在線,0為不在)、用戶上線地址、國籍、省份、城市等。
好友信息數(shù)據(jù)表,主要用于添加用戶好友信息,用戶登錄時(shí)調(diào)用相關(guān)信息并顯示。存儲的信息包括:用戶QQ號、好友QQ號、好友是否在線、好友在線地址、好友昵稱。
2.4 詳細(xì)模塊設(shè)計(jì)及功能實(shí)現(xiàn)
客戶端包括七個(gè)模塊:
(1)登錄模塊:此模塊實(shí)現(xiàn)客戶端與服務(wù)器連接,用戶登錄時(shí)驗(yàn)證身份,驗(yàn)證通過則進(jìn)入QQ主頁面模塊,并調(diào)取好友信息顯示。
(2)主頁面模塊:用戶在登錄模塊驗(yàn)證身份通過后,從服務(wù)器調(diào)取好友信息,并在QQ主頁面上顯示。
(3)查找模塊:該模塊用于用戶查找好友,輸入對方帳號查找對方信息,并加為好友,與服務(wù)器連接并修改數(shù)據(jù)表的內(nèi)容,在主頁面上添加上新好友。
(4)文字聊天模塊:此模塊實(shí)現(xiàn)用戶間的點(diǎn)對點(diǎn)聊天,兩客戶端通過UDP連接,發(fā)送和接收文字信息,實(shí)現(xiàn)局域網(wǎng)文字聊天。
(5)文件傳輸模塊:此模塊實(shí)現(xiàn)兩客戶端點(diǎn)對點(diǎn)文件傳輸,圖片,文本文檔及壓縮包等均可傳輸。
(6)語音視頻聊天模塊:此模塊實(shí)現(xiàn)了語音和視頻的捕獲以及點(diǎn)對點(diǎn)傳輸功能。
服務(wù)器端根據(jù)功能要求可分為以下三個(gè)模塊:
(1)服務(wù)器監(jiān)聽模塊:用于回應(yīng)客戶端請求,包括登錄回應(yīng),注冊回應(yīng),調(diào)用好友信息回應(yīng)等。
(2)遠(yuǎn)程截圖模塊:此模塊實(shí)現(xiàn)服務(wù)器端從上線的客戶端獲取IP地址后截取對方屏幕顯示。
(3)查詢模塊:此模塊實(shí)現(xiàn)服務(wù)器端訪問數(shù)據(jù)庫并查詢數(shù)據(jù)庫信息。分為綜合查詢和詳細(xì)查詢功能。
3 系統(tǒng)程序的總體設(shè)計(jì)與實(shí)現(xiàn)
本系統(tǒng)軟件采用模塊化結(jié)構(gòu),由用戶登錄程序、用戶注冊程序、好友信息顯示程序、好友查找程序、文字聊天程序、文件傳輸程序等子程序構(gòu)成。其中,文件傳輸,語音視頻聊天模塊都具有獨(dú)立性,可在單獨(dú)設(shè)計(jì)后加入到整個(gè)系統(tǒng)中,其余各模塊間需要服務(wù)器客戶端相互連接同時(shí)調(diào)試才可實(shí)現(xiàn)。服務(wù)器端首先開啟運(yùn)行,在和客戶端相互通訊實(shí)現(xiàn)基本功能。
4 結(jié)束語
本系統(tǒng)基于Delphi6.0和Sql Server 2000的運(yùn)用,在研究和分析計(jì)算機(jī)TCP/IP網(wǎng)絡(luò)協(xié)議基礎(chǔ)上,實(shí)現(xiàn)不同計(jì)算機(jī)之間的數(shù)據(jù)通訊。采用C/S結(jié)構(gòu),實(shí)現(xiàn)在功能有:用戶的注冊和登錄,好友的顯示和查找,好友文字、語音視頻聊天,文件傳輸?shù)取?/p>
【參考文獻(xiàn)】
篇8
1、打開電腦,通過”設(shè)備管理器”確定電腦的攝像頭是否連接正確。
2、登陸QQ,單擊左下角的“設(shè)置”。
3、在彈出的系統(tǒng)設(shè)置對話框中,找到“音視頻選項(xiàng)”里面的“視頻設(shè)置”。
4、在彈出的語音視頻對話框內(nèi)選擇“視頻設(shè)備”。
5、選擇“禁用攝像頭”,單擊“確定”保存。
篇9
隨著現(xiàn)代科技的發(fā)展,網(wǎng)絡(luò)已經(jīng)深入到大學(xué)生日常生活的方方面面,各種數(shù)碼產(chǎn)品(如手機(jī)、電腦、平板電腦等)在大學(xué)生的生活中得到了廣泛使用。目前,我國大學(xué)英語聽說教學(xué)存在費(fèi)時(shí)、低效的問題,這是英語教學(xué)界的共識,學(xué)生普遍反映學(xué)習(xí)興趣不高、效率低下。順應(yīng)網(wǎng)絡(luò)時(shí)代的發(fā)展,合理有效地利用網(wǎng)絡(luò)資源輔助大學(xué)英語聽說教學(xué),可以建造真實(shí)而栩栩如生的英語語言學(xué)習(xí)和使用環(huán)境,提高學(xué)生的學(xué)習(xí)興趣和效率。
一、影響大學(xué)生聽力和口語能力提高的因素分析
(一)英語學(xué)習(xí)和使用機(jī)會缺乏
學(xué)生在日常生活中接觸和使用英語的機(jī)會有限,多數(shù)學(xué)生除了有限的課堂學(xué)習(xí)外,很少有機(jī)會接觸和使用英語。即使在有限的課堂教學(xué)時(shí)間內(nèi),由于班級人數(shù)多,教學(xué)任務(wù)緊,每個(gè)學(xué)生能得到聽說練習(xí)的機(jī)會也是有限的。語言學(xué)習(xí)及使用環(huán)境的缺乏,導(dǎo)致學(xué)生并不能真實(shí)地體會到英語的用途和重要性,學(xué)習(xí)的主動性和興趣不高,很難堅(jiān)持學(xué)下去。
(二)語音語調(diào)不夠清楚
由于語音語調(diào)不夠清楚和準(zhǔn)確,導(dǎo)致學(xué)生在用英語交流時(shí),很難與對方進(jìn)行有效溝通和交流,因此缺乏使用英語進(jìn)行交流的興趣和信心。
(三)語言和文化習(xí)俗的差異
英語的產(chǎn)生和使用與其賴以生存的歷史文化背景和社會環(huán)境息息相關(guān),有其固有的、約定俗成的被人們普遍接受和認(rèn)可的表達(dá)方式和習(xí)慣用語。如果學(xué)生對語言中反映的社會和歷史文化背景信息不熟悉、不了解,很容易出現(xiàn)每個(gè)詞匯都認(rèn)識,卻不明白句子和文章整體含義的狀況。
(四)傳統(tǒng)大學(xué)英語聽說教學(xué)設(shè)計(jì)不夠合理
在目前的課堂教學(xué)體系下,大學(xué)英語聽說教學(xué)訓(xùn)練主要以應(yīng)對考試為目的,所使用的練習(xí)材料多根據(jù)考試需要進(jìn)行設(shè)計(jì)和選擇,不夠真實(shí)和生活化。學(xué)生缺乏在真實(shí)交際環(huán)境中學(xué)習(xí)和使用英語的訓(xùn)練,聽說能力難以得到提高。
二、網(wǎng)絡(luò)資源輔助大學(xué)英語聽說教學(xué)模式設(shè)計(jì)
(一)課前網(wǎng)絡(luò)資源的搜集和介紹李萌濤(2001:66)認(rèn)為,語言學(xué)習(xí)應(yīng)該采用立體輸入的方式,教師課堂教學(xué)采用圖、文、聲、像等立體語言輸入方式教學(xué),可以使教學(xué)形象化、多樣化、生動化,突出重點(diǎn)、提高學(xué)生的學(xué)習(xí)興趣和記憶力。
1.教師課前根據(jù)單元主題,建議或指定學(xué)生上網(wǎng)搜集相關(guān)內(nèi)容資源并學(xué)習(xí)如在學(xué)習(xí)到網(wǎng)絡(luò)愛情主題時(shí),可要求學(xué)生課前觀看《電子情緣》等相關(guān)電影,并做好在課內(nèi)針對已看電影發(fā)表自己看法和觀點(diǎn)的準(zhǔn)備。教師也可以向?qū)W生提供課文的相關(guān)音視頻材料,并提出重點(diǎn)觀看內(nèi)容和相關(guān)討論題目;要求學(xué)生在掌握課文重點(diǎn)詞匯和表達(dá)方式的基礎(chǔ)上,觀看教師提供的音視頻材料,同時(shí)注意觀察和標(biāo)注其在教師所給音視頻中的使用情況,并加以模仿和學(xué)習(xí)。
2.教師利用網(wǎng)絡(luò)搜集或推薦與學(xué)生專業(yè)相關(guān)的英文音視頻,學(xué)生將其作為課后學(xué)習(xí)材料進(jìn)行學(xué)遲,謝小苑(2013:77)認(rèn)為對學(xué)生學(xué)習(xí)和生活影響度比較高的學(xué)習(xí)材料更能激發(fā)學(xué)習(xí)者的主觀能動性和學(xué)習(xí)興趣。如在大學(xué)英語聽說教學(xué)中針對所教的餐飲管理專業(yè)的學(xué)生,為其推薦了網(wǎng)易公開課中的《保羅教你做面包》等系列餐飲教學(xué)節(jié)目。通過課余觀看和課堂分享討論,學(xué)生不僅學(xué)到了與其專業(yè)相關(guān)的知識,而且英語使用能力和聽說能力也得到了較大提高。同時(shí),由于與其所學(xué)專業(yè)有關(guān),學(xué)生的學(xué)習(xí)興趣也比較高。黃慧,陳兢(2011:3)研究表明,在真實(shí)的語言環(huán)境中學(xué)習(xí),學(xué)生對語言的使用和把握才會完整和有意義。英文影視片可以從不同角度,鮮明而直接地反映和表達(dá)以英語為母語的國家對英語語言在不同階層、職業(yè)、場景和社會背景下的使用和把握。觀看英文影視作品就是對所學(xué)語言的使用和練習(xí),在充滿興趣和樂趣的觀看中,學(xué)生不僅可以觀察和學(xué)習(xí)所學(xué)詞匯和表達(dá)方式的地道標(biāo)準(zhǔn)使用方式和場景,也更有利于學(xué)生對英語文化習(xí)俗和表達(dá)方式的理解和記憶。
3.建立班級和小組的交流微信群,為學(xué)生提供使用英語進(jìn)行交流和分享的機(jī)會學(xué)生由小組長負(fù)責(zé)課堂前后的分組學(xué)習(xí)和討論。小組討論學(xué)習(xí)要注意組員間的互相學(xué)習(xí)和協(xié)作,并把每名學(xué)生都融入到英語小組的學(xué)習(xí)和討論中,發(fā)揮個(gè)人的積極性和主動性。
(二)課堂教學(xué)組織
1.學(xué)生課堂的匯報(bào)討論
課堂匯報(bào)討論是對學(xué)生語言使用能力的培養(yǎng)和檢測。蔣蘇琴(2010:3)指出,行為只有在真實(shí)的語言環(huán)境中才能成功實(shí)施,并且實(shí)現(xiàn)說話人的意向目的。首先,由教師從每組學(xué)生中任意抽取一名學(xué)生代表本組作資料搜集和話題討論的匯報(bào)和展示,完成后組織其他學(xué)生就匯報(bào)內(nèi)容進(jìn)行提問和討論。教師要對學(xué)生課前小組討論提出明確的目標(biāo)和要求,并指定專人負(fù)責(zé)實(shí)施。課堂小組討論中,教師應(yīng)密切關(guān)注各組討論情況,在必要時(shí)給學(xué)生以具體的指導(dǎo)和幫助。課堂練習(xí)應(yīng)注重語言交際目標(biāo)的實(shí)現(xiàn),而不是糾結(jié)于學(xué)生語言使用的細(xì)枝末節(jié)。學(xué)生在課堂討論發(fā)言中出現(xiàn)語法和語言使用錯(cuò)誤時(shí),如果任課教師或其他班級同學(xué)直接打斷,當(dāng)場指出其所犯的錯(cuò)誤,不僅達(dá)不到教學(xué)效果,還會對學(xué)生英語學(xué)習(xí)和參與課堂討論的興趣和積極性產(chǎn)生影響。
2.教師的總結(jié)講解
首先,學(xué)生討論發(fā)表完自己對課堂給定學(xué)習(xí)任務(wù)的認(rèn)識和見解后,任課教師應(yīng)當(dāng)場及時(shí)對學(xué)生的語言使用掌握情況和課堂表現(xiàn)作出鼓勵性評價(jià),以期能夠強(qiáng)化和加強(qiáng)學(xué)生學(xué)習(xí)英語的興趣和信心。其次,教師可以指出學(xué)生在課堂練習(xí)中出現(xiàn)的有代表性的錯(cuò)誤,并作出規(guī)范使用的示范和講解。最后,教師應(yīng)該帶領(lǐng)學(xué)生歸納和總結(jié)本單元的重要詞匯、表達(dá)方式及其在課文和相關(guān)音視頻中的使用情況。同時(shí),對學(xué)生所使用的音視頻材料和課文中所體現(xiàn)的文化背景知識作出提示和說明。
(三)課后學(xué)習(xí)
1.語音語調(diào)的不斷學(xué)習(xí)與提高
語音語調(diào)的學(xué)習(xí)和掌握,對成功有效地使用英語進(jìn)行口語交流必不可少。學(xué)生在課后不斷聽并模仿自己感興趣或教師提供的課文相關(guān)網(wǎng)絡(luò)音視頻材料,可以彌補(bǔ)大多數(shù)學(xué)生缺乏與以英語為母語者進(jìn)行英語交流的不足。不僅可以提高和維持英語學(xué)習(xí)興趣,還可以改善和提高語音語調(diào)水平。英語魔方秀等應(yīng)用軟件可以有效地幫助學(xué)生在提高英語學(xué)習(xí)趣味性的同時(shí)改善自己的語音語調(diào)。
2.學(xué)生英語興趣的維持與提高
微信除了可以使用圖文交流信息外,還可以使用音視頻與多人同時(shí)在線交流溝通,在大學(xué)生中得到廣泛使用。微信群等網(wǎng)絡(luò)及時(shí)通訊交流工具,使教師和學(xué)生以及學(xué)生相互間的學(xué)習(xí)和交流變得更加方便、及時(shí)。教師可利用網(wǎng)絡(luò)組織建立課程學(xué)習(xí)交流群組并與教學(xué)相關(guān)的音視頻資料,學(xué)生可以在其中與大家交流其所觀看和學(xué)習(xí)的網(wǎng)絡(luò)英語音視頻的觀點(diǎn)和看法,推薦與課程學(xué)習(xí)目標(biāo)相一致的學(xué)習(xí)資源。學(xué)生可以采取匿名的方式,加入到課程學(xué)習(xí)交流群中,避免了面對面交流的尷尬和不自信。教師可使用Skype等網(wǎng)絡(luò)及時(shí)通信工具,邀請以英語為母語者來到課堂與學(xué)生通過網(wǎng)絡(luò)在線交流,并就學(xué)生感興趣的問題作出解答,提高學(xué)生對英語學(xué)習(xí)的興趣以及使用英語進(jìn)行交流的信心。鼓勵學(xué)生課后利用網(wǎng)絡(luò)及時(shí)通信工具與以英語為母語者進(jìn)行交流,獲得真實(shí)的語言使用體驗(yàn)。
3.教師課后的教學(xué)反思
教師課后要及時(shí)分析學(xué)生和自己在課堂上的優(yōu)缺點(diǎn)表現(xiàn)以及影響因素,定期檢查學(xué)生課外音視頻資源觀看和使用情況,并通過反饋信息及時(shí)調(diào)整教學(xué)內(nèi)容、方式和進(jìn)度。
三、結(jié)語
合理利用網(wǎng)絡(luò)資源輔助大學(xué)英語聽說教學(xué)既符合語言習(xí)得規(guī)律,又順應(yīng)時(shí)展潮流,并能有效地提高學(xué)生英語聽說的興趣和效率。同時(shí)也應(yīng)該意識到只有在教師的精心準(zhǔn)備和選擇下,與教師的課堂教學(xué)合理有效結(jié)合,網(wǎng)絡(luò)資源才能更好地服務(wù)于大學(xué)英語聽說教學(xué)。
參考文獻(xiàn):
[1]李萌濤.多媒體投影英語課堂教學(xué)初探[J].外語界,2001,(3):64—68.
[2]李遲,謝小苑.大學(xué)英語網(wǎng)絡(luò)教學(xué)模式構(gòu)建研究[J].外語電化教學(xué),2013,(1):77.
篇10
微信的優(yōu)勢之一,就是它的方便,只要有網(wǎng)絡(luò),語音視頻更是省了電話費(fèi)的錢。
我以前使用微信,大多是使用文字,很少去使用語音。
一個(gè)是覺得語音畢竟是有聲音的,接收的人如果在安靜的環(huán)境下收聽還好,要是在人多的地方,一個(gè)是不太方便,總不能一直把手機(jī)往耳邊湊吧,還有一個(gè)如果是嘈雜的地方,那聲音也會聽不清。
所以,自己不愛用語音,對于別人總愛發(fā)語音也有點(diǎn)反感。
可是漸漸地我改變了這個(gè)想法。
一個(gè)是語音的設(shè)計(jì),這個(gè)讓一些以前讀書少,或者只會聽普通話卻不會寫字的,甚至是一些只會方言的人,可以直接用語音就聊天。
還有一個(gè)是,有一回我自己也發(fā)了語音,很多人都有一個(gè)習(xí)慣,就是發(fā)完語音后會回聽一下自己剛才講的話。
正是那一下回聽,讓我聽到了自己在講話時(shí)的聲調(diào)語氣。
那天剛好是有人請教我問題,在我看來我的語氣還算平和,可是當(dāng)我回聽自己的聲音時(shí)竟然聽出了一絲的不耐而且語氣有些沖。
原來,自己平時(shí)講話是這樣的?
熱門標(biāo)簽
語音識別技術(shù) 語音 語音實(shí)訓(xùn)總結(jié) 語音教學(xué) 語音室 心理培訓(xùn) 人文科學(xué)概論