大數(shù)據(jù)量解決方案范文

時(shí)間:2023-03-15 14:26:26

導(dǎo)語(yǔ):如何才能寫好一篇大數(shù)據(jù)量解決方案,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公文云整理的十篇范文,供你借鑒。

篇1

“存儲(chǔ)是大數(shù)據(jù)的重點(diǎn),我們需要做的就是發(fā)揮自身優(yōu)勢(shì),瞄準(zhǔn)大數(shù)據(jù),為存儲(chǔ)行業(yè)上下游合作伙伴提供更好、更專業(yè)的營(yíng)銷服務(wù)?!眹?guó)內(nèi)市場(chǎng)領(lǐng)先的專業(yè)IT分銷商長(zhǎng)虹佳華信息產(chǎn)品有限責(zé)任公司(簡(jiǎn)稱長(zhǎng)虹佳華)董事總裁祝劍秋對(duì)企業(yè)的增值分銷業(yè)務(wù)有著清晰的定位。

產(chǎn)品與方案:

集聚業(yè)界最強(qiáng)資源

正如很多業(yè)內(nèi)專家所說(shuō)的那樣,存儲(chǔ)和安全是大數(shù)據(jù)迫切需要考慮的首要問(wèn)題。

從海量數(shù)據(jù)產(chǎn)生的角度,以前數(shù)據(jù)量都是以GB或者TB記的量級(jí)。但如今,情況發(fā)生了改變,過(guò)去可能多年才能累計(jì)產(chǎn)生的數(shù)據(jù)量,現(xiàn)在可能只用很短時(shí)間就會(huì)積累起來(lái),一些單位每年產(chǎn)生的數(shù)據(jù)量就可能達(dá)到幾十TB,甚至不久的將來(lái)就會(huì)升級(jí)到PB級(jí)的數(shù)據(jù)量,將會(huì)占用越來(lái)越多的存儲(chǔ)空間。

在解決海量數(shù)據(jù)的存儲(chǔ)問(wèn)題的同時(shí),企業(yè)還必須要解決數(shù)據(jù)的安全性和可靠性等問(wèn)題。所謂數(shù)據(jù)的安全性是指數(shù)據(jù)在任何情況下的可訪問(wèn)性,不會(huì)因?yàn)槿藶榛蜃匀坏囊蛩貙?dǎo)致數(shù)據(jù)不可訪問(wèn);數(shù)據(jù)的可靠性意味著即便是在極端情況下,數(shù)據(jù)發(fā)生損壞或丟失,仍有數(shù)據(jù)可被恢復(fù)或直接訪問(wèn)。

顯然,解決這些問(wèn)題必須要靠質(zhì)量過(guò)硬的產(chǎn)品與解決方案。為此,長(zhǎng)虹佳華近年來(lái)持續(xù)在云計(jì)算安全和大數(shù)據(jù)方面進(jìn)行探索和投入,并且取得了很大成果:

在產(chǎn)品方面,長(zhǎng)虹佳華以存儲(chǔ)和服務(wù)器類產(chǎn)品為主,涵蓋HDS、博科、昆騰、EMC、IBM等十余家全球知名、領(lǐng)先的數(shù)據(jù)存儲(chǔ)業(yè)務(wù)服務(wù)商;在解決方案方面,長(zhǎng)虹佳華幫助商為多種特定的行業(yè)用戶提供行業(yè)解決方案,并且可以針對(duì)用戶的不同需求提供定制化的解決方案,從而更加凸顯了長(zhǎng)虹佳華的綜合實(shí)力;

在服務(wù)方面,長(zhǎng)虹佳華并不僅僅重視售后服務(wù),而是為用戶提供包括培訓(xùn)、環(huán)境測(cè)試、技術(shù)支持在內(nèi)的售前、售中、售后的一站式服務(wù)。以存儲(chǔ)產(chǎn)品為主導(dǎo)構(gòu)建增值業(yè)務(wù)群,如今已成為長(zhǎng)虹佳華的既定戰(zhàn)略。

近幾年來(lái),長(zhǎng)虹佳華在原有合作伙伴的基礎(chǔ)上,進(jìn)一步與賽門鐵克、Radware、博世、邁普等國(guó)內(nèi)外知名品牌緊密合作,集聚了強(qiáng)大的產(chǎn)品與解決方案資源,整體解決方案能力和產(chǎn)品組合能力大大增強(qiáng),進(jìn)一步提升了長(zhǎng)虹佳華“以數(shù)據(jù)為核心”的增值分銷業(yè)務(wù)的服務(wù)能力。

CDSClub與云計(jì)算體驗(yàn)

暨培訓(xùn)中心:為數(shù)據(jù)安家

CDSClub與云計(jì)算體驗(yàn)暨培訓(xùn)中心,一直是長(zhǎng)虹佳華享譽(yù)存儲(chǔ)分銷行業(yè)的代表之作。CDSClub一方面從技術(shù)整合出發(fā),另一方面從渠道伙伴支持出發(fā),兩者相結(jié)合,就為大數(shù)據(jù)的應(yīng)用與銷售安下了最好的“家”。

CDSClub是從長(zhǎng)虹佳華成功運(yùn)作數(shù)年的SANClub升級(jí)而來(lái),其主要功能是給特定的行業(yè)提供定制化的數(shù)據(jù)方案。升級(jí)后的CDSClub并不是僅僅局限于SAN架構(gòu)一種主流技術(shù),而是實(shí)現(xiàn)了跨平臺(tái)的技術(shù)整合,使最終的數(shù)據(jù)方案更貼近實(shí)際應(yīng)用,服務(wù)更統(tǒng)一,并且更有針對(duì)性。同時(shí),方案的適用性也得到了極大提高。

目前處于國(guó)內(nèi)領(lǐng)先地位的長(zhǎng)虹佳華云計(jì)算體驗(yàn)暨培訓(xùn)中心,為渠道合作伙伴的數(shù)據(jù)方案、系統(tǒng)集成提供了演示、測(cè)試的廣闊平臺(tái),對(duì)于渠道合作伙伴需要的不同產(chǎn)品組合應(yīng)用測(cè)試、各類定制方案演示等都可輕松實(shí)現(xiàn),是對(duì)渠道技術(shù)需求的極大補(bǔ)充支持。同時(shí),該中心還充當(dāng)起長(zhǎng)虹佳華對(duì)合作伙伴及行業(yè)客戶進(jìn)行技術(shù)培訓(xùn)、資質(zhì)認(rèn)證以及設(shè)備服務(wù)的支持平臺(tái)角色。

大數(shù)據(jù)浪潮正洶涌來(lái)襲,與互聯(lián)網(wǎng)領(lǐng)域其他變革一樣,這絕不僅僅是一場(chǎng)信息技術(shù)領(lǐng)域的革命,更是在全球范圍內(nèi)加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的利器?,F(xiàn)代管理學(xué)之父德魯克有言:預(yù)測(cè)未來(lái)最好的方法,就是去創(chuàng)造未來(lái)。瞄準(zhǔn)大數(shù)據(jù)的存儲(chǔ)業(yè)務(wù),長(zhǎng)虹佳華正在向最強(qiáng)營(yíng)銷服務(wù)提供商邁進(jìn)……

分銷業(yè)務(wù)業(yè)績(jī)驕人

長(zhǎng)虹佳華信息產(chǎn)品有限責(zé)任公司(即長(zhǎng)虹IT)的實(shí)際控制人為品牌價(jià)值為786.75億元、凈資產(chǎn)約100億元的四川長(zhǎng)虹。長(zhǎng)虹佳華擁有長(zhǎng)虹的資本、制造優(yōu)勢(shì)以及長(zhǎng)虹佳華自身在IT領(lǐng)域的產(chǎn)業(yè)優(yōu)勢(shì)和獨(dú)特的團(tuán)隊(duì)文化,是長(zhǎng)虹IT產(chǎn)業(yè)的旗艦和支柱企業(yè)。

篇2

以在能源行業(yè)中占據(jù)重要地位的石油企業(yè)為例。中國(guó)石油集團(tuán)東方地球物理勘探公司研究院數(shù)據(jù)中心目前就部署了基于英特爾架構(gòu)的整套端到端的解決方案,依賴英特爾的至強(qiáng)、至強(qiáng)融核、固態(tài)盤、高速互聯(lián)技術(shù),及它們與Lustre、Hadoop等軟件的有力結(jié)合,石油勘探能效明顯提升。東方地球物理公司研究院處理總中心總工程師賴能和在接受本報(bào)記者采訪時(shí)說(shuō):“IT技術(shù)創(chuàng)新與油氣勘探的主要結(jié)合點(diǎn)在于地震波勘探法,它可以對(duì)人工制造和收集回的地震波進(jìn)行處理,并將之轉(zhuǎn)化成可視化的油藏模擬圖像,幫助準(zhǔn)確定位油氣田的儲(chǔ)藏。這一過(guò)程不僅要依賴能精準(zhǔn)收集數(shù)據(jù)的前端傳感探測(cè)設(shè)備,而且其產(chǎn)生的TB級(jí)、PB級(jí)海量數(shù)據(jù),也需要借助高性能計(jì)算技術(shù)進(jìn)行快速處理,獲取洞察?!?/p>

從2011年開(kāi)始,賴能和團(tuán)隊(duì)發(fā)現(xiàn)數(shù)據(jù)量開(kāi)始快速增長(zhǎng),而且隨著采集技術(shù)的快速發(fā)展,截至目前的數(shù)據(jù)量比2013年增長(zhǎng)了3倍。在談到HPC下一步在石油行業(yè)應(yīng)用的未來(lái)發(fā)展趨勢(shì)時(shí),賴能和總結(jié)了以下幾點(diǎn)趨勢(shì):“一、基于多核CPU+協(xié)處理器模式會(huì)成為主要的應(yīng)用平臺(tái)。二、高速網(wǎng)絡(luò),主要是基于萬(wàn)兆、4萬(wàn)兆和10萬(wàn)兆的網(wǎng)絡(luò)會(huì)成為主流。三、存儲(chǔ)方面,主要會(huì)在高性能、高可用性、可管理性、穩(wěn)定性這塊的挑戰(zhàn)會(huì)更大。四、數(shù)據(jù)傳輸時(shí)間方面要求更高。五、綠色機(jī)房建設(shè)技術(shù),主要是在節(jié)能制冷方面會(huì)有新技術(shù)出現(xiàn)。”而這其中,賴能和認(rèn)為還需同步解決更高要求HPC的配置問(wèn)題,需要更加穩(wěn)定的大規(guī)模的并行處理系統(tǒng)。

密度海量數(shù)據(jù)處理已經(jīng)成為油氣勘探的趨勢(shì),大數(shù)據(jù)成為常態(tài),所以需要更大規(guī)模的計(jì)算資源。對(duì)此,龔毅敏表示:“英特爾在大數(shù)據(jù)方面已經(jīng)具備了的解決問(wèn)題的能力。在此之前英特爾中國(guó)研發(fā)了自己的大數(shù)據(jù)分析平臺(tái)Hadoop的產(chǎn)品IDH,并且在今年年初又與Hadoop的服務(wù)和軟件供應(yīng)商Cloudera達(dá)成戰(zhàn)略合作,并面向中國(guó)用戶開(kāi)發(fā)推出了針對(duì)客戶推廣了融合版本Hadoop產(chǎn)品CDH。但是結(jié)合到具體不同的行業(yè),我們會(huì)與合作伙伴一起,針對(duì)用戶的具體它的應(yīng)用場(chǎng)景做更多深度合作和技術(shù)的合作點(diǎn)的挖掘?!?/p>

除此之外,在端到端中新興的物聯(lián)網(wǎng)端,英特爾提供了在性能、功耗和功能上具備多樣化特點(diǎn)的產(chǎn)品組合,包括了至強(qiáng)、酷睿和凌動(dòng)產(chǎn)品線,既有傳統(tǒng)的處理器,也有集成了更多功能的系統(tǒng)芯片(SoC)。還有去年的以Quark為代表的開(kāi)放微架構(gòu),將有望大大提升能源行業(yè)專用智能物聯(lián)網(wǎng)設(shè)備開(kāi)發(fā)和應(yīng)用的速度。

篇3

>> 一種基于XML的電子訂單安全方案 ESP:大數(shù)據(jù)時(shí)代科學(xué)教育整合的一種解決方案 一種面向航天領(lǐng)域的實(shí)時(shí)數(shù)據(jù)處理框架研究 一種適合于大數(shù)據(jù)集處理的混合EM算法 一種面向制造的EBOM構(gòu)建方案 一種海量數(shù)據(jù)處理平臺(tái)的解決方案 一種面向電力在線監(jiān)測(cè)系統(tǒng)的嵌入式數(shù)據(jù)處理平臺(tái)設(shè)計(jì) 一種靈活的WEB數(shù)據(jù)導(dǎo)出方案 一種基于文件緩沖方式的操作大數(shù)據(jù)量數(shù)據(jù)的方法 一種數(shù)據(jù)穩(wěn)健光滑的處理方法 一種分布式大數(shù)據(jù)的數(shù)據(jù)安全管控策略研究 一種大數(shù)據(jù)智能分析平臺(tái)的數(shù)據(jù)分析方法及實(shí)現(xiàn)技術(shù) 一種面向媒體網(wǎng)關(guān)的平臺(tái)軟件解決方案 一種面向LTE基站的SOC平臺(tái)軟件解決方案 一種面向Web3D的大規(guī)模場(chǎng)景實(shí)時(shí)繪制方案 一種面向就業(yè)的計(jì)算機(jī)專業(yè)培養(yǎng)計(jì)劃改革方案 一種面向商業(yè)智能的數(shù)據(jù)挖掘體系結(jié)構(gòu)的應(yīng)用研究 大數(shù)據(jù):另一種國(guó)家核心資源 一種面向醫(yī)療機(jī)構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用架構(gòu) 一種面向?qū)@墨I(xiàn)數(shù)據(jù)的文本自動(dòng)分類方法 常見(jiàn)問(wèn)題解答 當(dāng)前所在位置:l, 2014.11.16.

[2]新華網(wǎng)財(cái)經(jīng)頻道. 2014年零售百?gòu)?qiáng)銷售規(guī)模同比增長(zhǎng)26.2%,天貓居榜首[N]. http:///fortune/2015-07/09/c_1115875315.htm, 2015.7.9.

[3]百度百家. 2015年電商行業(yè)五大趨勢(shì)[N]. http:///article/42503, 2015.1.13.

[4]J. Dean, S. Ghemawat. MapReduce: simplified data processing on large clusters. Communications of the ACM [J], vol.51, no.1, pp.107-113, 2008.

[5]Hadoop. https:///.

篇4

那么,什么是下一代分析生態(tài)系統(tǒng)?按照記者的理解,就是結(jié)合了商業(yè)技術(shù)、開(kāi)源技術(shù)的多平臺(tái)的新一代大數(shù)據(jù)解決方案。正如Teradata首席技術(shù)官寶立明所言,數(shù)據(jù)分析解決方案正在快速?gòu)膫鹘y(tǒng)分析解決方案向下一代分析生態(tài)系統(tǒng)演進(jìn)。

談到數(shù)據(jù)庫(kù)或者數(shù)據(jù)分析市場(chǎng)的變化,在Teradata營(yíng)銷與業(yè)務(wù)拓展副總裁Mikael Bisgaard-Bohr回顧說(shuō),30年前Teradata的核心技術(shù)是關(guān)系型數(shù)據(jù)庫(kù),隨著時(shí)間的推移,數(shù)據(jù)分析市場(chǎng)的需求也起了很大的變化,我們的解決方案也從傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)展至包含開(kāi)源技術(shù)的分析生態(tài)系統(tǒng)。現(xiàn)在很多研發(fā)人員、數(shù)據(jù)分析人員也關(guān)注如何更好地實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)?!安粌HTeradata,其他的傳統(tǒng)數(shù)據(jù)公司都在面臨同樣的變化,因?yàn)檎麄€(gè)市場(chǎng)已經(jīng)發(fā)生了變化?!盡ikael補(bǔ)充說(shuō)。

隨著非結(jié)構(gòu)化數(shù)據(jù)量的大幅增加和非結(jié)構(gòu)化數(shù)據(jù)分析的需求不斷加大,單一平臺(tái)早已經(jīng)不再能滿足所有數(shù)據(jù)的處理需求。因此寶立明認(rèn)為,生態(tài)系統(tǒng)將成為行業(yè)潮流,商業(yè)技術(shù)要與開(kāi)源技術(shù)結(jié)合起來(lái),生態(tài)系統(tǒng)方案將成為行業(yè)標(biāo)準(zhǔn)和最佳實(shí)踐;全新的開(kāi)源技術(shù),特別是Hadoop技術(shù),以及云環(huán)境將成為行業(yè)趨勢(shì)。

因此對(duì)于大數(shù)據(jù)分析和應(yīng)用供應(yīng)商來(lái)說(shuō),如何更好地將商業(yè)技術(shù)與開(kāi)源技術(shù)結(jié)合起來(lái),構(gòu)建完善的生態(tài)系統(tǒng),成為現(xiàn)階段的一大挑戰(zhàn)。

寶立明透露,Teradata算是最早宣布將開(kāi)源Unix和Linux應(yīng)用在數(shù)據(jù)庫(kù)平臺(tái)之上的,而且現(xiàn)在Teradata采用的操作系統(tǒng)也是完全開(kāi)源的。此外,他還透露,Teradata在Hadoop上投入很大,為的是讓開(kāi)源技術(shù)可以和商業(yè)技術(shù)實(shí)現(xiàn)互通,例如Teradata開(kāi)發(fā)的專利技術(shù)QueryGrid連接器。Teradata還在Hadoop文件系統(tǒng)上添加了儀表盤能力,使流數(shù)據(jù)能夠進(jìn)入Hadoop進(jìn)行部署。

篇5

增強(qiáng)控制力

“很多用戶的數(shù)據(jù)保護(hù)架構(gòu)還是一個(gè)‘隨意架構(gòu)’,它由零散的數(shù)據(jù)保護(hù)流程和‘煙囪式’的基礎(chǔ)架構(gòu)組成,需要保護(hù)的數(shù)據(jù)被信息孤島隔裂開(kāi),不能實(shí)現(xiàn)整合與優(yōu)化?!盓MC公司備份和恢復(fù)系統(tǒng)部亞太及日本區(qū)銷售副總裁Dmitri Chen解釋說(shuō),“面對(duì)虛擬化、云計(jì)算、大數(shù)據(jù)帶來(lái)的新挑戰(zhàn),企業(yè)用戶希望數(shù)據(jù)保護(hù)系統(tǒng)是可視化的和可控的,數(shù)據(jù)保護(hù)流程能夠更簡(jiǎn)單,整個(gè)數(shù)據(jù)保護(hù)過(guò)程都是合規(guī)的。其中最重要的是,用戶自己要對(duì)數(shù)據(jù)保護(hù)架構(gòu)有絕對(duì)的控制能力,可以根據(jù)自己的需求進(jìn)行調(diào)整、優(yōu)化和修補(bǔ)。”

為了消除現(xiàn)有數(shù)據(jù)保護(hù)架構(gòu)的隨意性,增強(qiáng)用戶對(duì)數(shù)據(jù)保護(hù)架構(gòu)的控制力,EMC近期升級(jí)了自己的數(shù)據(jù)保護(hù)解決方案,包括硬件和軟件以及云備份服務(wù)。Dmitri Chen強(qiáng)調(diào)說(shuō),為了改善數(shù)據(jù)保護(hù)架構(gòu),應(yīng)該從以下三方面入手。第一,保證存儲(chǔ)硬件平臺(tái)的高性能、高可擴(kuò)展性和高可靠性。作為最后一道防線,數(shù)據(jù)保護(hù)架構(gòu)不僅要提供大容量、低成本的存儲(chǔ),還要能實(shí)現(xiàn)災(zāi)難恢復(fù)、備份和歸檔等功能。第二,實(shí)現(xiàn)數(shù)據(jù)源的集成,不僅可以對(duì)物理環(huán)境和虛擬環(huán)境中的數(shù)據(jù)進(jìn)行統(tǒng)一保護(hù),而且可以為來(lái)自不同應(yīng)用程序(比如Oracle、SAP以及VMware、Microsoft等)中的數(shù)據(jù)提供保護(hù)。EMC擴(kuò)展了備份和歸檔產(chǎn)品對(duì)應(yīng)用程序的支持,比如EMC Data Domain現(xiàn)在可以支持SAP HANA Studio通過(guò)網(wǎng)絡(luò)文件系統(tǒng)(NFS)直接進(jìn)行備份。第三,實(shí)現(xiàn)數(shù)據(jù)管理服務(wù)。管理員可以對(duì)數(shù)據(jù)保護(hù)流程進(jìn)行管理和控制,實(shí)現(xiàn)可視化。實(shí)現(xiàn)數(shù)據(jù)管理服務(wù)的依托是備份、重復(fù)數(shù)據(jù)刪除等相關(guān)軟件。

軟硬件的整合

“隨著數(shù)據(jù)量的增加,以及用戶對(duì)數(shù)據(jù)可靠性、可用性、安全性需求的增加,略顯單薄的傳統(tǒng)備份產(chǎn)品已經(jīng)逐漸發(fā)展成整體的數(shù)據(jù)保護(hù)解決方案?!盌mitri Chen表示,“軟件與硬件的同步發(fā)展以及整合方案的推出,可以全面滿足用戶對(duì)數(shù)據(jù)保護(hù)的需求?!?/p>

EMC近日的數(shù)據(jù)保護(hù)產(chǎn)品中就包括大量硬件和軟件。其中,硬件是全新的Data Domain系列中端產(chǎn)品,包括DD2500、DD4200、DD4500和DD7200。“這些新產(chǎn)品與它們要替換的舊產(chǎn)品相比,性能提升4倍,可擴(kuò)展能力增強(qiáng)10倍,并且可以實(shí)現(xiàn)備份與歸檔的全面整合,從而降低了數(shù)據(jù)保護(hù)的整體擁有成本?!盌mitri Chen介紹說(shuō)。

篇6

雖然信息化發(fā)展了,但系統(tǒng)的快速擴(kuò)張卻給IT運(yùn)維帶來(lái)了煩惱。中國(guó)人民總醫(yī)院計(jì)算機(jī)室主任史洪飛說(shuō):“醫(yī)院畢竟是醫(yī)院,在IT方面的投入尤其是在IT基礎(chǔ)設(shè)施方面的投入遠(yuǎn)小于需求?!彼f(shuō),醫(yī)院IT經(jīng)費(fèi)的80%用于終端設(shè)備更新、15%用于系統(tǒng)建設(shè),因此,投在基礎(chǔ)設(shè)施上的資金就很有限了?!拔覀冇写罅康姆?wù)器,但它們的利用率不超過(guò)20%;存儲(chǔ)設(shè)備很分散,導(dǎo)致數(shù)據(jù)維護(hù)以及設(shè)備擴(kuò)容和維護(hù)的工作量非常大;過(guò)多的基礎(chǔ)設(shè)施設(shè)備使對(duì)機(jī)房的需求變大,維護(hù)成本也高?!?/p>

史主任說(shuō),2012年,他們開(kāi)始對(duì)云計(jì)算進(jìn)行比較深入的調(diào)研,期望通過(guò)云計(jì)算解決IT運(yùn)維中的一些問(wèn)題,包括公有云、服務(wù)器虛擬化、存儲(chǔ)虛擬化以及桌面云,他們都進(jìn)行了認(rèn)真的考慮。最終,他們首先選擇了服務(wù)器虛擬化解決方案,先將非核心業(yè)務(wù)的服務(wù)器進(jìn)行池化,以保證系統(tǒng)的平穩(wěn)運(yùn)轉(zhuǎn)?!皩?duì)于像遠(yuǎn)程醫(yī)療等對(duì)外的應(yīng)用,我們未來(lái)可能考慮利用公有云。另外,對(duì)于桌面云目前主要問(wèn)題是資金投入問(wèn)題,這是我們今后要重點(diǎn)考慮的?!笔分魅握f(shuō)。

醫(yī)療信息化發(fā)展到今天,從基礎(chǔ)設(shè)施到業(yè)務(wù)系統(tǒng),甚至用戶終端的配置都在發(fā)生著變革,而適應(yīng)這些變革的正是云計(jì)算。這一點(diǎn),從史主任他們的信息化實(shí)踐中也可以看出。華際系統(tǒng)公司副總裁、博雅云計(jì)算總經(jīng)理劉煒帶領(lǐng)的團(tuán)隊(duì)從事醫(yī)療行業(yè)信息化多年,日前在“英特爾架構(gòu)高集成度醫(yī)療解決方案應(yīng)用論壇”上,他說(shuō),目前醫(yī)療信息化存在的問(wèn)題主要有信息孤島和信息煙囪、資源相對(duì)不足、系統(tǒng)效率需要提升、不斷攀升的醫(yī)療IT成本等。而云計(jì)算首先可以解決資源相對(duì)不足的問(wèn)題,并降低IT成本、提高效率。

為此,英特爾聯(lián)合博雅和Nutanix等合作伙伴專為醫(yī)療行業(yè)應(yīng)用構(gòu)建了基于英特爾架構(gòu)的高集成度解決方案平臺(tái),利用英特爾中國(guó)云計(jì)算創(chuàng)新中心,合作進(jìn)行方案的開(kāi)發(fā)和驗(yàn)證,降低醫(yī)療行業(yè)信息化的成本和復(fù)雜性,管理醫(yī)療信息系統(tǒng)的大數(shù)據(jù)問(wèn)題,降低信息技術(shù)風(fēng)險(xiǎn),提高醫(yī)療行業(yè)管理層的決策能力。

據(jù)史主任介紹,他們已經(jīng)在Nutanix設(shè)備上做過(guò)技術(shù)測(cè)試,測(cè)試環(huán)境是4臺(tái)刀片服務(wù)器、2TB內(nèi)存和15TB存儲(chǔ),其部署和維護(hù)非常方便,應(yīng)用系統(tǒng)的運(yùn)行效率很高。

篇7

關(guān)鍵詞:NoSQL 3.20工程 研判分析

一、前言

當(dāng)今世界是一個(gè)信息高速發(fā)展的時(shí)代,隨著網(wǎng)民參與互聯(lián)網(wǎng)產(chǎn)品和應(yīng)用的程度越來(lái)越深,互聯(lián)網(wǎng)將更加智能,互聯(lián)網(wǎng)的數(shù)據(jù)量也將呈爆炸式增長(zhǎng)。可以預(yù)見(jiàn)公安行業(yè)信息化發(fā)展在未來(lái)幾年里,數(shù)據(jù)將以每年 30%到50%的速度爆炸式增長(zhǎng)。

在大數(shù)據(jù)時(shí)代下對(duì)系統(tǒng)又提出了新的需求:1、高并發(fā)讀寫的需求,高并發(fā)、實(shí)時(shí)動(dòng)態(tài)獲取和更新數(shù)據(jù)。2、海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求,類似SNS網(wǎng)站,海量用戶信息的高效率實(shí)時(shí)存儲(chǔ)和查詢。3、高可擴(kuò)展性和高可用性的需求,需要擁有快速橫向擴(kuò)展能力、提供7*24小時(shí)不間斷服務(wù)。

物聯(lián)網(wǎng)發(fā)展和互聯(lián)網(wǎng)應(yīng)用帶來(lái)了多源海量數(shù)據(jù)的存貯、管理、處理、融合、整合和挖掘分析問(wèn)題,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(SQL數(shù)據(jù)庫(kù)管理系統(tǒng))已不能完全適應(yīng)這些海量數(shù)據(jù)的管理與計(jì)算要求,NoSQL數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)運(yùn)而生。NoSQL數(shù)據(jù)庫(kù)主要有鍵-值存貯(key-value stores)、 BigTable、文件存貯數(shù)據(jù)庫(kù)(document store databases)和圖形數(shù)據(jù)庫(kù)(graph databases)等類型,相關(guān)的數(shù)據(jù)庫(kù)軟件主要memcached, Redis, MongoDB, CouchDB, Apache Cassandra和HBase等等,都是開(kāi)源的。

NoSQL數(shù)據(jù)庫(kù)與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)相結(jié)合,為智慧城市數(shù)據(jù)管理提供整體解決方案,應(yīng)用NoSQL并不是全盤否定SQL數(shù)據(jù)庫(kù),而應(yīng)該是NoJustSQL依賴于SQL。

二、傳統(tǒng)數(shù)據(jù)庫(kù)在大數(shù)據(jù)處理中存在的問(wèn)題

傳統(tǒng)數(shù)據(jù)庫(kù),主要指關(guān)系型數(shù)據(jù)庫(kù),在長(zhǎng)期的實(shí)踐中體現(xiàn)出性能好、穩(wěn)定性高等特點(diǎn),在使用上也比較簡(jiǎn)單,功能強(qiáng)大,在實(shí)際的數(shù)據(jù)庫(kù)工作和研究發(fā)揮了很好的作用。但關(guān)系數(shù)據(jù)庫(kù)在應(yīng)對(duì)大數(shù)據(jù)存在明顯的問(wèn)題:

1、分庫(kù)分表缺點(diǎn):

(1)受業(yè)務(wù)規(guī)則影響,需求變動(dòng)導(dǎo)致分庫(kù)分表的維護(hù)復(fù)雜。

(2)系統(tǒng)數(shù)據(jù)訪問(wèn)層代碼需要修改。

2、Master-Slave缺點(diǎn):

(1)Slave的實(shí)時(shí)性保障,在實(shí)時(shí)性要求很高的應(yīng)用中,可能需要進(jìn)行相關(guān)處理。

(2)在高可用性方面的問(wèn)題,Master存在容易產(chǎn)生單點(diǎn)故障的致命弱點(diǎn)。

3、 MMM缺點(diǎn): 本身擴(kuò)展性差,一次只能一個(gè)Master可以寫入,只能解決有限數(shù)據(jù)量下的可用性。

三、NoSQL概念

1、什么是NoSQL NoSQL是Not Only SQL的縮寫,而不是Not SQL,它不一定遵循傳統(tǒng)數(shù)據(jù)庫(kù)的一些基本要求,比如說(shuō)遵循SQL標(biāo)準(zhǔn)、ACID屬性、表結(jié)構(gòu)等等。相比傳統(tǒng)數(shù)據(jù)庫(kù),叫它分布式數(shù)據(jù)管理系統(tǒng)更貼切,數(shù)據(jù)存儲(chǔ)被簡(jiǎn)化更靈活,重點(diǎn)被放在了分布式數(shù)據(jù)管理上。

2、主流NoSQL數(shù)據(jù)庫(kù)--HBase簡(jiǎn)介 HBase是Hadoop Database的簡(jiǎn)稱,它是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng),利用HBase技術(shù),可在廉價(jià)的PC Server上搭建起大規(guī)模、結(jié)構(gòu)化的存儲(chǔ)集群。

HBase是由Google Bigtable的開(kāi)源實(shí)現(xiàn),類似于Google Bigtable利用GFS作為其文件的存儲(chǔ)系統(tǒng),HBase利用Hadoop HDFS作為其文件的存儲(chǔ)系統(tǒng);Google是通過(guò)運(yùn)行MapReduce來(lái)處理Bigtable中的海量數(shù)據(jù),HBase同樣是通過(guò)利用Hadoop MapReduce來(lái)處理HBase中的海量數(shù)據(jù)的;Google Bigtable利用 Chubby來(lái)作為協(xié)同服務(wù),HBase是利用Zookeeper來(lái)作為對(duì)應(yīng)的。

四、NoSQL的特點(diǎn)分析

1、NoSQL是易擴(kuò)展的

NoSQL數(shù)據(jù)庫(kù)的種類繁多,但是他們有一個(gè)共同的特點(diǎn),就是去掉了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的“關(guān)系型”這一特性,所以NoSQL數(shù)據(jù)庫(kù)的數(shù)據(jù)之間是無(wú)“關(guān)系”的,這樣的數(shù)據(jù)庫(kù)就非常容易擴(kuò)展,同時(shí),在架構(gòu)的層面上也具有可擴(kuò)展性,有多種NoSQL數(shù)據(jù)庫(kù)之間的整合能力。

2、NoSQL是靈活的數(shù)據(jù)模型

NoSQL數(shù)據(jù)庫(kù)不需要事先為要存儲(chǔ)的數(shù)據(jù)建立對(duì)應(yīng)的字段,隨時(shí)可以存儲(chǔ)自定義的數(shù)據(jù)格式。而在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)里,增刪字段是非常麻煩的,如果是大數(shù)據(jù)量的數(shù)據(jù)庫(kù)表,增加一個(gè)字段簡(jiǎn)直是很麻煩的。

3、NoSQL是高可用的

NoSQL數(shù)據(jù)庫(kù)可以方便的實(shí)現(xiàn)高可用的架構(gòu),而且不太影響性能。比如Cassandra,HBase模型,就可以通過(guò)復(fù)制模型實(shí)現(xiàn)高可用。

4、NoSQL是具有大數(shù)據(jù)量的處理能力,具有高性能的特點(diǎn)

NoSQL數(shù)據(jù)庫(kù)都具有非常高的讀寫性能,尤其在大數(shù)據(jù)量下,這種讀寫能力體現(xiàn)更加突出,這得益于它的“無(wú)關(guān)系性”,數(shù)據(jù)庫(kù)的結(jié)構(gòu)簡(jiǎn)單,NoSQL的 Cache是記錄級(jí)的,是一種細(xì)粒度的Cache,所以NoSQL在這個(gè)層面上來(lái)說(shuō)就要性能高很多了。

五、“3.20”工程海量數(shù)據(jù)分析應(yīng)用

“3.20”工程是在江蘇省公安廳統(tǒng)一部署下開(kāi)展的路面監(jiān)控建設(shè)工程,要求在市區(qū)主要道路每3公里記錄一次車輛軌跡,國(guó)道等城市道路每20公里記錄一次。

由于“3.20”工程每天產(chǎn)生海量過(guò)車信息,數(shù)據(jù)總量大、日均增量大、占用存儲(chǔ)空間多,僅僅依靠Oracle關(guān)系數(shù)據(jù)庫(kù)技術(shù)的存儲(chǔ)建庫(kù)模式,已不能完全滿足實(shí)戰(zhàn)應(yīng)用的需求。對(duì)于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)來(lái)說(shuō),在一張幾百億條數(shù)據(jù)記錄的表里面進(jìn)行SQL查詢,效率極其低下,用戶不可忍受。在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)中往往采用分庫(kù)、分表的策略進(jìn)行數(shù)據(jù)存儲(chǔ),這種方式使得單表的查詢效率得到提高。然而在能耗監(jiān)測(cè)系統(tǒng)中往往需要對(duì)全局?jǐn)?shù)據(jù)進(jìn)行綜合統(tǒng)計(jì)查詢,往往涉及到幾十上百個(gè)表,查詢效率無(wú)法保證。

這就需要在“大平臺(tái)”總體數(shù)據(jù)庫(kù)體系下,深入研究“大數(shù)據(jù)”應(yīng)用處理問(wèn)題,引進(jìn)HDFS分布式文件系統(tǒng),采用Hadoop架構(gòu)的NoSQL數(shù)據(jù)庫(kù)技術(shù),科學(xué)規(guī)劃設(shè)計(jì)數(shù)據(jù)存儲(chǔ)、傳輸、建庫(kù)的模式,滿足“3.20”工程車輛數(shù)據(jù)應(yīng)用需要。NoSQL數(shù)據(jù)庫(kù)采用“鍵-值”對(duì)的方式對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ),該存儲(chǔ)方式是不需要固定的表結(jié)構(gòu)的,也就不存在連接操作,具體操作時(shí)效率就比較高。在大數(shù)據(jù)存取上具備關(guān)系型數(shù)據(jù)庫(kù)無(wú)法比擬的性能優(yōu)勢(shì)。

Hadoop應(yīng)用場(chǎng)景

基于Hadoop HDFS等分布式文件系統(tǒng)存儲(chǔ)結(jié)構(gòu),能夠有效解決海量數(shù)據(jù)快速讀寫的性能瓶頸問(wèn)題,是開(kāi)展“大數(shù)據(jù)”應(yīng)用訪問(wèn)、統(tǒng)計(jì)分析很好的解決方案。

對(duì)于需要分析的大數(shù)據(jù),特別是對(duì)于日均增量達(dá)4000萬(wàn)的過(guò)車信息數(shù)據(jù)等,采用NoSQL數(shù)據(jù)庫(kù)技術(shù),運(yùn)用Hadoop的HDMS結(jié)構(gòu)方式進(jìn)行存儲(chǔ)建庫(kù),搭建多個(gè)“3.20”工程大數(shù)據(jù)專題庫(kù),并利用MapReduce功能來(lái)進(jìn)行數(shù)據(jù)分析,多臺(tái)機(jī)器組成集群進(jìn)行并行計(jì)算,以此提升全省“3.20”工程大數(shù)據(jù)的處理和分析能力。

在匯集整合全省道路監(jiān)控網(wǎng)“3.20”工程相關(guān)信息資源的基礎(chǔ)上,結(jié)合各警種業(yè)務(wù)部門實(shí)戰(zhàn)需求,充分利用“大數(shù)據(jù)”技術(shù),以人車案關(guān)聯(lián)分析為建設(shè)重點(diǎn),實(shí)現(xiàn)全省一體化查詢服務(wù)、人車案關(guān)聯(lián)分析、重點(diǎn)車輛電子檔案、重點(diǎn)車輛積分預(yù)警、警務(wù)地理信息系統(tǒng)對(duì)接應(yīng)用、指揮調(diào)度系統(tǒng)對(duì)接應(yīng)用等功能,面向全省基層單位、專業(yè)部門、各級(jí)公安機(jī)關(guān)領(lǐng)導(dǎo)提供系統(tǒng)服務(wù),為開(kāi)展深度研判應(yīng)用奠定基礎(chǔ)。

參考文獻(xiàn)

[1]黃富潔.公安決策支持系統(tǒng)的研究與設(shè)計(jì)[D].濟(jì)南:山東山東大學(xué),2004

[2]張嵐.淺析數(shù)據(jù)庫(kù)技術(shù)的發(fā)展趨勢(shì)[J].信息與電腦(理論版).2012

篇8

2013年被稱為大數(shù)據(jù)元年,大數(shù)據(jù)應(yīng)用受到越來(lái)越多的追捧,其產(chǎn)品和解決方案也層出不窮?;ヂ?lián)網(wǎng)、金融、電信、醫(yī)療,甚至影視、藝術(shù)產(chǎn)品領(lǐng)域都在談?wù)摬⒃噲D應(yīng)用大數(shù)據(jù)。廠商描繪的大數(shù)據(jù)應(yīng)用藍(lán)圖和商業(yè)前景也讓不少企業(yè)怦然心動(dòng)。

 

對(duì)于目前的大數(shù)據(jù)熱潮,另有一些評(píng)論者在質(zhì)疑大數(shù)據(jù)只是概念炒作,認(rèn)為其商業(yè)前景被過(guò)分夸大,大數(shù)據(jù)架構(gòu)僅僅是“看起來(lái)很美好”而已。筆者認(rèn)為,一方面大數(shù)據(jù)的價(jià)值不可否認(rèn),其對(duì)行業(yè)和領(lǐng)域的影響已經(jīng)初現(xiàn)端倪,另一方面是戰(zhàn)略性、概念性的東西仍被談?wù)撨^(guò)多,大數(shù)據(jù)落地應(yīng)用稍顯底氣不足。目前在中國(guó)市場(chǎng)上,大數(shù)據(jù)的大規(guī)模應(yīng)用方面還沒(méi)有足夠的需求。因此,在企業(yè)IT基礎(chǔ)和信息化水平無(wú)法一夕之間改變的情況下,大數(shù)據(jù)應(yīng)用不妨從小處入手,循序漸進(jìn)推廣。

 

首先,對(duì)于數(shù)據(jù)的收集和篩選,不應(yīng)一味地追求越多越好,應(yīng)理性選擇。軟硬件水平的提升使得數(shù)據(jù)收集和存儲(chǔ)日益簡(jiǎn)單,很多企業(yè)不遺余力收集各種數(shù)據(jù),花費(fèi)大量成本,還往往把問(wèn)題復(fù)雜化。在實(shí)際操作中,企業(yè)需要結(jié)合業(yè)務(wù)進(jìn)行規(guī)劃定位,才能了解哪些數(shù)據(jù)能夠滿足功能目標(biāo),從而有效地選擇數(shù)據(jù)源。

 

其次,推動(dòng)和落實(shí)大數(shù)據(jù),不一定非得“大”字當(dāng)頭——實(shí)施大項(xiàng)目、采用大技術(shù)、尋找大量專家……在起步階段,面對(duì)巨大的數(shù)據(jù)量做一個(gè)大規(guī)模的應(yīng)用,并適合大多數(shù)人使用,這幾乎是不可能的。最好能結(jié)合企業(yè)需求和特點(diǎn)選擇技術(shù)難度小、針對(duì)性強(qiáng)的切入點(diǎn),其解決方案和項(xiàng)目規(guī)模也盡量在現(xiàn)有信息化水平基礎(chǔ)上有的放矢。企業(yè)應(yīng)用大數(shù)據(jù)應(yīng)該注重實(shí)用,不要把大數(shù)據(jù)看作“全能”。

 

從小處入手,有利于風(fēng)險(xiǎn)的控制。小規(guī)模的項(xiàng)目相對(duì)來(lái)說(shuō)易于掌控,這在目前并不成熟的大數(shù)據(jù)領(lǐng)域,對(duì)剛開(kāi)始應(yīng)用大數(shù)據(jù)的企業(yè)來(lái)說(shuō)非常重要。即使出現(xiàn)差錯(cuò),也方便彌補(bǔ)和修正,相應(yīng)的損失也在可控范圍內(nèi)。從小處入手,有利于取得有效的投資回報(bào)。在中國(guó)市場(chǎng),大數(shù)據(jù)落地實(shí)踐的不多,真正獲得收益的案例就更為有限。小規(guī)模的大數(shù)據(jù)應(yīng)用能快速展現(xiàn)出大數(shù)據(jù)的優(yōu)勢(shì),并有助于洞察類似的應(yīng)用能為企業(yè)帶來(lái)多少收益。在一個(gè)相對(duì)較小的范圍內(nèi)先實(shí)現(xiàn)目標(biāo),然后再逐步推廣,這樣更容易獲得認(rèn)可。

 

需要注意的是,即使是小規(guī)模應(yīng)用,也需要足夠的基礎(chǔ)支撐,比如硬件設(shè)備、人才,企業(yè)應(yīng)該先認(rèn)清自己的信息化水平,在自身能力范圍內(nèi)展開(kāi)大數(shù)據(jù)的應(yīng)用,效果會(huì)更加顯著。

篇9

歸檔到磁盤

傳統(tǒng)上,人們習(xí)慣用磁盤做備份,用磁帶做歸檔。隨著數(shù)據(jù)量的不斷增加,人們需要更快速地處理、歸檔數(shù)據(jù),而且要保證歸檔數(shù)據(jù)隨時(shí)可查。雖然從成本的角度考慮,磁帶仍然是最經(jīng)濟(jì)的歸檔介質(zhì),而且磁帶可以實(shí)現(xiàn)離線的數(shù)據(jù)保護(hù),這有利于數(shù)據(jù)的異地保存和安全性,但是性能始終是磁帶最大的掣肘。Janae Lee舉例說(shuō):“在美國(guó),我們的一個(gè)客戶為了提高系統(tǒng)的整體處理性能,在一級(jí)存儲(chǔ)中使用了固態(tài)硬盤(SSD),之后不經(jīng)過(guò)任何中間環(huán)節(jié),就將數(shù)據(jù)直接歸檔到磁盤系統(tǒng)中?!币恍┗ヂ?lián)網(wǎng)企業(yè)和游戲客戶可能會(huì)對(duì)這種高性能磁盤歸檔方案感興趣。

從技術(shù)的角度看,將磁盤用于歸檔是否可行呢?當(dāng)磁盤上的數(shù)據(jù)越聚越多時(shí),即使有RAID等技術(shù)作為保護(hù),磁盤還是會(huì)容易出現(xiàn)故障。退一步說(shuō),就算RAID技術(shù)能夠起到保護(hù)作用,RAID進(jìn)行數(shù)據(jù)重構(gòu)時(shí),也要花費(fèi)一定時(shí)間,當(dāng)數(shù)據(jù)達(dá)到PB量級(jí)時(shí),這種重構(gòu)所花費(fèi)的時(shí)間可能是用戶難以忍受的。由此可見(jiàn),將磁盤用于備份,一個(gè)前提是必須提升磁盤的效率、安全性,同時(shí)降低其整體擁有成本。為此,昆騰將一種原先用于通信領(lǐng)域的技術(shù)引入到磁盤歸檔方案中,推出了基于Wide Area Storage(WAS)技術(shù)的磁盤備份方案。與RAID磁盤相比,WAS的安全性大大提高,效率提高50%~70%,整體擁有成本降低50%~70%。Janae Lee介紹說(shuō):“我們的磁盤歸檔方案基于NAS界面,可與StorNext軟件配合使用,非常適合云歸檔應(yīng)用。磁盤歸檔方案將于2013年初面世?!?/p>

磁帶是數(shù)據(jù)保護(hù)的最后一道防線。Janae Lee表示:“磁盤歸檔方案與磁帶歸檔方案之間不是替代的關(guān)系,而是互補(bǔ)的關(guān)系。磁帶歸檔市場(chǎng)仍在不斷擴(kuò)大。對(duì)于那些辦公場(chǎng)所位置分散,又希望快速存取數(shù)據(jù)的用戶來(lái)說(shuō),WAS是比較理想的選擇?!?/p>

磁帶不受影響

在大數(shù)據(jù)時(shí)代,磁帶的重要性會(huì)進(jìn)一步被削弱嗎?昆騰公司大中華區(qū)總經(jīng)理張金華介紹說(shuō):“從2011年昆騰在中國(guó)的銷售業(yè)績(jī)看,以DXi系列產(chǎn)品為代表的磁盤業(yè)務(wù)始終保持高速增長(zhǎng)的態(tài)勢(shì),每個(gè)季度的增長(zhǎng)率都能達(dá)到兩位數(shù),而磁帶業(yè)務(wù)則與2010年持平。”雖然昆騰的業(yè)務(wù)重點(diǎn)已經(jīng)轉(zhuǎn)向數(shù)據(jù)保護(hù)整體解決方案和大數(shù)據(jù),磁帶不再是業(yè)務(wù)核心,但是昆騰并沒(méi)有放棄磁帶業(yè)務(wù),對(duì)于磁帶的研發(fā)投入也沒(méi)有減少。

“我們?yōu)榇艓?kù)產(chǎn)品增加了一些新的功能,比如EDLM自動(dòng)磁帶內(nèi)容檢查功能、雙機(jī)械臂、Active Vault等。這些新功能的加入,可以讓磁帶庫(kù)與StorNext軟件更好地配合使用?!盝anae Lee舉例說(shuō),“在廣電領(lǐng)域,10%的數(shù)據(jù)存儲(chǔ)在磁盤上,90%的數(shù)據(jù)存儲(chǔ)在磁帶上。用戶還要經(jīng)常調(diào)取磁帶上的數(shù)據(jù)。StorNext 4.3版本增加了一項(xiàng)新功能,在將數(shù)據(jù)寫入磁盤的同時(shí),也會(huì)寫入磁帶。這種技術(shù)非常適合電視臺(tái)節(jié)目上傳的應(yīng)用。”

軟硬件都重要

在昆騰的大數(shù)據(jù)解決方案中,StorNext扮演了極其重要的角色。以前,StorNext都是以軟件的方式提供給客戶的。但是有客戶反映,StorNext的部署和調(diào)優(yōu)比較復(fù)雜。為此,從2011年開(kāi)始,昆騰開(kāi)始提供基于StorNext的軟硬件一體化解決方案。

篇10

根據(jù)計(jì)世資訊2013年3月的中國(guó)大數(shù)據(jù)市場(chǎng)調(diào)查報(bào)告顯示,相較2011年,2012年中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模增長(zhǎng)52.4%,達(dá)到3.2億元。預(yù)計(jì)到2017年,中國(guó)大數(shù)據(jù)市場(chǎng)的年增長(zhǎng)率都將超過(guò)60%,到2017年,達(dá)到37.9億元的市場(chǎng)規(guī)模,在經(jīng)濟(jì)、整體IT市場(chǎng)低迷的情況下,實(shí)現(xiàn)大幅逆勢(shì)增長(zhǎng)。

在日前由《計(jì)算機(jī)世界》報(bào)主辦的“大數(shù)據(jù)時(shí)代的商業(yè)智能高峰論壇”上,來(lái)自IT廠商的代表、業(yè)內(nèi)專家、資深分析師及用戶代表就大數(shù)據(jù)熱門話題展開(kāi)了激烈的討論。

焦點(diǎn)一:

大數(shù)據(jù)是不是大忽悠?

IT技術(shù)的每一次更新迭代都面臨同樣的問(wèn)題,前兩年的云計(jì)算、如今的大數(shù)據(jù)無(wú)不如此。實(shí)際上我們回過(guò)頭來(lái)看,所有的技術(shù)和產(chǎn)業(yè)的發(fā)展都有泡沫化的過(guò)程,包括互聯(lián)網(wǎng)、金融危機(jī)、云計(jì)算、大數(shù)據(jù),都會(huì)有一個(gè)泡沫化的過(guò)程,而泡沫破滅的過(guò)程也正是這項(xiàng)技術(shù)落地的過(guò)程。

大數(shù)據(jù)熱起因是其可以產(chǎn)生更多的價(jià)值,而在當(dāng)前這個(gè)時(shí)間點(diǎn)熱,一方面是越來(lái)越多的人意識(shí)到了其中的價(jià)值,另一方面則與技術(shù)的發(fā)展成熟密不可分。戴爾云計(jì)算及大數(shù)據(jù)高級(jí)解決方案架構(gòu)師郝繼玖和EMC資深技術(shù)顧問(wèn)楊永波在這個(gè)問(wèn)題上所持的觀點(diǎn)基本相同,他們認(rèn)為并不是之前沒(méi)有大數(shù)據(jù),而是沒(méi)有能力處理。當(dāng)下這個(gè)時(shí)間點(diǎn)一方面是數(shù)據(jù)規(guī)模確實(shí)越來(lái)越大,而另一方面計(jì)算能力也達(dá)到了一定的水平,當(dāng)這兩者都具備的時(shí)候,才催生了大數(shù)據(jù)時(shí)代的到來(lái)。

作為用戶代表,IDG集團(tuán)中國(guó)區(qū)副總裁、計(jì)世傳媒集團(tuán)董事許偉明表示認(rèn)同,他認(rèn)為主要是當(dāng)前IT系統(tǒng)的計(jì)算能力和成本都已經(jīng)降低到了可以負(fù)擔(dān)的水平,由此推動(dòng)了大數(shù)據(jù)的快速發(fā)展。

作為大數(shù)據(jù)領(lǐng)域的專家,北京理工大學(xué)計(jì)算機(jī)學(xué)院院長(zhǎng)助理、大數(shù)據(jù)搜索與挖掘?qū)嶒?yàn)室主任張華平副教授表達(dá)了他的看法。他表示,雖然當(dāng)前大數(shù)據(jù)還停留在泡沫階段,不過(guò)大數(shù)據(jù)的泡沫不會(huì)比云計(jì)算大,因?yàn)樵朴?jì)算更多涉及的是架構(gòu)問(wèn)題,業(yè)內(nèi)分歧比較多,而大數(shù)據(jù)關(guān)注的只是業(yè)務(wù),更加專注,因此也會(huì)更快地實(shí)現(xiàn)落地。

焦點(diǎn)二:

上馬大數(shù)據(jù)要做哪些準(zhǔn)備?

根據(jù)計(jì)世資訊的大數(shù)據(jù)市場(chǎng)調(diào)研報(bào)告顯示,未來(lái)半數(shù)以上的企業(yè)會(huì)采用大數(shù)據(jù)解決方案。用戶如果真的要部署大數(shù)據(jù)解決方案,要做哪些準(zhǔn)備?

了解需求、獲得老板的認(rèn)可,是首先要考慮的。許偉明認(rèn)為,從公司角度來(lái)看,最大的問(wèn)題是如何獲得老板的支持;而從業(yè)務(wù)層面出發(fā),則需要考慮實(shí)際的需求。比如你所處的企業(yè)如果數(shù)據(jù)量很大,則需要在IT架構(gòu)上做準(zhǔn)備,考慮包括數(shù)據(jù)是怎么收集的、從哪里收集、如何與其他數(shù)據(jù)進(jìn)行匹配等問(wèn)題。而在操作過(guò)程中,則可以首先嘗試一些開(kāi)源的工具進(jìn)行小范圍測(cè)試,做一些基本了解,然后再找相關(guān)的專家仔細(xì)進(jìn)行評(píng)估。

這僅僅是最基礎(chǔ)的部分,在此之上,企業(yè)還要將項(xiàng)目與整體業(yè)務(wù)緊密地聯(lián)系在一起。因?yàn)槿绻皇菃为?dú)考慮某一部分的業(yè)務(wù),失敗的概率非常大。楊永波表示,從IT架構(gòu)層面來(lái)講,很多數(shù)據(jù)的獲取并不容易,打通所有層級(jí)、部門的數(shù)據(jù)是比較難的,但是只有把信息打通了,才擁有了真正的大數(shù)據(jù)。

郝繼玖則進(jìn)一步做了補(bǔ)充:“大數(shù)據(jù)相應(yīng)的IT架構(gòu)搭建完成后,還需要考慮服務(wù)的標(biāo)準(zhǔn)化,因?yàn)殡S著數(shù)據(jù)量、設(shè)備及人員的增加,如何分工、保證高質(zhì)量的運(yùn)維效果是需要迫切考慮的問(wèn)題,這個(gè)過(guò)程就需要建立統(tǒng)一的服務(wù)標(biāo)準(zhǔn)和流程。”

除了技術(shù)層面的問(wèn)題外,還有一個(gè)很大的問(wèn)題就是隱私問(wèn)題。張華平講到,現(xiàn)在有很多大數(shù)據(jù)隱私被濫用的問(wèn)題,無(wú)論從國(guó)家還是公司層面來(lái)講,要想把大數(shù)據(jù)做好,都面臨數(shù)據(jù)公開(kāi)的問(wèn)題,需要各個(gè)部門數(shù)據(jù)的融合。因此,利用大數(shù)據(jù)的時(shí)候,要考慮隱私的問(wèn)題。另外,還需要考慮數(shù)據(jù)本身的生命周期問(wèn)題,有一些老的或者過(guò)時(shí)的數(shù)據(jù),可能對(duì)你最后的分析結(jié)果產(chǎn)生特別糟糕的影響。因此,專業(yè)的人才不可或缺,應(yīng)該有一些數(shù)據(jù)分析師,或者跟業(yè)務(wù)相關(guān)的數(shù)據(jù)科學(xué)家對(duì)數(shù)據(jù)進(jìn)行分析。

焦點(diǎn)三:

用開(kāi)源平臺(tái)還是商業(yè)軟件?

一提到大數(shù)據(jù)很多人會(huì)想到Hadoop。作為開(kāi)源平臺(tái)的忠實(shí)支持者,張華平認(rèn)為做開(kāi)源和共享平臺(tái),從最終的情況來(lái)看,獲取的價(jià)值更大。因?yàn)殚_(kāi)源軟件參與的用戶多,反饋多,更容易改進(jìn)和完善。

不過(guò),楊永波并不這么看,他認(rèn)為Hadoop不等于大數(shù)據(jù),針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析,Hadoop是比較好的平臺(tái),也是現(xiàn)在被廣泛接受的平臺(tái)。但也正因?yàn)槠涫情_(kāi)源平臺(tái),也存在一些弊端,比如服務(wù)質(zhì)量無(wú)法保證。另外,Hadoop有很多版本,要真正實(shí)現(xiàn)商用,需要用戶具備足夠高的技術(shù)水平。因此,用戶在選擇時(shí)并不能一味追求開(kāi)源,需要綜合考慮自己的情況。

對(duì)此,許偉明表示認(rèn)同楊永波的觀點(diǎn),他認(rèn)為無(wú)論是開(kāi)源還是商業(yè)軟件,最重要的還是服務(wù)質(zhì)量、服務(wù)速度,不能一味考慮成本問(wèn)題。

郝繼玖表示:“大數(shù)據(jù)發(fā)展速度越來(lái)越快,給IT市場(chǎng)帶來(lái)的空間也越來(lái)越大。因此,在開(kāi)源平臺(tái)方面,我們一直在積極參與,推動(dòng)行業(yè)的發(fā)展。戴爾并不提供大數(shù)據(jù)運(yùn)行平臺(tái),提供的只是其中的計(jì)算能力?!?/p>

焦點(diǎn)四:

大數(shù)據(jù)時(shí)代,安全如何保證?

大數(shù)據(jù)并沒(méi)有人排斥,但在記者采訪過(guò)程中,經(jīng)常有用戶問(wèn)這樣的問(wèn)題:如何保證我的信息安全,如果無(wú)法保證安全,大數(shù)據(jù)還上不上?對(duì)此,張華平一語(yǔ)中的,“我們不會(huì)因?yàn)楦哞F出事不坐高鐵,不會(huì)因?yàn)轱w機(jī)出事不坐飛機(jī),大數(shù)據(jù)是科技發(fā)展的趨勢(shì),但要把握好方向,這需要法律的完善。”

張華平的觀點(diǎn)得到了與會(huì)嘉賓的贊同。郝繼玖認(rèn)為,數(shù)據(jù)是把雙刃劍。消費(fèi)者網(wǎng)購(gòu)時(shí)需要提供家庭地址,才能給你運(yùn)過(guò)來(lái),這是經(jīng)過(guò)同意獲取你的信息,因?yàn)橛辛己玫姆森h(huán)境進(jìn)行統(tǒng)一管理,所以買家不用那么擔(dān)心;而生活中很多時(shí)候是濫用信息的收集,是在用戶不知情的情況下搜集你的信息,這就需要相應(yīng)立法進(jìn)行保護(hù)。大數(shù)據(jù)也是類似的,只讓適合的人利用我的數(shù)據(jù)。另外,關(guān)于大數(shù)據(jù)的報(bào)道,未來(lái)也要有嚴(yán)格的法律保護(hù)體系,保證我的數(shù)據(jù)不被泄露出去。

許偉明還在此基礎(chǔ)上提到了平衡,他講到,一個(gè)信息點(diǎn)傳播出去,對(duì)某個(gè)人而言,可能是隱私受到了侵犯,但從另一個(gè)角度來(lái)看,你把互聯(lián)網(wǎng)當(dāng)成是一個(gè)系統(tǒng),你不斷地訓(xùn)練這個(gè)系統(tǒng),讓其更好地為你服務(wù),其實(shí)也不是壞事?!拔覀冏雒襟w的,研究的大數(shù)據(jù)就包括精準(zhǔn)的廣告投放。比如在你閱讀的時(shí)候,獲得了你想要的廣告信息,對(duì)用戶而言也不是壞事。再比如你在研究旅行的時(shí)候,給你一些旅行社的信息,或者給你一些比較便宜的飛機(jī)票等,相信客戶還是愿意看的。實(shí)際上你可以有意識(shí)地泄露一些你的信息,這樣系統(tǒng)會(huì)分析你的數(shù)據(jù),真正地幫助你,所以我覺(jué)得沒(méi)必要恐懼。而惡意的信息收集、未經(jīng)用戶允許收集的信息,都是違法的。這其中就需要平衡,不能因?yàn)橛锌赡鼙恍孤峨[私就不用大數(shù)據(jù)?!?/p>

鏈接

2013大數(shù)據(jù)平臺(tái)最佳創(chuàng)新產(chǎn)品獎(jiǎng)

Dell PowerEdge C8000

數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案獎(jiǎng)

Nutanix虛擬計(jì)算平臺(tái)

2013大數(shù)據(jù)優(yōu)秀解決方案

帝聯(lián)科技“云主機(jī)解決方案”

南大通用GBase 8a數(shù)據(jù)庫(kù)

Informatica PowerCenter大數(shù)據(jù)版

2013大數(shù)據(jù)優(yōu)秀產(chǎn)品獎(jiǎng)

華為12800交換機(jī)

浪潮云海大數(shù)據(jù)一體機(jī)

SAS可視化分析平臺(tái)

知意圖精準(zhǔn)推薦系統(tǒng)

2013大數(shù)據(jù)人才培養(yǎng)貢獻(xiàn)獎(jiǎng)

慧科教育

大數(shù)據(jù)時(shí)代的商業(yè)智能高峰論壇召開(kāi)