云計(jì)算在電子商務(wù)中的運(yùn)用

時(shí)間:2022-01-06 11:02:23

導(dǎo)語:云計(jì)算在電子商務(wù)中的運(yùn)用一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

云計(jì)算在電子商務(wù)中的運(yùn)用

1云計(jì)算及Hadoop

云計(jì)算技術(shù)可以借助網(wǎng)絡(luò)獲取需要的資源,以實(shí)現(xiàn)資源的統(tǒng)一管理和調(diào)度,并按需提供服務(wù),其主要價(jià)值是實(shí)現(xiàn)了軟硬件需求的按需擴(kuò)展能力。和傳統(tǒng)的計(jì)算方式不同,云計(jì)算中的計(jì)算任務(wù)是并行分布在大量server中的,每個(gè)server完成分配給自己的任務(wù)后,匯總的計(jì)算結(jié)果形成最后的需求。一般而言,云計(jì)算的特點(diǎn)主要包括[1]:(1)資源的動(dòng)態(tài)分配。不同用戶對(duì)云環(huán)境的資源需求是不一樣的,云計(jì)算平臺(tái)可以根據(jù)用戶的需求動(dòng)態(tài)分配相應(yīng)的資源,實(shí)現(xiàn)資源的動(dòng)態(tài)計(jì)算;一旦用戶不再需要這些資源了,那么這些分配的資源就會(huì)被回收,這種動(dòng)態(tài)分配和回收資源的能力使無限擴(kuò)展資源成為可能。(2)資源的虛擬化。云環(huán)境的計(jì)算、存儲(chǔ)資源等一般分布在不同的位置,虛擬化技術(shù)可以整合這些資源,使用戶可以不考慮設(shè)備類型而透明地訪問各種資源。(3)智能化的自動(dòng)服務(wù)。用戶無需了解虛擬化及各種資源分配的知識(shí),各種需求資源服務(wù)都是自動(dòng)化的,云環(huán)境會(huì)提供相應(yīng)的導(dǎo)航服務(wù)。目前云計(jì)算主要有三種服務(wù)模式:IaaS,PaaS以及SaaS。IaaS(Infrastructureasaservice)允許用戶從計(jì)算機(jī)基礎(chǔ)設(shè)施獲得計(jì)算及存儲(chǔ)等服務(wù),典型代表是亞馬遜的彈性云。PaaS(Platformasaservice)把軟件平臺(tái)作為一種服務(wù),用戶可以直接使用軟件平臺(tái)。SaaS(Softwareasaservice)提供給用戶的是基于WEB的軟件,用戶無需購(gòu)買,可以直接使用Webservice?,F(xiàn)在比較流行的云計(jì)算平臺(tái)是Hadoop生態(tài)圈,主要包括HDFS文件系統(tǒng)、MapReduce計(jì)算框架以及HBase數(shù)據(jù)庫(kù)[2],其中核心是MapReduce。MapReduce在執(zhí)行計(jì)算任務(wù)時(shí),首先將輸入數(shù)據(jù)劃分為若干份,并拷貝到所有的計(jì)算節(jié)點(diǎn),每份輸入數(shù)據(jù)都有若干副本,每個(gè)副本部署在一個(gè)server上。當(dāng)一個(gè)副本執(zhí)行Map作業(yè)時(shí),會(huì)從輸入數(shù)據(jù)中抽取部分鍵值對(duì)作為Map⁃per方法的參數(shù),計(jì)算中間值被存儲(chǔ)在內(nèi)存中。每個(gè)中間值都會(huì)執(zhí)行一個(gè)Reduce作業(yè),將此server上的所有中間值排序后,整合所有鍵值相同的數(shù)據(jù)。最后,每一個(gè)唯一的鍵值都會(huì)被傳遞給Reducer方法,輸出數(shù)據(jù)被添加到輸出文件中。這整個(gè)過程的輸入數(shù)據(jù)來自于分布式文件系統(tǒng),中間結(jié)果緩存在本地,最終的輸出又被寫回到分布式文件系統(tǒng)。數(shù)據(jù)的多個(gè)副本不僅可以實(shí)現(xiàn)容錯(cuò),而且能夠避免節(jié)點(diǎn)的閑置或過載,最大化優(yōu)化資源配置。

2電子商務(wù)數(shù)據(jù)管理模型

電子商務(wù)網(wǎng)站的主要數(shù)據(jù)是小圖片,而且每個(gè)網(wǎng)頁(yè)中的圖片一般不會(huì)重復(fù),另外,同一商家在不同地區(qū)的受歡迎程度也不盡相同;所以可以將電子商務(wù)數(shù)據(jù)做如下分類:結(jié)構(gòu)化數(shù)據(jù)、小文件以及大文件。結(jié)構(gòu)化數(shù)據(jù)包含用戶、用戶的訂單等信息;小文件主要是網(wǎng)頁(yè)數(shù)據(jù)、商品的圖片以及對(duì)應(yīng)的商品文本描述等;大文件一般是日志、備份信息以及索引文件等。結(jié)構(gòu)化數(shù)據(jù)可以存放在關(guān)系型數(shù)據(jù)中,并利用分表、規(guī)則分庫(kù)等手段解決數(shù)據(jù)量巨大的問題。Hadoop的HDFS文件系統(tǒng)對(duì)大文件有良好的支持,因此可以將大文件存放在HDFS中;在對(duì)系統(tǒng)做一定修改后,也可以存放小文件。站在用戶的角度可以將電子商務(wù)中涉及到的各種信息進(jìn)行分類,然后按照不同的層次組織成電子商務(wù)數(shù)據(jù)的邏輯模型。電子商務(wù)數(shù)據(jù)按照網(wǎng)絡(luò)信息組織方式可以分為三種類型:微觀、中觀以及宏觀。電子商務(wù)信息只經(jīng)過一次組織的模式稱為微觀組織模式,這種信息組織模式以最直接的方式展現(xiàn)給用戶,用戶可以直接看到對(duì)應(yīng)的數(shù)據(jù),主要包括[3]:(1)普通文件數(shù)據(jù)以及自由文本數(shù)據(jù)。前者對(duì)非結(jié)構(gòu)化信息進(jìn)行管理的,后者一般用于全文數(shù)據(jù)庫(kù)中,目的是用自然語言揭示數(shù)據(jù)庫(kù)文獻(xiàn)內(nèi)的知識(shí)單元。(2)主頁(yè)數(shù)據(jù)。類似于網(wǎng)絡(luò)黃頁(yè),用主頁(yè)將對(duì)機(jī)構(gòu)、個(gè)人等介紹的頁(yè)面集中組織起來。(3)超媒體數(shù)據(jù)。以超文本方式組織了網(wǎng)頁(yè)上的文字、聲音、圖片以及視頻等多媒體信息。相對(duì)微觀數(shù)據(jù)模式而言,中觀模式中的信息的二次組織對(duì)微觀數(shù)據(jù)模式的信息進(jìn)行再次組織,三次信息模式對(duì)二次信息進(jìn)行再次組織。二次信息組織數(shù)據(jù)常用的有搜索引擎、主題樹的形式以及數(shù)據(jù)庫(kù)等。三次信息組織數(shù)據(jù)的典型代表是多元搜索引擎中的搜索引擎目錄。電子商務(wù)網(wǎng)站主要涉及到微觀和中觀兩種信息組織方式。微觀層次上包含的數(shù)據(jù)主要有ht⁃ml文件、腳本文件、圖片和視頻、用戶及訂單數(shù)據(jù)及上述各種數(shù)據(jù)的組合。中觀層面則主要是各種商品目錄和搜索引擎接口。從上述分析可以看出,電子商務(wù)網(wǎng)站數(shù)據(jù)的邏輯模型如圖1所示:圖1電子商務(wù)網(wǎng)站數(shù)據(jù)的邏輯模型在實(shí)際實(shí)現(xiàn)過程中,將電子商務(wù)網(wǎng)站的數(shù)據(jù)模型分為多級(jí)結(jié)構(gòu):前端頁(yè)面緩存(Squid)直接和用戶交互,它的下一級(jí)是WebServer;WebServer往下又連接了頁(yè)面片段緩存ESI和DAL數(shù)據(jù)接口,同時(shí)還會(huì)和Hbase數(shù)據(jù)庫(kù)交互。前端頁(yè)面緩存在接收到用戶的請(qǐng)求后,會(huì)檢查緩存中是否有用戶請(qǐng)求的數(shù)據(jù),如果沒有,頁(yè)面緩存會(huì)將請(qǐng)求提交到Web服務(wù)器;Web服務(wù)器從頁(yè)面片段緩存中查看是否存在用戶請(qǐng)求的數(shù)據(jù),如果還沒有將按照請(qǐng)求類型進(jìn)行后續(xù)處理:非結(jié)構(gòu)化數(shù)據(jù)請(qǐng)求發(fā)往HDFS,結(jié)構(gòu)化請(qǐng)求發(fā)送到數(shù)據(jù)庫(kù)。這一模型在實(shí)際使用中具有很大的優(yōu)勢(shì)[4]:(1)高響應(yīng)性。電子商務(wù)網(wǎng)站的pv值一般都高達(dá)百萬,模型中的前端服務(wù)器和頁(yè)面片段緩存可以有效提高用戶訪問的響應(yīng)度。(2)統(tǒng)一的數(shù)據(jù)接口。為存儲(chǔ)用戶及其訂單數(shù)據(jù)、商品評(píng)論信息等不同類型的結(jié)構(gòu)化數(shù)據(jù),需要一個(gè)接口層來對(duì)數(shù)據(jù)庫(kù)進(jìn)行功能上的劃分。對(duì)于非結(jié)構(gòu)化數(shù)據(jù),借助Hadoop的HDFS文件系統(tǒng)來存儲(chǔ)。前端頁(yè)面緩存是通過squid技術(shù)實(shí)現(xiàn)的,squid反向技術(shù)多用于將不同的URL請(qǐng)求分發(fā)到不同WEBserver,在提高電子商務(wù)網(wǎng)站訪問速度的同時(shí),讓用戶之看到反向服務(wù)器的地址,一定程度上也提高了電子商務(wù)網(wǎng)站的安全性。反向服務(wù)器一般位于WEBserver的前端,作為WEBserver的內(nèi)容緩存。然而,在同一個(gè)商店中,不同頁(yè)面的css、swf等文件可能相同,更有可能不同商店的這些文件也是相同的,這種情況下載入不同頁(yè)面只需要刷新網(wǎng)頁(yè)部分即可,此時(shí)squid技術(shù)就存在反復(fù)緩存的問題。頁(yè)面片段緩存ESI技術(shù)很好的解決了這一問題,它是一種基于XML的標(biāo)記語言,根本目的是在HTTP中進(jìn)行資源的組裝。頁(yè)面片段緩存的標(biāo)記能夠區(qū)分出頁(yè)面的靜態(tài)部分和需要?jiǎng)討B(tài)更新的頁(yè)面片段,靜態(tài)部分始終被存儲(chǔ)在HDFS分布式文件系統(tǒng)中;動(dòng)態(tài)部分在載入新頁(yè)面時(shí)需要更新。squid技術(shù)和頁(yè)面片段緩存ESI技術(shù)構(gòu)建的緩存系統(tǒng)雖然可以在一定程度上提高電子商務(wù)網(wǎng)站的響應(yīng)速度,但對(duì)于大型電商網(wǎng)站而言,更加高效的用戶響應(yīng)離不開分布式緩存;一般的Web應(yīng)用會(huì)將數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫(kù)中,但海量數(shù)據(jù)的增加會(huì)導(dǎo)致數(shù)據(jù)庫(kù)響應(yīng)出現(xiàn)嚴(yán)重延時(shí),Memcached等分布式緩存可以緩存數(shù)據(jù)庫(kù)查詢結(jié)果,從而降低了訪問數(shù)據(jù)庫(kù)的次數(shù);在數(shù)據(jù)存儲(chǔ)方式上,Memcached的數(shù)據(jù)都保存在內(nèi)置的內(nèi)存存儲(chǔ)空間中,這無疑提高了動(dòng)態(tài)Web應(yīng)用的響應(yīng)速度。結(jié)構(gòu)化以及非結(jié)構(gòu)化等不同類型的數(shù)據(jù)都存儲(chǔ)在同一個(gè)數(shù)據(jù)庫(kù)中是不現(xiàn)實(shí)的,電商的用戶群都很龐大,為提供高效的數(shù)據(jù)庫(kù)實(shí)現(xiàn)及不得不采取分庫(kù)策略。分庫(kù)策略一般是按照不同的應(yīng)用及用戶ID值劃分?jǐn)?shù)據(jù)庫(kù),并借助數(shù)據(jù)庫(kù)集群實(shí)現(xiàn)。但是,不同的數(shù)據(jù)庫(kù)存在不同的應(yīng)用接口,為了對(duì)用戶屏蔽這種差異性,需要利用數(shù)據(jù)訪問層DAL封裝對(duì)不同數(shù)據(jù)庫(kù)的操作,以向用戶提供統(tǒng)一的Webservice接口。

3云計(jì)算用于電子商務(wù)行業(yè)

當(dāng)前最具代表性的電子商務(wù)網(wǎng)站無非是美國(guó)的亞馬遜和國(guó)內(nèi)的阿里巴巴。亞馬遜的電子商務(wù)模式主要取決于盈利模式及經(jīng)營(yíng)模式兩大部分,其中盈利模式主要受品牌價(jià)值、個(gè)性化服務(wù)以及渠道整合的影響。阿里巴巴的電子商務(wù)模式由取決于其運(yùn)營(yíng)模式,涵蓋了企業(yè)站點(diǎn)搭建、站點(diǎn)推廣、誠(chéng)信和貿(mào)易通等。電商的商務(wù)模式是能夠?yàn)槠鋷硎找娴哪J剑瑳Q定了電商在整個(gè)價(jià)值鏈中的地位。亞馬遜和阿里巴巴正是抓住了整合價(jià)值鏈這一電商的核心,才會(huì)取得當(dāng)前的成功。解決整合價(jià)值鏈這一難題,恰恰是云計(jì)算應(yīng)用于電子商務(wù)領(lǐng)域的最重要原因。當(dāng)云計(jì)算技術(shù)應(yīng)用于電子商務(wù)行業(yè)時(shí),會(huì)引起電子商務(wù)模式的轉(zhuǎn)變[5]:(1)消費(fèi)模式轉(zhuǎn)變。傳統(tǒng)的電商消費(fèi)的軟硬件產(chǎn)品許可模式是單機(jī)版的,而云計(jì)算環(huán)境下許可模式轉(zhuǎn)變?yōu)镾aaS模式;傳統(tǒng)的客戶消費(fèi)模式是電腦網(wǎng)上支付,而云計(jì)算環(huán)境下的支付方式轉(zhuǎn)變?yōu)橐苿?dòng)支付。(2)應(yīng)用模式轉(zhuǎn)變。傳統(tǒng)的企業(yè)應(yīng)用都是基于CRM、EIP的,云計(jì)算技術(shù)應(yīng)用到電商后,這些應(yīng)用都可以托管到云端。(3)外包模式轉(zhuǎn)變。電子商務(wù)領(lǐng)域的基礎(chǔ)架構(gòu)以及人才等都可以以外包的方式完成,以此實(shí)現(xiàn)業(yè)務(wù)的轉(zhuǎn)型;這種轉(zhuǎn)型方式甚至成為了電子商務(wù)中引入云計(jì)算的一種具體體現(xiàn)。隨著智能手機(jī)的不斷發(fā)展,移動(dòng)電子商務(wù)也逐漸成為一種常見的商務(wù)領(lǐng)域,并有逐步替代傳統(tǒng)電子商務(wù)的趨勢(shì)?;谠朴?jì)算的電子商務(wù)中的核心是電商企業(yè),是價(jià)值的設(shè)計(jì)者;客戶是電商的資源,電商企業(yè)為獲得最大化利益,就需要利用云計(jì)算技術(shù)整合價(jià)值鏈,幫助用戶獲得享用云計(jì)算所帶來的便利性。在基于云計(jì)算的電商模型中,客戶是整個(gè)模型的中心,電商企業(yè)在對(duì)市場(chǎng)進(jìn)行調(diào)研后識(shí)別客戶的需求,并整合電商、運(yùn)營(yíng)商、設(shè)備及內(nèi)容提供商等各種資源,構(gòu)建起整個(gè)云計(jì)算電子商務(wù)平臺(tái)。云計(jì)算平臺(tái)能夠整合所有參與電子商務(wù)的資源,協(xié)調(diào)并決定整個(gè)商務(wù)活動(dòng)的價(jià)值走向。例如,通過云計(jì)算平臺(tái),解決方案提供商可以提供服務(wù),電商對(duì)這些服務(wù)整合后可以再提供給用戶。云計(jì)算提供商提供服務(wù)器集群,電商可以使用這些計(jì)算能力解決業(yè)務(wù)需要的各種資源。與此同時(shí),電商的各種應(yīng)用是存儲(chǔ)在云中的,不必考慮存儲(chǔ)及處理能力的瓶頸問題,也不需要額外購(gòu)買高性能的應(yīng)急設(shè)備,降低了成本需求。另外,數(shù)據(jù)的集中存儲(chǔ)也方便全面的監(jiān)控和管理,隔離的虛擬化技術(shù)又從另外一方面提供了一定的安全性[6]。電子商務(wù)活動(dòng)中,信息共享及業(yè)務(wù)協(xié)作是一個(gè)重要的環(huán)節(jié),云計(jì)算技術(shù)中資源分配的高度靈活性能夠輕松實(shí)現(xiàn)電商、客戶及其他參與者的信息共享。當(dāng)有任何更新和改變時(shí),電子商務(wù)的所有參與者都可以即時(shí)得知。

4總結(jié)

在解決大規(guī)模數(shù)據(jù)處理的問題上,云計(jì)算技術(shù)具有無可比擬的優(yōu)勢(shì)。它可以借助虛擬化技術(shù)和分布式計(jì)算提高后臺(tái)的數(shù)據(jù)處理能力,并為用戶提供統(tǒng)一的應(yīng)用平臺(tái)。電子商務(wù)是計(jì)算技術(shù)的一個(gè)典型應(yīng)用領(lǐng)域,商務(wù)數(shù)據(jù)被部署在數(shù)據(jù)中心,并向用戶提供集中式的服務(wù)。云計(jì)算技術(shù)的這些特點(diǎn)決定了電子商務(wù)獲得可以有效降低交易成本,在降低運(yùn)行負(fù)荷的情況下提高數(shù)據(jù)中心的運(yùn)行效率。本文首先簡(jiǎn)單介紹了云計(jì)算技術(shù)及云計(jì)算的服務(wù)模式,并說明了云計(jì)算的核心技術(shù);然后分析了電子商務(wù)的數(shù)據(jù)管理模型,從多個(gè)層面介紹了電子商務(wù)數(shù)據(jù)組織過程中涉及的各項(xiàng)技術(shù);最后,本文闡述了云計(jì)算技術(shù)在電子商務(wù)領(lǐng)域的應(yīng)用。

作者:米仁沙·艾尼 單位:喀什大學(xué)