時間:2023-12-05 11:00:59
序論:好文章的創(chuàng)作是一個不斷探索和完善的過程,我們?yōu)槟扑]十篇云計算技術(shù)分析范例,希望它們能助您一臂之力,提升您的閱讀品質(zhì),帶來更深刻的閱讀感受。
云計算技術(shù)可以給提供計算機數(shù)據(jù)傳遞與共享的條件,融合軟硬件數(shù)據(jù)保存,促進計算機處理工作更好的開展。云計算技術(shù)可以給用戶提供良好的網(wǎng)絡環(huán)境與保存空間,處理數(shù)據(jù)傳遞環(huán)節(jié)的各項問題。與傳統(tǒng)大數(shù)據(jù)分析技術(shù)相比,云計算計算可以提高大數(shù)據(jù)分析質(zhì)量。人們借助云計算技術(shù)獲得云終端的數(shù)據(jù),切實滿足人們對于數(shù)據(jù)的需求?,F(xiàn)階段計算機市場形成完善的結(jié)構(gòu)體系,圍繞云計算技術(shù)推動計算機大數(shù)據(jù)分析工作的開展,奠定后期云計算技術(shù)發(fā)展的基礎。目前,人們生活中全面運用云計算技術(shù),基于云計算技術(shù)研發(fā)的服務器及操作系統(tǒng)方便人們處理各類信息技術(shù)。同時,云計算技術(shù)數(shù)據(jù)保存有著較強的安全性,極小可能出現(xiàn)數(shù)據(jù)丟失情況,滿足人們的實際需求,直接體現(xiàn)出云計算技術(shù)的優(yōu)勢。優(yōu)化云計算環(huán)境下計算機的數(shù)據(jù)處理中心,就可以不斷提升計算機的云計算能力,讓云計算不僅為網(wǎng)絡信息所用,還在計算機網(wǎng)絡安全中發(fā)揮極為重要的作用。目前,計算機的使用人群更為注重的是在高速發(fā)達的信息社會,自己的信息,也就是使用計算機網(wǎng)絡的安全性能是否能得到保障,這時候考驗的就是云計系統(tǒng)的完善性。目前存在的最主要計算機安全問題就是黑客問題和系統(tǒng)漏洞問題。系統(tǒng)漏洞這一人為因素可以通過不斷檢索進行漏洞的發(fā)現(xiàn)和修補,面對黑客的攻擊,能夠做的就是防患于未然,不斷地升級和優(yōu)化系統(tǒng),最終達到完善的數(shù)據(jù)處理效果。
2云計算技術(shù)下計算機大數(shù)據(jù)分析面臨的問題
2.1網(wǎng)絡技術(shù)安全
由于相關技術(shù)的不斷發(fā)展,云計算環(huán)境下的網(wǎng)絡安全技術(shù)正在朝著穩(wěn)定和成熟的方向發(fā)展,但在具體的應用過程中依然表現(xiàn)出一定的網(wǎng)絡安全問題,因此用戶在使用過程中應該做好相關的應對工作。網(wǎng)絡安全問題具體表現(xiàn)在用戶在使用信息傳輸?shù)倪^程中,一旦出現(xiàn)服務性中斷問題,難以保證數(shù)據(jù)的安全性,啟動被動保護模式的情況使信息的安全性更加難以保障,這也成為云計算模式下的網(wǎng)絡技術(shù)安全中的重點問題,一旦得不到及時有效的解決,用戶在使用過程中就會受到不同程度的威脅。
2.2網(wǎng)絡環(huán)境安全
網(wǎng)絡環(huán)境安全是保證網(wǎng)絡正常使用,信息傳輸質(zhì)量有保證的重要前提,一旦網(wǎng)絡環(huán)境存在不安全因素,將會引發(fā)病毒的入侵和黑客的攻擊。因此網(wǎng)絡環(huán)境安全也是云計算技術(shù)價值得以發(fā)揮的重要前提。計算機在使用過程中如果長期受到病毒的困擾和黑客的威脅,將會降低人們對計算機的信賴性,甚至在工作和生活中將會在網(wǎng)絡環(huán)境安全方面投入更多的成本。
3計算機大數(shù)據(jù)分析中云計算技術(shù)的具體應用
3.1數(shù)據(jù)傳輸安全分析
在云計算的作用下,云安全含義逐漸形成,具體來說,云安全主要指在用戶借助云計算技術(shù)來實現(xiàn)計算機大數(shù)據(jù)分析時,讓數(shù)據(jù)安全性得到了保證。用戶端數(shù)據(jù)和數(shù)據(jù)安全往往呈現(xiàn)出正比關系,隨著應用群體數(shù)量的增多,涉及的計算機數(shù)據(jù)范疇將不斷擴充,假設計算機遭受病毒的攻擊,可以在云計算技術(shù)的作用下實現(xiàn)病毒的攔截,以此讓計算機數(shù)據(jù)安全性得到保證。從云計算技術(shù)自身角度來說,其提供的各個服務均是由IaaS基礎設施級服務以及PaaS平臺級服務兩項內(nèi)容構(gòu)建而成。首先,IaaS基礎設施級服務其作用在于,可以給用戶提供對應的服務,也就是對各個計算機基礎設備進行操作和應用,其中包含了CPU處理、數(shù)據(jù)保存、數(shù)據(jù)傳遞等。其次,PaaS平臺級服務則是指,把云計算中各個服務器及開發(fā)環(huán)境當作服務,通過PaaS平臺用戶能夠結(jié)合自身需求實現(xiàn)對應操作流程的部署和應用。
3.2監(jiān)督數(shù)據(jù)資源共享
網(wǎng)絡資源在傳輸過程中遭遇到的安全威脅是用戶時時刻刻關注的問題,因此在具體的工作和管理中,需要提高云計算網(wǎng)絡安全技術(shù)的應用程度,通過不斷創(chuàng)新安全模式,完善相應的防護體系,從而有效消除安全性問題,提升數(shù)據(jù)傳輸?shù)陌踩院头€(wěn)定性。具體在應用過程中,可以借助云計算技術(shù)的優(yōu)勢,對數(shù)據(jù)傳輸?shù)恼麄€路徑進行監(jiān)控,保證傳輸通道環(huán)境的安全性,一旦出現(xiàn)問題及時進行預警,有效預防黑客的攻擊,降低網(wǎng)絡安全事故發(fā)生的概率。對此,有關部門應該提高重視程度,同時完善相應的監(jiān)督管理制度,采用科學的管理方式,實現(xiàn)預期的監(jiān)測目標。
3.3提高數(shù)據(jù)使用安全
計算機用戶本身的安全意識也是當前需要關注的重要方面,為了進一步提升用戶數(shù)據(jù)信息和計算機系統(tǒng)的安全系數(shù),需要重視身份認證工作的提升,具體可以使用實名制的方式進行認證處理,從而不斷提升整個網(wǎng)絡結(jié)構(gòu)的安全性。對于網(wǎng)絡應用過程中涉及到的安全問題,可以通過實名追蹤的方式進行可疑目標鎖定,從而有效控制惡意攻擊情況的發(fā)生。但在應用過程中也需要重視假人名情況的出現(xiàn),提高網(wǎng)絡數(shù)據(jù)信息竊取的預防水平。計算機網(wǎng)絡環(huán)境算是一種相對開放的環(huán)境,在使用過程中會面向大量的用戶,通過重視用戶的身份認證,可以有效避免用戶對數(shù)據(jù)的非法訪問。同時在使用者進行計算機登錄和使用的時候,需要對用戶名和密碼進行核實。按照權(quán)限的不同,確保數(shù)據(jù)庫信息的安全有效性。通過對數(shù)據(jù)庫信息加密處理,可以確保數(shù)據(jù)庫信息的安全性。這種加密處理可以在原有數(shù)據(jù)信息的基礎上進行算法的處理改進,使用者可以通過自身的權(quán)限獲取想要了解的信息,如果沒有解密方式,不法分子將會難以獲取數(shù)據(jù)的原始信息。
3.4網(wǎng)絡安全等級防護
在云計算環(huán)境下的安全管理中心具備系統(tǒng)管理、安全管理和安全審計等功能,能夠滿足不同云計算環(huán)境下不同安全等級的保護要求,并且通過服務層的安全保護框架,實現(xiàn)對不同等級云服務客戶端的安全保護,為使用者提供安全可靠的資源訪問服務。在訪問云服務商時,用戶可通過通信網(wǎng)絡、API接口和Web服務方式訪問云服務器,但是用戶終端系統(tǒng)的安全防護不在網(wǎng)絡安全等級保護框架體系內(nèi)。在保護框架體系內(nèi),資源層和服務層安全是云計算環(huán)境安全保護的重點,資源層包括物理資源安全和虛擬資源安全,應按照安全設計要求構(gòu)建資源層安全保護框架。云計算環(huán)境下的網(wǎng)絡安全等級保護要針對不同等級云計算平臺確定不同的安全目標,一般情況下安全保護等級最低為二級,并根據(jù)安全目標和等級要求實施安全設計步驟,具體包括:第一步,根據(jù)云平臺的租戶數(shù)量和業(yè)務系統(tǒng)情況確定云計算安全保護標準,制定云計算平臺的安全保護策略,以避免在云計算平臺上發(fā)生安全事件;第二步,細化安全技術(shù)要求,針對安全計算環(huán)境、安全區(qū)域邊界、安全通信網(wǎng)絡以及安全管理中心制定出相應的安全保護策略;第三步,根據(jù)云計算功能框架中的各層功能和保護要求,制定安全技術(shù)機制,使其滿足云計算功能框架的安全保護要求。在完成云計算環(huán)境下的網(wǎng)絡安全等級保護設計之后,還應增加虛擬化安全、鏡像安全、接口安全等安全控制點,并采用訪問控制技術(shù)、身份識別技術(shù)等安全防護技術(shù),實現(xiàn)與云計算平臺上各功能層次的對接,提出各層的安全保護措施。
3.5重視相應程序開發(fā)
中圖分類號:TP393 文獻標識碼:A
0. 引言
云計算技術(shù)是近些年新出現(xiàn)的應用技術(shù),能夠在網(wǎng)絡技術(shù)的應用下,將軟硬件系統(tǒng)加以整合成價值更高的分布式系統(tǒng),從而來實現(xiàn)數(shù)據(jù)可靠性存儲以及高效處理。在當前社會迅速發(fā)展背景下,加強對云計算技術(shù)的應用就比較重要。云計算技術(shù)在當前的電子商務以及IDC中心能方面都有著相應的應用,也發(fā)揮著積極的作用。
1. 云計算技術(shù)的內(nèi)涵和主要特征
1.1 云計算技術(shù)的內(nèi)涵分析
云計算技術(shù)主要是面向服務器方式來為用戶提供計算資源的,是資源交付以及使用的重要模式。在對網(wǎng)絡的應用下,從而獲得需要的資源,在云當中的資源使用是能夠進行無限擴展的,對云中的資源也能隨時獲得。用戶在對云計算技術(shù)的應用中,只要能掌握應用的功能即可,結(jié)合自身對資源的需求在云計算技術(shù)下都能得到實現(xiàn)。
對云計算技術(shù)的統(tǒng)一性概念至今還沒有形成,從諸多對云計算技術(shù)的定義綜合來看,云計算主要是通過云加終端的技術(shù)模式。其中的云就是對網(wǎng)絡的代稱,而終端則是服務設備,云計算是將虛擬技術(shù)作為主要的服務模式的,所以云計算并非是孤立存在的,是通過多個方面進行綜合形成的一個概念。云計算在具體的工作中是將服務形式對網(wǎng)絡中用戶進行提供必要計算機網(wǎng)絡資源,在資源的豐富性要遠遠優(yōu)于傳統(tǒng)的計算機技術(shù)資源存儲。云計算技術(shù)在當前的各個領域中都有著應用。
1.2 云計算平臺的主要特征分析
云計算平臺的特征體現(xiàn)得比較顯著,對底層的軟硬件實施細節(jié)進行了屏蔽,能夠有效提供鏈接服務標準接口,這樣就方便用戶和網(wǎng)絡進行連接實現(xiàn)資源的共享。在當前云計算平臺的不斷發(fā)展下,已經(jīng)和云計算的技術(shù)框架相符合,由于實際應用不同,在平臺類型方面也會有著一定的差距。例如綜合性的云計算平臺主要是提供上層服務資源的,在基礎資源方面主要是提供網(wǎng)絡服務的,而在虛擬化技術(shù)方面主要是提供基礎資源的相關服務。
但是不管是哪種類型的云計算平臺,體現(xiàn)出的特征都是比較顯著的。
第一,在靈活性特征上比較鮮明,在需要的規(guī)模方面能夠按照實際需求加以調(diào)整。在對虛擬技術(shù)的應用下,能夠?qū)崿F(xiàn)按需服務的目標,這樣就能有效地降低云計算平臺應用成本,對實際的需求也能有效地保障。在云計算平臺的應用下,能夠?qū)?shù)據(jù)的共享輕松地實現(xiàn)。
第二,云計算平臺的應用特征還體現(xiàn)在應用時不用關心底層實現(xiàn),只要能夠?qū)μ峁┑慕涌诩右哉{(diào)整即可完成工作,在平臺的方便性特征上就比較突出。除此之外的數(shù)據(jù)安全可靠特征也比較鮮明,云計算的數(shù)據(jù)信息存儲的安全性要能得到有效保證。
第三,云計算平臺的另一特征就是高性能特征。由于云計算平臺是大規(guī)模數(shù)據(jù)中心,在提供的服務方面也比較優(yōu)越,在資源的利用上是無限量的。云計算為用戶提供了諸多存儲管理的數(shù)據(jù)控件,在計算能力方面也比較強大,這些功能就使得在應用過程中有著無限的資源。
2. 云計算的體系結(jié)構(gòu)和應用優(yōu)勢分析
2.1 云計算的體系結(jié)構(gòu)分析
從云計算的體系機構(gòu)層面來看,云計算作為比較強大的云網(wǎng)絡,將其和網(wǎng)絡以及服務器相連接,就能在資源上得到無限擴大,在存儲能力以及計算能力都是史無前例的。從云計算的體系結(jié)構(gòu)層面來看,主要有幾個重要的要素(如圖1所示)。其中的云用戶端是比較關鍵的。這是用戶請求服務的交互界面,是對云使用的入口,通過瀏覽器進行注冊然后登入和定制服務,然后對用戶進行管理和配置。在管理系統(tǒng)和部署工具要素上,主要是提供管理服務的,然后對云用戶實施管理,進行對用戶授權(quán)和認證等。也能對可用計算資源進行管理,結(jié)合實際的請求來轉(zhuǎn)發(fā)相應的應用程序,對資源的調(diào)動和部署按照實際加以實施。
另外,在云計算體系結(jié)構(gòu)中的服務目錄要素方面,主要是用戶在獲得了相應權(quán)限后,對服務列表進行選擇以及定制。也能對定制的目錄進行操作,這樣就會在用戶端的界面顯示相應的圖表以及服務的內(nèi)容等。在監(jiān)控結(jié)構(gòu)方面主要是對系統(tǒng)資源使用情況的監(jiān)控,對節(jié)點的同步設置以及資源的監(jiān)控,按照資源能夠合理地分配給用戶。在服務器集群的結(jié)構(gòu)要素方面,通過管理系統(tǒng)進行實際的管理,對一些計算實施高效的處理,在進行存儲的時候?qū)?shù)據(jù)切割算法加以應用。
2.2 云計算技術(shù)的應用優(yōu)勢分析
云計算技術(shù)在實際中的應用中有著諸多的優(yōu)勢發(fā)揮,在具體的應用過程中,允許用戶自定義資源使用的時間,這就對資源的閑置或者是過載問題的出現(xiàn)有了避免。并且在分布式處理以及并行式處理的特性上展現(xiàn)得比較顯著,這就對數(shù)據(jù)處理需要的時間得到了很大程度的縮短。云計算平臺能夠為用戶提供比較安全可靠的數(shù)據(jù)存儲中心,在完善的權(quán)限管理規(guī)則以及數(shù)據(jù)備份技術(shù)等綜合性應用下,就能對數(shù)據(jù)信息的安全完整性得到有效保障。
另外,云計算中的一些功能都是在云端的,這就在客戶端的要求得到了有效降低。在對云計算技術(shù)的實際應用過程中,能對不同類型以及性能的設備加以應用進行訪問云空間,進行執(zhí)行相應的操作,有的在網(wǎng)頁的應用下就能得到有效完成。在云計算技術(shù)的應用下,能夠?qū)?shù)據(jù)間的共享和傳輸也比較的方便。所以在具體的應用過程中就有著很大的優(yōu)勢。
3. 云計算技術(shù)的實際應用和發(fā)展趨勢
3.1 云計算技術(shù)的實際應用分析
云計算技術(shù)在實際中的應用范圍比較廣泛,例如在ICT業(yè)務平臺中的應用上就發(fā)揮著重要的作用。以往的ICT運行模式有著諸多缺陷,資源浪費問題比較突出,在管理的效率也比較低,對實際的需求得不到有效滿足。但是在云計算技術(shù)的應用下,就能夠?qū)@一業(yè)務平臺實現(xiàn)升級,能夠建立集中性的資源池管理的體系,對用戶能夠提供Paas、Saas等服務,這樣就大大地提升了服務效率??蛻糁恍枰獙g覽器進行操作就能完成數(shù)據(jù)系統(tǒng)的訪問管理,在使用上比較方便,也對這一業(yè)務的不兼容終端的問題得到了有效解決,從整體上提升了業(yè)務水平。
云計算技術(shù)在IDC數(shù)據(jù)處理平臺中的應用作用的積極發(fā)揮也比較突出。主要是在虛擬技術(shù)的應用下,能對這一控制中心的軟硬件資源實施有效整合,對其中的各種資源實施動態(tài)化的管理監(jiān)控等。不能為用戶提供IaaS的相關業(yè)務服務,對用戶也能出租硬件資源,這樣就比較便于系統(tǒng)部署工作的完成,在資源的分配方面也能合理化地完成。在云計算技術(shù)的應用作用下,能夠在計費功能上得到充分發(fā)揮,能結(jié)合資源的使用情況實施付費,這樣就有效地對投入成本得到了降低,在管理的平臺方面也能實現(xiàn)規(guī)范化以標準化的目標。
3.2 云計算技術(shù)的發(fā)展趨勢探究
云計算技術(shù)在實際應用中發(fā)揮著積極作用,在未來的發(fā)展中,云計算技術(shù)將會有著更大的發(fā)展?jié)摿?。云計算對互?lián)網(wǎng)的應用以及產(chǎn)品應用模式等方面都會產(chǎn)生很大的影響,主要的發(fā)展方向就向著手機云計算以及商業(yè)發(fā)展和時代資源這幾個方向邁進。在移動終端設備的迅速發(fā)展下,云計算技術(shù)的兼容性就得到了體現(xiàn),為客戶在移動終端的服務上得到了進一步發(fā)展,能夠?qū)⑹謾C和云計算技術(shù)得到有機結(jié)合。這樣就能更為便捷地實現(xiàn)高效云計算的應用功能。
結(jié)語
總而言之,云計算技術(shù)的不斷發(fā)展過程中,對社會的進步發(fā)展起到的作用也愈來愈大,在相應的維護工作有效性以及經(jīng)濟性方面將更為重要。云計算的實際應用中的優(yōu)勢發(fā)揮,將會進一步地為這一技術(shù)的推廣起到積極作用,在社會效益上就會有更大的價值體現(xiàn)。
參考文獻
[1]李瑛,胡新煒.云計算關鍵技術(shù)分析研究[J].現(xiàn)代電子技術(shù),2014(14):65-66.
[2]許知博,劉釗.基于云計算的工廠信息監(jiān)測系統(tǒng)設計[J].電子科技,2011(8):148-150.
[3]曹青.云計算技術(shù)的應用及展望[J].江蘇通信,2012(2):59-62.
對于網(wǎng)絡技術(shù)的發(fā)展,云計算技術(shù)是核心技術(shù),它作為一種新興資源使用模式,影響著網(wǎng)絡的未來發(fā)展,并改變數(shù)據(jù)訪問、應用模式,實現(xiàn)高效、安全的應用交付[1]。在電力系統(tǒng)中,云計算技術(shù)的應用,為電力系統(tǒng)的運行、電力企業(yè)的辦公等提供方便,應用前景廣泛。
一、電力系統(tǒng)中云計算技術(shù)的應用
(一)電力系統(tǒng)的運行方式
云計算具有強大的存儲與計算能力,可擴展性強,便利軟件的開發(fā)、資源共享,在電力系統(tǒng)中得到廣泛應用。對于智能電網(wǎng)而言,其利用通信技術(shù)與現(xiàn)代信息,對電力系統(tǒng)的發(fā)電、變電、用電等環(huán)節(jié)的數(shù)據(jù)采集、存儲、傳輸?shù)冗M行不斷深化,以此使系統(tǒng)達到數(shù)字化的數(shù)據(jù)采集、自動化的生產(chǎn)、信息化的經(jīng)營管理等。近幾年,隨著電力工業(yè)的改革、優(yōu)化,電力系統(tǒng)不斷采用分布式電源,電力系統(tǒng)逐漸向分布式空控制發(fā)展。
(二)在信息處理方面的應用
將云計算技術(shù)應用于電力系統(tǒng),利用智能云,拆分電力系統(tǒng)內(nèi)網(wǎng)中龐大的計算,使其形成比較小的計算塊,然后通過多臺的服務器對其進行處理,并向客戶反饋處理后的結(jié)果。通過這種方式,便可實現(xiàn)在極短的時間內(nèi),智能云對巨大信息的處理。此外,利用云計算,實現(xiàn)資源的共享,方便員工的信息利用與工作開展,而計算能力的強大也方便了系統(tǒng)中各種復雜的計算問題的解決,優(yōu)化了系統(tǒng)控制。
(三)電力系統(tǒng)潮流計算
通過電力云的應用,可提高電力系統(tǒng)運行的潮流計算速度,優(yōu)化潮流計算方法。利用最優(yōu)潮流并行算法,在進行計算預想事故時,可對預想事故進行分組,將分為多個不同的組別,然后分配給不同的處理器,對其進行分析。同時,還可利用于牛頓法的并行潮流解法,通過分解、協(xié)調(diào)等技術(shù)手段,協(xié)調(diào)分類系統(tǒng)中出現(xiàn)的問題,將問題分解為多個子問題,通過多個處理器對其進行計算求解,通過這這種方式,提高了計算速度,對需要處理的預想事故數(shù)目進行準確的計算。
二、電力系統(tǒng)中云計算技術(shù)的重點
(一)海量數(shù)據(jù)管理技術(shù)
由于云計算平臺為大量用戶提供支持,而每個用戶都有自己的數(shù)據(jù),因此在系統(tǒng)內(nèi)會產(chǎn)生海量數(shù)據(jù)。研究云計算在電力系統(tǒng)中的應用,根據(jù)電力系統(tǒng)與云計算自身的特點,合理優(yōu)化應用技術(shù)。在電力系統(tǒng)仿真計算云環(huán)境下,數(shù)據(jù)的檢索、存儲、管理技術(shù)系統(tǒng)運行的關鍵。利用數(shù)據(jù)庫、選擇合適的分布式文件系統(tǒng),可有效解決災難數(shù)據(jù)恢復、數(shù)據(jù)分布式檢索等問題。
(二)仿真數(shù)據(jù)安全技術(shù)
在系統(tǒng)運行中,為了確保數(shù)據(jù)安全,需要認真研究數(shù)據(jù)管理、用戶管理、資源認證、權(quán)限管理等技術(shù),確保電力系統(tǒng)仿真數(shù)據(jù)的安全性、完整性。因此,在系統(tǒng)運行中,云計算技術(shù)應加強對數(shù)據(jù)的保密,提高仿真數(shù)據(jù)的安全性,可通過數(shù)據(jù)加密技術(shù),利用華為技術(shù)公司的IaaS層資源管理軟件,使數(shù)據(jù)安全問題的到有效解決[3]。
(三)大規(guī)模分布式計算技術(shù)
在電力系統(tǒng)中,對于大規(guī)模分布式仿真技術(shù)的應用,包括仿真任務的動態(tài)分配、仿真時間的準確評估、仿真任務的優(yōu)先管理等。在云環(huán)境下,對電力系統(tǒng)的仿真技術(shù)屬于密集型與計算密集型應用,其數(shù)據(jù)的調(diào)度、技術(shù)需要遵守“就近原則”,充分利用計算資源,并降低數(shù)據(jù)的獲取時間,使單個仿真任務性能得到最大限度地提高,優(yōu)化云仿真系統(tǒng)的總體性能。
(四)一體化數(shù)據(jù)管理技術(shù)
對于云計算在電力電力系統(tǒng)中的應用而言,在系統(tǒng)的多級調(diào)度中,采用一體化數(shù)據(jù)管理技術(shù)與模型。在目前的的數(shù)據(jù)模型中,一般采用EICCIM國際標準,并用國網(wǎng)E格式規(guī)范數(shù)據(jù)交換,而對于計算輸入數(shù)據(jù)而言,可采用BPA和PSASP兼容的模式。
三、結(jié)語
云計算作為一個新技術(shù),各領域的應用還處于初步階段,云計算技術(shù)的應用與技術(shù)發(fā)展還有待提升。云計算技術(shù)在電力系統(tǒng)中應用,為電力系統(tǒng)的運行提供了保障,電力云的提出與構(gòu)建,對電力系統(tǒng)的計算、存儲、信息交換帶來影響,通過對信息資源的整合調(diào)度,為電力系統(tǒng)的運行、企業(yè)辦公、計算等帶來改變,提供了系統(tǒng)的存儲、計算能力,使電力系統(tǒng)的整體性能得以提高。
參考文獻
中圖分類號:TE319 文獻標識碼:A 文章編號:1671-7597(2013)22-0106-01
1 什么是云計算
云計算技術(shù)的實質(zhì)是將網(wǎng)絡中的各種軟硬件資源進行集合,并對資源進行統(tǒng)一管理和分配,協(xié)同合作完成用戶提出的需求與業(yè)務,其關鍵技術(shù)包括以下幾個方面。
1)虛擬機技術(shù)。
虛擬機技術(shù)就是將服務器進行虛擬化,將多個虛擬服務器當成一個服務器,集合多個服務器的資源,統(tǒng)一進行分配和管理,以實現(xiàn)對數(shù)據(jù)的處理和運算。
2)數(shù)據(jù)存儲技術(shù)。
云計算的存儲技術(shù)是利用分布式系統(tǒng)、計算機集群的原理,整合網(wǎng)絡中數(shù)量龐大的各種類型的存儲設備,通過軟件集合的方式共同工作,達到向外部提供業(yè)務訪問和數(shù)據(jù)存儲的功能。目前數(shù)據(jù)存儲技術(shù)主要有Google的GFS(Google File System,非開源)以及HDFS(Hadoop Distributed File System,開源),目前這兩種技術(shù)已經(jīng)成為事實標準。
3)并行計算。
并行計算是指利用大量的計算資源同時執(zhí)行多個計算過程來解決計算問題,可以有效的提高計算效率與處理速度。并行計算的運行原理是將一個大的問題化整為零,分成多個小的問題,分別對這些問題計算處理,最后將計算完成的結(jié)果進行整合處理,返還給用戶。
2 我國石油工業(yè)發(fā)展現(xiàn)狀與趨勢分析
隨著國際石油行業(yè)的發(fā)展,國內(nèi)石油企業(yè)開始意識到信息化在企業(yè)發(fā)展中的重要性。我國的石油行業(yè)目前正在由傳統(tǒng)模式向信息化、數(shù)字化進行轉(zhuǎn)變。信息化的企業(yè)可以為企業(yè)管理者提供更多的資源,更高效的管理模式。
企業(yè)信息化需要重點解決以下問題。
1)信息檢索花費大量時間。
缺少統(tǒng)一的信息共享策劃,目前階段在企事業(yè)單位內(nèi),信息的傳輸和利用效率還比較低。例如生產(chǎn)設施的科研資料、設計資料不能有效傳遞到生產(chǎn)運營階段,很多設計和施工階段的資料都存放在檔案館,造成生產(chǎn)運行和維護階段沒有準確資料進行設備維護,另外已建生產(chǎn)系統(tǒng)設施運行的生產(chǎn)經(jīng)驗也無法傳遞到的設計階段。經(jīng)過數(shù)年的實踐證明,信息資源共享可以有效的提高企業(yè)的生產(chǎn)效率,就國際石油企業(yè)的發(fā)展看,信息技術(shù)的應用增強了企業(yè)各部門的協(xié)同工作,加快了企業(yè)對市場的反應能力。
2)需要全生命周期的生產(chǎn)設施管理。
項目的科研、設計、施工、試運行、生產(chǎn)運行、運行維護各階段之間資料不能有效傳遞,造成設計的資料在生產(chǎn)階段無法利用。在運行維護階段缺少準確的資料維護設備。
3)缺少行業(yè)信息化建設標準。
石油行業(yè)中各級企業(yè)的地理信息資源分布一般比較分散,油田勘探開發(fā)、煉油生產(chǎn)、化工生產(chǎn)、產(chǎn)品銷售、工程設計、工程建設等部門都有各自的信息管理系統(tǒng),多個系統(tǒng)的功能重疊,企事業(yè)單位之間無法順利的共享信息資源,導致了系統(tǒng)的重復建設。
4)信息展示不直觀。
信息展示沒有空間信息和圖形作為載體,顯得空洞、乏味,不夠直觀。
3 云計算技術(shù)在石油行業(yè)的應用
3.1 構(gòu)建統(tǒng)一的“數(shù)字油田”地理空間框架數(shù)據(jù)庫
建設統(tǒng)一的基礎地理數(shù)據(jù)庫,包括各級比例尺的二維矢量數(shù)據(jù)庫、影像數(shù)據(jù)庫、三維基礎地理數(shù)據(jù)庫等。
3.2 制定“數(shù)字油田”建設參考標準
制定石油企業(yè)地理信息標準和生產(chǎn)設施數(shù)字化參考標準,為“數(shù)字油田”的基礎數(shù)據(jù)采集、交換、共享、服務提供實施基礎。
3.3 研制“數(shù)字油田”相關模型,探索“數(shù)字油田”建設流程
分析研究石油生產(chǎn)設施全生命周期中各階段的特點,在統(tǒng)一的地理信息框空間架上使用數(shù)字化技術(shù)深化描述石油生產(chǎn)設施科研、設計、施工、運行、維護和改造的過程,分別建立生產(chǎn)設施設計模型、工程建設管理模型、生產(chǎn)營運模型、維護與改造模型等,同時探索“數(shù)字油田”建設流程,進而實現(xiàn)石油行業(yè)板塊之間的信息資源的有序流動,節(jié)約投資,延長生產(chǎn)設施的壽命提高投資回報率。
3.4 整合各類專業(yè)信息資源,建立“數(shù)字油田”綜合資源庫
通過生產(chǎn)設施數(shù)字化建模,收集整理生產(chǎn)設施各類設計、施工和改造的基礎數(shù)據(jù),建立各類專業(yè)地理數(shù)據(jù)庫,與基礎地理數(shù)據(jù)庫共同組成“數(shù)字油田”綜合資源庫,為生產(chǎn)設施全生命周期管理提供基礎。實施過程中不斷完善各類生產(chǎn)設施基礎信息收集、整理、數(shù)字化建模、入庫流程和方法。
3.5 建設“數(shù)字油田”典型生產(chǎn)營運指揮應用
充分利用“數(shù)字油田”綜合資源庫的建設成果,與生產(chǎn)實際工作需求緊密結(jié)合,選擇數(shù)字化基礎好的板塊建設生產(chǎn)營運典型應用,為全面建設集團化生產(chǎn)營運指揮平臺積累實施經(jīng)驗。
3.6 試點實施“數(shù)字油田”
在石油上中下游選擇規(guī)模較大,基礎條件較好的企業(yè),建立總部和企業(yè)兩級分布式平臺,利用“云技術(shù)、云存儲”技術(shù),實現(xiàn)集團內(nèi)總部和企業(yè)對基礎信息和運營動態(tài)的數(shù)據(jù)共享,促進石油行業(yè)的生產(chǎn)設計、施工、運行指揮、維護等流程改造,促進石油企業(yè)管理方式的變革。
4 結(jié)論
通過云計算技術(shù)使得在互聯(lián)網(wǎng)中可以自由的交換各種資源,比如硬件、軟件、硬件、平臺等。云計算具有虛擬化、通用性、超大規(guī)模、高可靠性等諸多特點。云計算雖然是新興的技術(shù),出現(xiàn)的時間不長,單卻給信息界帶來了巨大的改變。雖然有了云計算后,使得人們感受到了它的方便和高效,但是這項技術(shù)也對安全提出了更高的要求。作為云計算技術(shù)的受益者,只有清楚的認識到它在提供便捷的服務的同時所隱含的安全風險,并且針對這些風險和安全問題進行有效的規(guī)避、解決,才能充分發(fā)揮云計算的優(yōu)勢,使其為我們創(chuàng)造更多的效益。
參考文獻
[1]劉鵬.云計算(第2版)[M].電子工業(yè)出版社,2011.
[2]吳朱華.云計算核心技術(shù)剖析[M].人民郵電出版社,2011.
中圖分類號:G250.74 文獻標識碼:A 文章編號:1672-3791(2012)08(c)-0255-02
隨著Web2.0的發(fā)展導致數(shù)據(jù)量快速增長,如何處理海量的數(shù)據(jù)與服務,有效地為用戶提供方便、快捷的網(wǎng)絡服務,成為互聯(lián)網(wǎng)當前發(fā)展面臨的重大問題。提升圖書館社會地位的同時,也遇到了一些困境和挑戰(zhàn),如何在現(xiàn)有的技術(shù)水平條件下,利用較少的、合理的投資解決圖書館所面臨的上述問題,是當今圖書館在網(wǎng)絡環(huán)境下所要解決的重要難題,而云計算技術(shù)的出現(xiàn)無疑為上述問題的解決提供了一種嶄新的、較為理想的方法。
目前,CALIS數(shù)字圖書館云服務平臺已初步建成,該平臺作為一個載體,承載了圖書館所需的各種服務。圖書館可在云平臺上開發(fā)和集成新的服務,通過線上線下互動,以更好地滿足高校圖書館的內(nèi)部管理和用戶服務的需求,為實現(xiàn)來自不同服務平臺/系統(tǒng)的服務整合。CALIS數(shù)字圖書館云服務平臺能提供標準化、低成本、自適應、可擴展的數(shù)字圖書館統(tǒng)一服務和集成解決方案既能滿足CALIS構(gòu)建公有云服務中心的需要,也能滿足圖書館構(gòu)建私有服務云的需要,還能實現(xiàn)對這兩類服務云的整合。
1 云計算技術(shù)
1.1 云計算的概念
云計算的定義眾多,目前廣為認同的一點是,云計算是分布式處理、并行處理和網(wǎng)格計算的發(fā)展,或者說是這些計算機科學概念的商業(yè)實現(xiàn)。具體的說,云計算是基于因特網(wǎng)的超級計算模式,在遠程數(shù)據(jù)中心里,成千上萬臺電腦和服務器連接成一片電腦云,用戶可以通過電腦、手機等方式接入數(shù)據(jù)中心,按自己的需求進行運算。用戶所處理的數(shù)據(jù)并不存儲在本地,而是保存在互聯(lián)網(wǎng)上的數(shù)據(jù)中心中,用戶所需的程序也不是運行在自己的個人電腦、手機等終端設備上,而是運行在互聯(lián)網(wǎng)上大規(guī)模的服務器集群中。
1.2 云計算的特點
1.2.1 安全可靠的數(shù)據(jù)存儲中心
云計算使用了數(shù)據(jù)多副本容錯、計算節(jié)點同構(gòu)可互換等措施來保障服務的高可靠性,使用云計算比使用本地計算機可靠,同時嚴格的權(quán)限管理策略可以幫助用戶放心的與指定的人分享數(shù)據(jù),所有的服務分布在不同的服務器上,如果云中的某臺服務器出現(xiàn)了問題,立即會有其他服務器接管,以保證應用和計算的正常進行。
1.2.2 使用方便,性價比高
云計算集成了無數(shù)的軟件和服務,使用起來更方便、快捷。用戶只需要一臺連上Internet的電腦和瀏覽器,就可以隨時隨地獲取云服務。由于“云”的特殊容錯措施可以采用極其廉價的節(jié)點來構(gòu)成云,“云”的自動化集中式管理使大量企業(yè)無需負擔日益高昂的數(shù)據(jù)中心管理成本,因此用戶可以充分享受“云”的低成本優(yōu)勢。
1.2.3 無限的計算能力與空間容量
云服務中成千上萬的計算機,形成一個超強的服務器,當我們利用“云計算”時,成千上萬臺計算機會同時為我們服務,“云群”為存儲和管理數(shù)據(jù)提供無限多的空間。
1.2.4 虛擬化技術(shù)
將底層的硬件,包括服務器、存儲與網(wǎng)絡設備全面虛擬化,建立起一個共享的可以按需分配的基礎資源池。通過虛擬平臺,用戶使用網(wǎng)絡資源、計算資源、數(shù)據(jù)庫資源、硬件資源、存儲資源等,與在自己計算機上使用的感覺一樣。
1.2.5 潛在的危險性
云計算服務除了提供計算服務外,還必然提供存儲服務,但是云計算服務當前壟斷在私人機構(gòu)(企業(yè))手中,而他們僅僅能夠提供商業(yè)信用。一旦商業(yè)用戶大規(guī)模使用私人機構(gòu)提供的云計算服務,無論其技術(shù)優(yōu)勢有多強,都不可避免地讓這些私人機構(gòu)以“數(shù)據(jù)”的重要性挾制整個社會。另一方面,云計算中的數(shù)據(jù)對于數(shù)據(jù)所有者以外的其他用戶云計算用戶是保密的,但是對于提供云計算的商業(yè)機構(gòu)而言確實毫無秘密可言。
2 云計算給圖書館帶來的新機遇
2.1 真正的信息資源共享
云計算提供統(tǒng)一的信息資源平臺,對用戶端的設備要求很低(用戶使用手機、PDA等設備也可以使用圖書館提供的電子資源服務),而且提供了強大的無線接入功能,使用者既不需要在固定的時間和空間獲取資源,也不需要在個人終端上安裝各種各樣的軟件,可以輕松實現(xiàn)不同設備間的數(shù)據(jù)與應用共享,輕松實現(xiàn)館與館的數(shù)據(jù)共享。
2.2 安全的文件存儲
云計算為用戶提供了安全、可靠、經(jīng)濟方便的數(shù)據(jù)存儲中心,用戶不用再擔心數(shù)據(jù)丟失、病毒入侵等麻煩,云計算技術(shù)存貯與檢索利用方便,可能會使圖書館編目與圖書剔舊功能弱化,圖書館可能更多地會關注電子出版物的版權(quán)管理與使用問題。
2.3 強大的計算能力
普通的服務器的相關硬件資源都有一定的限制,若服務器同時響應用戶的數(shù)量超過了自身的限制將導致服務器的癱瘓。因此,為確保服務器內(nèi)數(shù)據(jù)資源的安全性及服務器的可靠運行。圖書館對服務器的最大服務響應數(shù)量及接入終端數(shù)量等都進行了一定的限制,如果有數(shù)萬用戶同時使用圖書館中的電子資源,有的用戶的訪問將出于安全的需要而不被響應。而應用云計算技術(shù),通過支付少量的費用,圖書館就可獲得云模式中百萬臺服務器提供的服務,用戶的請求便可在毫秒的時間內(nèi)獲得響應,從而使圖書館以較低的成本獲得較高的效益。
2.4 更低的運行費用
為了確保網(wǎng)書館工作正常平穩(wěn)的運行,圖書館人員需要經(jīng)常對圖書館的計算機、服務器等終端進行維護、升級和更新,很多圖書館由于技術(shù)力量較為薄弱,對新技術(shù)的使用總是小心謹慎。云計算的應用將改變這一狀況,由于云計算模式對于用戶終端的配置沒有限制。因此,有關的技術(shù)人員不必擔心需要升級圖書館的相關硬件,因為在“云”的另一端,有專業(yè)的管理人員幫你維護硬件,這樣工作人員的工作強度就會大大降低。或許如谷歌所構(gòu)想的那樣,在將來僅僅一個瀏覽器就能夠滿足用戶的所有需求,其他事情將由云計算服務提供商代為解決。據(jù)統(tǒng)計云計算可以幫助節(jié)約大至80%的使用面積,60%的電源和制冷消耗,各類型圖書館能夠為紙質(zhì)書刊騰出更多的使用空間,使館藏資源獲得更好的應用效果。
2.5 更有效的用戶服務
目前,數(shù)字圖書館的網(wǎng)絡數(shù)據(jù)基本上處于“分布式存儲,分布式訪問”的狀況,基于云計算的圖書館在技術(shù)上能夠?qū)⒎植际酱鎯Φ臄?shù)據(jù)庫和一站式的檢索界面結(jié)合起來,用戶通過Google式的檢索界面將檢索請求提交給云計算服務器,服務器根據(jù)用戶提交的請求調(diào)配強大的計算能力,充分分析用戶需求。在云計算模式中,相關的數(shù)據(jù)存儲在“云?!敝校脩艨梢栽陔S時隨地以某種便捷、方便、安全的方式獲得云中的相關的信息或服務。數(shù)字圖書館真正成為沒有圍墻的圖書館、沒有技術(shù)障礙的圖書館,信息用戶有更大的自由來選擇和控制自己的學習,真正做到“按需而用、即需即用、快速聚合”。
2.6 提高信息服務水平
在云計算環(huán)境下,數(shù)字圖書館的數(shù)據(jù)管理和信息設施的維護都交給了云計算中心,無需擔心數(shù)據(jù)出現(xiàn)問題,圖書館的信息人員應該將更多的精力投入到創(chuàng)新服務中,云計算環(huán)境下要求數(shù)字圖書館提供“服務主導型”的服務來滿足信息用戶更加個性化的信息需求,信息人員應該更主動、提供更多個性化的服務給信息用戶。
3 云計算在圖書館應用上面臨的問題
3.1 數(shù)據(jù)的安全問題
圖書館購買云計算服務后,將自己的數(shù)據(jù)遷移到“云”端,圖書館仍然完全擁有被托管數(shù)據(jù)的知識產(chǎn)權(quán),其他人不得使用和修改這些內(nèi)容。這應該成為圖書館應用云計算必須滿足的條件之一,被托管數(shù)據(jù)不能成為云計算企業(yè)開發(fā)利用的資源。
3.2 知識產(chǎn)權(quán)問題
在云計算模式中,各個加入云模式的圖書館之間可以通過有關的協(xié)議共享彼此的信息資源,也就是說“云”中的用戶像使用本館的電子資源一樣使用他館的電子資源。在基礎架構(gòu)“云圖書館”時,各成員館間可以通過有關的協(xié)議共建信息資源,對可能引起版權(quán)糾紛的資源、共享權(quán)限等問題要仔細研究、討論,制定可行的標準和方案,從而方便用戶使用各館信息資源。
3.3 網(wǎng)絡的建設、協(xié)議和接口問題
由于云計算也是建立在網(wǎng)絡的基礎上,所以網(wǎng)絡的暢通與否就關系到圖書館的數(shù)字資源能否順利的利用與共享,這是最關鍵的問題,同時由于各圖書館服務器的配置和所使用的操作系統(tǒng)也千差萬別,圖書館目前應當密切關注云服務提供商所針對不同的操作平臺開發(fā)的接口軟件,或與有關單位合作,開發(fā)適合本館具體情況的接口插件。
綜上所述,云計算技術(shù)的出現(xiàn)與發(fā)展,為圖書館的資源管理工作提供了方便,為存儲和管理數(shù)據(jù)資源提供了幾乎無限多的空間,也為圖書館完成各類數(shù)據(jù)資源服務提供了幾乎無限強大的計算能力,必將對圖書館的服務和管理帶來新的變革。當然,目前云計算的應用還處在探索發(fā)展階段,相信隨著圖書館界對云計算技術(shù)的關注以及云計算技術(shù)的日趨成熟,云計算技術(shù)在圖書館中的應用必將拭目以待。
參考文獻
[1] Sims K.IBM introduces ready-to-use cloud computing collaboration services get clients started with cloud computing[EB/OL].2007.http:///press/us/en/pressrelease/22613.wss.
[2] IBM. Google and IBM announced university initiative to address intemetscale computing challenges [EB/OL].(2007-10-08)[2008-10-15].http:///press/us/en/pressrelease/22414.wss.
1.1完全虛擬化
當前使用最為普及的虛擬化方式就是結(jié)合Linux系統(tǒng)所開發(fā)的hypervisor軟件。該軟件是一款介于虛擬服務器以及硬件之間的抽象層。該軟件的運作邏輯流程為,hypervisor獲取CPU的指令,這一虛擬機技術(shù)可以在不變動操作系統(tǒng)的基礎上對服務器上的虛擬技術(shù)進行運用。所以hypervisor的實質(zhì)性作用就是指令訪問硬件控制器與外部設備之間溝通的橋梁。在完全虛擬的情況下,hypervisor即為主機操作系統(tǒng)的角色,而虛擬服務器的運行環(huán)境則為用戶端操作系統(tǒng)。
1.2準虛擬化
虛擬化技術(shù)在云計算過程中的虛擬服務器管理中最為關鍵的任務就是實現(xiàn)虛擬服務器之間的獨立。然而這一技術(shù)為處理密集型技術(shù),會給虛擬環(huán)境的工作帶來一定的負載。為了妥善解決這一問題,hypervisor在工作中需要對客戶操作系統(tǒng)進行改動,使運行環(huán)境與完全虛擬化實施技術(shù)之間能夠和諧運行,正常工作。這種技術(shù)方案即為準虛擬化實施方案。目前來說,典型的準虛擬化技術(shù)有Xen[1]。各操作系統(tǒng)在虛擬化服務器運行過程中首先要對操作系統(tǒng)的核心層面進行虛擬化處理。相對于完全虛擬化技術(shù)來說,準虛擬化技術(shù)的優(yōu)勢更加明顯,其性能優(yōu)越,響應能力強。
1.3操作系統(tǒng)層虛擬化
操作系統(tǒng)層虛擬化即為在操作系統(tǒng)層上加設虛擬服務器功能的虛擬化方式,其中典型代表有Container。在操作系統(tǒng)層虛擬化技術(shù)中每一實例用戶都有相應的賬號與應用程序,而且全部的虛擬服務器均處于相同的操作系統(tǒng)。在操作系統(tǒng)層虛擬化中并沒有獨立的hypervisor等,而且在多個虛擬服務器之間分配硬件資源。
2云計算技術(shù)下的虛擬化安全隱患
云計算技術(shù)中的安全包括身份管理、訪問管理、數(shù)據(jù)信息安全、隱私保護等。云計算與傳統(tǒng)IT環(huán)境最大的區(qū)別就是存在的虛擬計算環(huán)境。正是由于這一本質(zhì)區(qū)別導致其存在不可忽視的安全問題。其中,身份管理、數(shù)據(jù)安全等問題可以利用訪問控制、數(shù)據(jù)加密、信息備份等傳統(tǒng)的安全防護手段來解決,而虛擬化技術(shù)是云計算技術(shù)中的核心,因此難以使用傳統(tǒng)的安全措施來解決問題,需要根據(jù)云計算的虛擬化環(huán)境來采取新的安全策略。當前云計算技術(shù)下的虛擬化安全隱患主要有幾點:(1)虛擬機安全隔離?;谔摂M機的運行模式特點使虛擬機存在著隔離需求,并且無法使用傳統(tǒng)方式進行安全隔離,只能夠使用虛擬機監(jiān)視器等軟件實現(xiàn),這一情況要求虛擬機管理者能夠嚴格劃分虛擬區(qū)間,以避免數(shù)據(jù)泄露。(2)虛擬機遷移。在虛擬環(huán)境中服務器能夠跨越多個物理設備,根據(jù)實際情況實現(xiàn)性能擴充等工作。雖然能在多個物理設備之間遷移,但是在遷移的過程中會使得安全管理工作更加復雜,更加容易受到安全威脅。(3)虛擬機逃逸。虛擬機的使用目的是分享主機資源并且進行隔離,但是由于技術(shù)瓶頸以及虛擬化軟件漏洞,有時候虛擬機會繞開底層獲取宿主機的控制權(quán),導致安全模型瀕臨危險。
3云計算技術(shù)下的虛擬化安全防范措施
3.1保障虛擬化服務器安全
在硬件的配置方面物理主機需要達到高配置、設備穩(wěn)定性良好的需求。所使用的處理器要能夠支持虛擬技術(shù)CPU,并且可以保證CPU之間的物理隔離,進而降低安全隱患。軟件方面,由于虛擬化服務器軟件層位于裸機之上,因此需要提供能夠建立、運作、銷毀虛擬服務器的各種能力,虛擬化服務器軟件層作為虛擬機的核心要對其進行足夠的安全保護。
3.2防范黑客攻擊
攻擊虛擬化服務器通常都是通過應用程序接口攻擊或者使用網(wǎng)絡攻擊的方式,也可以利用虛擬化服務器管理下的虛擬機進行攻擊。基于方法對虛擬化服務器攻擊的目的,應該對任何沒有授權(quán)的用戶訪問虛擬化軟件層進行嚴格的限制與禁止。云服務提供商應該建立完善的安全保護控制措施,限制相關的虛擬化層次的物理與邏輯訪問控制。
3.3有限分發(fā)
所有的虛擬機都是經(jīng)過系統(tǒng)管理員進行安全防護的。管理員需要控制所有資源區(qū)域的訪問,從而保證只有被信任的訪客才能夠進行訪問,獲得信息。管理員需要控制資源池管理訪問,只有有權(quán)限的訪客才能夠訪問資源池組件、物理服務器、共享信息存儲等。其中資源池包括虛擬機、虛擬存儲、虛擬機文件、存儲文件等。所有虛擬機的文件,不論打開與否都需要獲得嚴格的控制與管理。
3.4安全遷移
安全遷移是一種備份方式。將虛擬機復制到其他地方,如果遇到虛擬機故障就可以啟動備份虛擬機進行遷移,實現(xiàn)無縫對接切換。管理員在進行虛擬機分支的過程中要貫徹安全意識,保證虛擬機能夠擁有一定的安全保障。要最大程度地避免在遷移過程中指定虛擬機失去必要保護而遭到攻擊。
中圖分類號:TP391文獻標識碼:A文章編號:1009-3044(2012)08-1948-02
隨著計算機和網(wǎng)絡技術(shù)的飛速發(fā)展,數(shù)字化圖書館已經(jīng)成為人們生活中重要的資料來源,在互聯(lián)網(wǎng)時代信息高速化和多樣化的背景下,數(shù)字圖書館正面臨前所未有的挑戰(zhàn),只有積極引進新的技術(shù),改善服務模式,才能在高速發(fā)展的互聯(lián)網(wǎng)時代占有一席之地。在這樣的背景之下,作為一種新的高科技的技術(shù)。
1云計算概念
1.1云計算的定義
云計算技術(shù)到目前為止還沒有一個統(tǒng)一的定義,各行業(yè)和領域根據(jù)各自不同的利益視角和研究領域給出了不同的理解和定義。云計算的基本工作原理是將計算從個人計算機轉(zhuǎn)移到大量的分布式計算機上,而不是由單獨的本地計算機或者遠程服務器完成計算工作。云計算是一種新型的資源共享方式,具有許多傳統(tǒng)技術(shù)無法實現(xiàn)的優(yōu)點。
1.2云計算的特點
1.2.1高度的安全性和可靠性
云計算技術(shù)為用戶提供了高度安全可靠的數(shù)據(jù)存儲中心,有效避免了傳統(tǒng)技術(shù)中容易出現(xiàn)的病毒入侵、數(shù)據(jù)丟失等安全問題,云計算技術(shù)的數(shù)據(jù)中心都是由數(shù)據(jù)中心記性集中存儲,由管理者進行集中的信息管理和安全控制,并且數(shù)據(jù)安全有實時監(jiān)測,如此,就保證了用戶數(shù)據(jù)和資料的安全性和私密性。
1.2.2經(jīng)濟實惠、方便快捷
云計算技術(shù)不在需要用戶購買和時常更新應用軟件和設備,只需要通過互聯(lián)網(wǎng)用瀏覽器就可以盡情享受云計算技術(shù)提供的各種服務,用戶只需花很少的錢租用服務商提供的相關服務,所需的硬件設備更新?lián)Q代都不需要用戶另外花費。
1.2.3超強的計算能力
云計算是一種集合了公用計算、分布式計算和虛擬技術(shù)等先進技術(shù)的集合體,因此在先進性上具有很強的優(yōu)勢,這種基于網(wǎng)絡資源和技術(shù)共享的計算方式具有超強的計算能力,能夠通過數(shù)臺計算機之間的合作實現(xiàn)與超級計算機想媲美的計算,通過互聯(lián)網(wǎng)眾多數(shù)據(jù)庫的共享,有限的資源被充分利用,使計算速度和準確性實現(xiàn)了質(zhì)的飛躍。
1.2.4無限可能
云計算技術(shù)為我們網(wǎng)絡的使用和數(shù)據(jù)的存儲和利用提供了無限的空間和可能,這種可能促使著科學家不斷發(fā)掘出它新的功能,也發(fā)現(xiàn)它在各個領域的巨大潛力。
2云計算技術(shù)在數(shù)字化圖書館中的應用
2.1目前數(shù)字化圖書館在云計算技術(shù)應用方面的現(xiàn)狀
云計算技術(shù)由于剛剛在數(shù)字化圖書館中應用,因此難免存在許多問題,現(xiàn)階段,筆者對于數(shù)字化圖書館在云計算應用方面存在的問題分析如下:
2.1.1信息資源的的共享有很大局限性
現(xiàn)階段,由于圖書館資源的共享被接口不同不能共享鎖局限,許多大型圖書館和校圖書館之間的資料庫無法兼容,這也就導致 了所謂資源共享只是臺面上的話,無法真正實現(xiàn)。
2.1.2數(shù)字資源重復建設率高
各個圖書館之間的紙質(zhì)資源和數(shù)字資源往往都是相對獨立的,如果其他圖書館在某一領域已經(jīng)建立起相對完善和豐富的數(shù)字資源,那么別的圖書館在建設時無法了解這一情況,就會在建設時投入人力物力重復建設,這就導致了人力和財力的浪費。
2.1.3數(shù)字資源和紙質(zhì)資源無法相互補充
在圖書館的工作過程中,由于人力局限等因素,往往無法對數(shù)字資源和紙質(zhì)資源進行一對一的,這樣一來,為了豐富數(shù)字圖書館的內(nèi)容,滿足讀者日益增長的閱讀需要,就不可避免的要購進與紙質(zhì)資源相重復的內(nèi)容,這樣就又造成了資源的浪費。
2.2云計算技術(shù)在數(shù)字化圖書館中的應用前景展望
2.2.1降低服務器出錯概率,最大限度保證安全可靠性
服務器作為支撐數(shù)字圖書館數(shù)據(jù)中心的重要部分,一旦出現(xiàn)故障,輕則導致圖書館無法正常工作,影響圖書館運行和讀者借閱,重則導致圖書館重要數(shù)據(jù)的丟失,因此,服務器的安全性決定著數(shù)字圖書館能否正常有序運行。由于克隆技術(shù)在云計算模式中的應用,即便某臺計算機出現(xiàn)了故障無法正常運行,服務器也可以快速準確的將計算機中的數(shù)據(jù)拷貝到其他計算機上,這樣就避免了數(shù)據(jù)的丟失,最大程度保證了安全性和可靠性。
2.2.2降低成本,提高工作效率
在云計算技術(shù)背景下,一般的中小型圖書館無需花費大量資金去購買硬件設備,只需要從云計算供應商處租用計算能力,就可以利用網(wǎng)絡瀏覽器使用最新的網(wǎng)絡軟件,也可以和大型圖書館享受相同的網(wǎng)絡計算服務。同時,云計算技術(shù)也會使得系統(tǒng)維護的時間大大減少,從而提高工作效率。
2.2.3避免重復建設,實現(xiàn)真正共享
圖書館之間應該通過技術(shù)的改革和創(chuàng)新改變以往資源相互獨立的局面,各個圖書館之間了解了彼此已經(jīng)建成的領域,就不會在相同的領域投入不必要的精力,圖書館與圖書館之間相互聯(lián)系,實現(xiàn)真正意義上的資源共享。這樣一來,就實現(xiàn)了資源利用的最大化,符合可持續(xù)發(fā)展的觀念。
2.2.4降低對用戶設備的要求
在圖書館的傳統(tǒng)服務模式中,要求用戶必須使用計算機,才能使用數(shù)字圖書館的資源,還要下載不同的應用軟件以識別不同格式的數(shù)據(jù),使用起來非常麻煩。兒基于云計算技術(shù)的數(shù)字化圖書館由于強大的無限介入功能,用戶不僅局限于電腦,還可以使用手機登移動設備共享圖書館的數(shù)字資源,從而使圖書館的作用實現(xiàn)了最大化的發(fā)揮,也給用戶帶來了更多方便的體驗。
3云計算技術(shù)在數(shù)字化圖書館應用中需要注意的幾個問題
1)信息資源的版權(quán)問題。云計算技術(shù)應用于數(shù)字化圖書館鎖帶來的資源高度共享在帶來便捷的同時也滋生了版權(quán)糾紛問題,因此,在數(shù)字圖書館的建設過程中,要對資源的版權(quán)問題進行妥善處理,確定哪些資源可以放在“云”中,哪些又不行,通過制定版權(quán)問題的應對方案,對圖書館建設和使用過程中可能出現(xiàn)的版權(quán)問題進行有效處理。
2)數(shù)據(jù)的安全性問題。雖然用戶數(shù)據(jù)都使用加密技術(shù)隊用戶數(shù)據(jù)耐蝕性保護,但是這種加密只是局限在數(shù)據(jù)傳輸上,無法保證數(shù)據(jù)處理和存儲時的保密。因此數(shù)據(jù)安全問題仍是目前數(shù)字圖書館面臨的一個重要問題。
3)接口標準問題。目前,由于云計算還沒有同意的標準,因此,數(shù)字圖書館在數(shù)據(jù)遷移、資源共享方面仍然面臨很大的困難,接口插件應該最大程度的適應本圖書館的具體情況,以保證更好的適應和利用云計算技術(shù)。
參考文獻:
[1]伏琰.基于云計算的數(shù)字圖書館應用探析[J].科技創(chuàng)新導報,2011(2):207.
[2]張曉芳,祝新燕.云計算技術(shù)及其在數(shù)字圖書館中的應用[J].河南圖書館學刊,2011(3):148.
電子計算機技術(shù)發(fā)展和普遍應用,促使我們進入到了信息經(jīng)濟時代;通過大量的實踐研究表明,企業(yè)信息化的建設,對于企業(yè)的管理有著很大的作用,可以有效提高企業(yè)的綜合競爭力。
1、云計算給企業(yè)信息化建設帶來的影響
如今,云計算技術(shù)得到了快速發(fā)展和普遍應用,營造了一種良好的環(huán)境氛圍來促使企業(yè)的發(fā)展,對于很多繁雜的工作,都可以起到簡化的作用。對于企業(yè)的信息化建設,云計算技術(shù)非常適合。具體來講,體現(xiàn)在這些方面:
一是投資成本可以得到有效降低:云計算技術(shù)具有一系列的優(yōu)點,比如不需要較高的先期成本,還可以結(jié)合企業(yè)發(fā)展的需求來便捷的進行擴展和升級,并且在很短的時間內(nèi)就可以獲得效果。云計算技術(shù)的使用可以結(jié)合需求來進行,付費也比較方便,那么就節(jié)省了大筆的開支,比如電力、服務器、機房。
二是云計算機技術(shù)可以提供更加便捷的服務:通過云服務來獲取信息,不會受到時間以及地點因素的限制,并且對于終端設備也沒有要求,只需要可以連接到互聯(lián)網(wǎng)即可。云計算的數(shù)據(jù)中心可以存儲大量的數(shù)據(jù),企業(yè)開展工作也比較的方便,只需要通過自己的賬號和密碼登陸上去即可。
三是云計算技術(shù)對于人才需求也可以起到一定的緩解作用:企業(yè)在應用軟件方面是不需要雇傭技術(shù)顧問或者相應的技術(shù)人員來對其進行維護,因為這些軟件都在提供商的服務端內(nèi)運行,有效緩解了人才需求;如果在運行過程中出現(xiàn)了問題,不需要自己去花費大量的時間和精力來對其進行維護,這些問題的處理都由服務提供商的相關維護人員完成即可。
四是投資回報可以得到提高:通過租用云計算技術(shù),企業(yè)的業(yè)務效率和工作質(zhì)量可以得到提高,反饋速度也可以得到提高,這樣在傳播以及推廣方面就不需要花費很大的成本,實現(xiàn)綜合競爭力提高的目的。
2、云計算技術(shù)實施企業(yè)信息化建設的策略
一是綜合分析企業(yè)的業(yè)務需求:首先要對企業(yè)業(yè)務部門的需求進行綜合分析之后,方可以對云戰(zhàn)略進行良好部署;因此,IT服務商需要對企業(yè)業(yè)務部門的需求充分把握,針對業(yè)務中存在以及潛在的問題提出相應的解決方案,獲得企業(yè)相關高層領導的支持。在企業(yè)信息化建設的過程中,不能夠簡單模仿其他企業(yè)的成功模式,需要緊密結(jié)合企業(yè)的具體情況來進行,將企業(yè)制定的發(fā)展戰(zhàn)略充分納入考慮范圍,對企業(yè)信息化建設的總體目標進行科學建設,然后結(jié)合經(jīng)營管理的具體情況來對企業(yè)信息化架構(gòu)進行合理設計,綜合考慮本企業(yè)的IT環(huán)境,明確自己是否需要利用云計算,需要利用云計算的哪些業(yè)務,對云的構(gòu)建模式進行分析和選擇,可以是私有云,也可以是混合云,或者是公共云??傊诜治銎髽I(yè)信息化系統(tǒng)需求時,需要綜合考慮諸多方面的因素,充分結(jié)合企業(yè)的具體情況來進行,比如經(jīng)營規(guī)模、發(fā)展戰(zhàn)略以及組織架構(gòu)等,在做系統(tǒng)開發(fā)書時,需要進行準確的表述,有完善的內(nèi)容,涵蓋各個方面,綜合考慮諸多因素來選擇最為合適的項目實施方案。
二是對方案進行合理選擇:充分結(jié)合企業(yè)的具體情況,依據(jù)企業(yè)需求,來科學合理的選擇和設計云計算技術(shù),更好的設計和開發(fā)軟件平臺的應用產(chǎn)品,要考慮經(jīng)濟方面的因素,對企業(yè)軟件產(chǎn)品設計以及開發(fā)成本進行適當降低,對企業(yè)管理信息系統(tǒng)的各個分項目進行詳細分解,對云技術(shù)進行合理選擇。
三是對云部署進行完善:要想將云部署全面實施下去,就需要結(jié)合確定下來的實施方案來合理部署相關的計算資源,比如硬件、軟件等等,將全面管理工作落實下去,對服務系統(tǒng)進行構(gòu)建和完善。其次,在云部署的過程中,還需要不斷的進行優(yōu)化和完善,那么就需要設置科學的衡量指標,一般依靠的是成本以及客戶滿意度。然后,對人員計劃進行合理制定,對于私有云來講,需要由相關的云專家來進行構(gòu)建和管理,對于云交付需要的東西由相關的云服務商客戶精力來提供,IT廠商和云計算服務提供商有著十分重大的任務,需要培訓企業(yè)人員,保證能夠正常使用,同時,還需要保證提供的各種專業(yè)服務都是科學和符合要求的,比如商務信息、管理咨詢等,對企業(yè)信息化發(fā)展的環(huán)境進行凈化和完善。
四是完善云計算系統(tǒng):通過云計算技術(shù),可以將連續(xù)的服務提供給企業(yè),在這個過程中,需要保證提供的都是可用的服務,并且還需要對云計算進行深入的挖掘,以便將更多的新價值提供給企業(yè),促使企業(yè)更好的發(fā)展。在這個過程中,需要結(jié)合具體情況以及出現(xiàn)的問題和漏洞,來對云計算平臺中的服務產(chǎn)品進行完善。接受使用過程中出現(xiàn)的反饋意見和企業(yè)發(fā)展中更多的需求,來制定專門的方案進行解決和改善。
3、結(jié)語
通過上文的敘述分析我們可以得知,在企業(yè)信息化建設過程中,應用云計算技術(shù)具有一系列的優(yōu)點,可以節(jié)約大量的費用和人力時間成本,比如服務器、數(shù)據(jù)中心等都不需要構(gòu)建,可以及時有效的享受到相關服務,比如IT服務、應用、數(shù)據(jù)等。同時,企業(yè)信息化的建設,可以增強企業(yè)的綜合競爭力,促使其在激烈的市場競爭中獲得發(fā)展和壯大。本文簡要分析了云計算技術(shù)實施企業(yè)信息化建設的策略,希望可以提供一些有價值的參考意見。
參考文獻
中圖分類號:TP311.13
隨著信息技術(shù)的高速發(fā)展和普及,各個領域都積累了海量的數(shù)據(jù)并且還在迅速增長,數(shù)據(jù)量動輒以Tbyte計。海量數(shù)據(jù)持續(xù)消耗著計算機軟硬件資源,資源的無限制擴張,使得單個計算機無法承擔起相應的重任。目前電信行業(yè)在數(shù)據(jù)分析的支撐方面注意面臨三個突出的問題,一是電信業(yè)發(fā)展到今天,歷史數(shù)據(jù)的存儲需求和電信業(yè)務量的不斷增大,電信運營商的數(shù)據(jù)已經(jīng)變成海量,中等規(guī)模的省級移動公司,每天的數(shù)據(jù)增長已經(jīng)達到2-3TB,如此海量的數(shù)據(jù)需要計算機具有極強的處理能力和足夠大的存儲空間;二是各級運營商都是各自為陣,配備硬件設備和存儲數(shù)據(jù)資源,造成了計算資源和存儲資源的嚴重浪費;三是現(xiàn)有的數(shù)據(jù)庫查詢功能已經(jīng)滿足不了電信行業(yè)競爭日益激烈的決策支撐和服務。電信經(jīng)營分析系統(tǒng)(BASS)作為電信業(yè)務支撐系統(tǒng)的一個主要支系統(tǒng),數(shù)據(jù)的分析處理和挖掘?qū)﹄娦艠I(yè)務的發(fā)展起著重要作用,利用云計算平臺,整合優(yōu)化資源,形成具有超級計算能力的資源池,提高資源利用效率,處理數(shù)據(jù)并為用戶提供服務。
1 經(jīng)營分析系統(tǒng)概述
1.1 經(jīng)營分析系統(tǒng)簡介
電信經(jīng)營分析系統(tǒng)是電信運營商的核心系統(tǒng)之一,通過對底層數(shù)據(jù)的抽取、處理、裝載,實現(xiàn)數(shù)據(jù)的界面化展示,主要展示公司KPI指標,滿足企業(yè)決策需求和業(yè)務支撐發(fā)展的需要。
電信BASS采用兩級系統(tǒng)架構(gòu),由位于集團公司一側(cè)的一級BASS和位于省公司一側(cè)的省級BASS共同組成,兩級系統(tǒng)之間通過一定數(shù)據(jù)通信網(wǎng)進行數(shù)據(jù)通信。如圖1所示。
1.2 電信BASS面臨的不足和挑戰(zhàn)
目前電信BASS系統(tǒng)還是以指定數(shù)據(jù)庫服務器為載體進行數(shù)據(jù)的運算和裝載,但由于業(yè)務發(fā)展的需要和對數(shù)據(jù)分析要求的不斷提高,目前BASS系統(tǒng)主要面臨以下幾個突出的問題:
(1)依靠單服務器存儲數(shù)據(jù)的模式已經(jīng)不能適應海量數(shù)據(jù)的急劇擴張,無法承載如此高的數(shù)據(jù)量。
(2)海量的數(shù)據(jù)源無法做到資源共享,經(jīng)典的數(shù)據(jù)分析案例很難被借鑒和參考。
(3)服務器一旦出現(xiàn)故障,經(jīng)分系統(tǒng)將會立即癱瘓。
(4)底層數(shù)據(jù)的存儲和導入目前還需人工處理,因人工導入數(shù)據(jù)需要一定的周期性,所以無法滿足經(jīng)分系統(tǒng)實時訪問最新數(shù)據(jù)的需求。
1.3 電信BASS海量數(shù)據(jù)產(chǎn)生的原因
為了適應通信業(yè)日益發(fā)展的需要,電信BASS系統(tǒng)面臨著海量數(shù)據(jù)如何高效存儲和處理的挑戰(zhàn),電信BASS海量數(shù)據(jù)產(chǎn)生的原因如下:
(1)現(xiàn)有數(shù)據(jù)隨著時間的推移和業(yè)務的發(fā)展,數(shù)據(jù)信息每天都在不斷增加,如客戶資料信息,語音通話信息,短彩信發(fā)送信息,數(shù)據(jù)流量信息等。運營商需要將這一系列數(shù)據(jù)進行數(shù)據(jù)挖掘,提取有價值的營銷資源信息,為業(yè)務發(fā)展提供更好的決策支撐。
(2)運營商期望充分運用已有歷史數(shù)據(jù)挖掘新的商業(yè)契機與營銷機會,也就意味著歷史數(shù)據(jù)將會為運營商提供大量的潛在價值信息,歷史數(shù)據(jù)中往往蘊含著有利用價值的潛在市場發(fā)展規(guī)律、包括市場發(fā)展的潛在危機和市場發(fā)展的重大機遇,因此需要將大量歷史數(shù)據(jù)進行長期保存。
2 云計算的特點
(1)超大規(guī)模集群:集群可以將本地及異地的計算機資源有效的整合起來,形成具有一定規(guī)模計算能力的資源池,提高設備計算能力。
(2)分布式存儲:大量的數(shù)據(jù)信息存儲在云端物理位置相互隔離的主機當中,提高了數(shù)據(jù)的存儲性能、安全性能和容災備份性能。
(3)高擴展性:云端計算集群的規(guī)模可以動態(tài)伸縮,按需提供服務,實時滿足計算的需求。
(4)低成本:云處理實際上是大幅提高云端設備的處理性能,客戶端的處理性能則要求不是很高,對企業(yè)來說,無疑大幅減少了成本支出。
3 基于云計算技術(shù)的經(jīng)營分析系統(tǒng)
基于云計算的經(jīng)營分析系統(tǒng)不但改變了以往依靠單一服務器存儲、計算的服務模式,而且提高了資源的利用效率和節(jié)約了企業(yè)成本,涉及的關鍵技術(shù)主要包括數(shù)據(jù)存儲、數(shù)據(jù)管理、編程模式等,解決的主要問題是海量數(shù)據(jù)如何存儲、海量數(shù)據(jù)如何索引和定位,海量數(shù)據(jù)如何抽取、海量數(shù)據(jù)如何更有效的運算。
3.1 海量數(shù)據(jù)存儲技術(shù)
通過分布式的異地存儲是解決海量存儲的有效方法。云計算技術(shù)發(fā)展到今天,目前數(shù)據(jù)存儲技術(shù)主要有Google的GFS(Google File System)和Hadoop開發(fā)團隊開發(fā)的GFS的開源實現(xiàn)HDFS(Hadoop Distributed File System)。
(1)Google 的GFS。GFS是由Google設計并實現(xiàn)的一個分布式文件系統(tǒng),其中包括數(shù)據(jù)的存儲、管理、定位等多層面,其主要框架架構(gòu)是把大量安裝有Linux操作系統(tǒng)的普通PC形成一個具有龐大的存儲處理能力計算機集群,分別有控制節(jié)點和存儲節(jié)點構(gòu)成。
(2)Hadoop的HDFS。HDFS采用管理節(jié)點/存儲節(jié)點架構(gòu),如圖2所示。一個HDFS集群由一個管理節(jié)點和一定數(shù)目的存儲節(jié)點組成。
GFS與HDFS技術(shù)有效地將異地計算機資源整合在一起,形成具有超大存儲容量的計算集群,同時,為了優(yōu)化系統(tǒng)的性能,提高資源的數(shù)據(jù)利用率,需要對數(shù)據(jù)進行并行處理,目前省屬各地州運營商的存儲系統(tǒng)都是各自為陣,獨立存儲,信息的存儲效能不但低下,而且在信息共享方面和信息處理速度方面存在瓶頸,云計算的分布式存儲技術(shù)將能夠有效解決面臨的這一突出問題。
3.2 海量數(shù)據(jù)管理技術(shù)
要高效管理和處理大規(guī)模數(shù)據(jù)集,首先必須解決如何在龐大的數(shù)據(jù)中心定位所需數(shù)據(jù)的問題。如何能夠快速在異地分布的存儲節(jié)點上找到所需的數(shù)據(jù),提高數(shù)據(jù)管理效率是面臨的又一突出問題,目前電信BASS經(jīng)分系統(tǒng)主要采用互動管理來實現(xiàn)對經(jīng)分數(shù)據(jù)的調(diào)動和管理,主要還是通過ETL調(diào)度管理和服務管理兩個方面來實現(xiàn),ETL負責數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載,服務管理負責數(shù)據(jù)訪問的安全和效率?,F(xiàn)在這種技術(shù)已經(jīng)不能適應當前業(yè)務發(fā)展的需要。云計算數(shù)據(jù)管理技術(shù)主要有Google的Big Table和Apache的Hbase等,Hbase是一個分布式的,面向列的開源數(shù)據(jù)庫,它不同于一般的關系數(shù)據(jù)庫,是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。
3.3 編程模式(分布式運算模式)
Map/Reduce的編程模式是目前云計算的核心和關鍵。任務如何分解,分解后的任務運用什么技術(shù)如何分配給終端去處理是其主要任務,Map/Reduce實際上就是任務分解和任務匯總的集合,在電信行業(yè)當中,其實主要是數(shù)據(jù)的分解和匯總Map/Reduce的工作模式如圖3所示。
Map/Reduce的實現(xiàn)機制使得任務如何分解和合并更加流程化,為后續(xù)的分布式計算提供了有利的條件。
3.4 海量數(shù)據(jù)處理模式
(1)現(xiàn)有經(jīng)分系統(tǒng)中海量數(shù)據(jù)的一般處理方法。越來越多海量數(shù)據(jù)的出現(xiàn),使得現(xiàn)有BASS系統(tǒng)在處理數(shù)據(jù)的容量存儲、處理速度及兼容性方面存在諸多不足,目前數(shù)據(jù)處理的一般方法有如下幾種:
1)通過高效的數(shù)據(jù)庫進行集中處理,如SQL、ORACLE數(shù)據(jù),但一旦服務器出現(xiàn)故障,經(jīng)分系統(tǒng)將會直接崩潰,無法運行,容災性能較差。
2)高效的SQL語句,由于對數(shù)據(jù)提取精確性的要求,要從海量的數(shù)據(jù)表中提取有效數(shù)據(jù)需要編寫更簡潔和高效的SQL語句。
3)分類存儲。對海量數(shù)據(jù)按類別進行細分,再對其進行分區(qū)存儲
4)建立合適的索引。對海量數(shù)據(jù)進行處理時,需要對數(shù)據(jù)進行分類、排序、這樣在數(shù)據(jù)提取和處理時能夠快速在服務器中定位。
(2)基于云計算技術(shù)的海量數(shù)據(jù)ETL處理算法的改進設計。由于目前ETL算法在對數(shù)據(jù)的處理和任務調(diào)度方面存在諸多不足,本文從以下兩個方面進行了改進和處理,一是通過借鑒Map/Reduce原理,將其充分運用到ETL的數(shù)據(jù)抽取環(huán)節(jié),從而做到數(shù)據(jù)處理更高效,(簡稱SMB-DP)算法;二是對ETL任務調(diào)度進行優(yōu)化,主要是將任務的優(yōu)先級和任務處理時間考慮在內(nèi)(簡稱AGB-ETL)。
整個算法的核心思想是:將原來的多次抽取數(shù)據(jù)改為一次性抽取數(shù)據(jù),通過借鑒Map/Reduce原理對源數(shù)據(jù)進行拆分,形成多個目標文件,此次過程稱之為SMB-DP算法;然后再將這些目標文件的任務優(yōu)先級及運行時間考慮在內(nèi)對這些任務進行分配調(diào)度和數(shù)據(jù)處理,此過程稱之為AGB-ETL算法。具體如圖所示。
SMB-DP算法的基本思想是:將現(xiàn)有ETL處理流程中的多次抽取化成單次抽取,拆分后再進行并行的轉(zhuǎn)換裝載等處理。
該算法的實現(xiàn)關鍵包括單次抽取、對源數(shù)據(jù)進行拆分和并行轉(zhuǎn)換裝載三部分。具體描述如下:
(1)單次抽取。通過關鍵字段把所要提取的數(shù)據(jù)源表進行有效的合并。假設A表需要讀取“1、2、3、4、a、b、c、d ”8個字段,假設B表需要讀取“4、5、6、7、c、d、e、f”8個字段,那么可以一次性將源表所需的11個字段從源表中抽取,然后從中抽取A、B各需的字段,分別保存成兩個文件進行存儲。
(2)對源數(shù)據(jù)進行拆分。抽取數(shù)據(jù)的目的最終是為了拆分數(shù)據(jù),通過借鑒Map/Reduce原理,把數(shù)據(jù)文件按照一定的字段劃分后存儲的云終端當中。
(3)并行轉(zhuǎn)換裝載。對于拆分后形成的多個目標文件,可以采用各種有效的并行處理技術(shù)進行并行的轉(zhuǎn)換及裝載處理,如將多個目標文件分配到不同的計算終端去運行,有效提高BASS的處理效能。
AGB-ETL算法的基本思想是:以任務優(yōu)先級和任務運行時間為首要遵循的分配原則,將最需要處理的任務分配到處理時間最少的終端中去,這樣既提高了資源的利用率,又滿足了任務處理的實時需求,從而達到了資源的優(yōu)化配置和調(diào)度。
目前常用的ETL任務調(diào)度算法主要有順序調(diào)度、隨機調(diào)度和基于貪婪算法的任務調(diào)度等三種。
(1)順序調(diào)度:按照順序?qū)⑿枰幚淼娜蝿罩饌€分配到終端中去處理。這沒有考慮任務的執(zhí)行時間,執(zhí)行效率比較低。
(2)隨機調(diào)度:從需要處理的任務當中隨機選取任務并隨機分配到任務組中,這種調(diào)度算法隨機性很差,也是沒有考慮任務的運行時間和任務優(yōu)先級,因此處理效率也很低下。
(3)基于貪婪算法的任務調(diào)度:相對于前兩種算法,這種算法的處理性能和效率有了較大的提高,先通過系統(tǒng)內(nèi)日志記錄算出任務最近幾次的運行時間,一般取10次左右,算出任務的平均運行時間進行排序,一般將任務運行時間最長的分配到當前估算執(zhí)行時間最小的任務分組中,由于沒有考慮任務的優(yōu)先級,因此任務的處理效能依舊不是很完善。
AGB-ETL算法涉及的過程主要是三個方面,描述如下所述:
(1)執(zhí)行優(yōu)先級的確定。優(yōu)先級是根據(jù)相關業(yè)務規(guī)范以及移動BASS實時性處理的需求設定的。首先我們需要設定任務優(yōu)先級的規(guī)范標準,以阿拉伯數(shù)字1為最高優(yōu)先級,以此類推。
(2)估算時間的確定。一般我們會從系統(tǒng)日志中獲取每個任務的執(zhí)行時間。通過查詢系統(tǒng)操作日志,獲取任務最近N次的執(zhí)行時間,我們就可以算出該任務的平均執(zhí)行時間。
(3)處理流程的描述。
1)首先將任務進行調(diào)度的判斷,如有則加入隊列,沒有則等待。
2)將任務隊列進行排序,排序的原則是優(yōu)先級從高到低,優(yōu)先級相同的,再按照任務執(zhí)行時間從高到低排列。
3)將最需要處理的任務放入執(zhí)行時間最少的單元當中。
4)更新該任務分組的總估算執(zhí)行時間。
5)判定任務隊列L是否分配完畢。
4 結(jié)論
針對電信行業(yè)所面臨的海量數(shù)據(jù)處理的突出問題,本文通過對云計算關鍵技術(shù)研究應用,提出了基于云計算技術(shù)的經(jīng)營分析系統(tǒng)對海量數(shù)據(jù)的處理和優(yōu)化方法;通過對海量數(shù)據(jù)存儲、海量數(shù)據(jù)索引和定位、海量數(shù)據(jù)抽取與處理、海量數(shù)據(jù)分布式運算等幾個方面的研究,特別是對海量數(shù)據(jù)的抽取和處理,提出了基于拆分機制的海量數(shù)據(jù)處理算法和改進的基于貪婪算法的ETL任務調(diào)度算法,從而對海量異構(gòu)源數(shù)據(jù)進行快速抽取、有效拆分和并行處理,可以更加合理地進行任務調(diào)度,實現(xiàn)資源的優(yōu)化處理和按需分配。
參考文獻:
[1]楊勝琦.基于復雜網(wǎng)絡的大規(guī)模電信數(shù)據(jù)分析研究[D].北京郵電大學碩士學位論文,2010,5.
[2]孫少陵.云計算變革下電信運營商的機遇及中國移動云計算探索[J].移動通信,2010,11.
[3]孔令山.運營商虛擬化實踐與思考.
[4]張海濤.基于云計算平臺的電信經(jīng)營分析系統(tǒng)研究.
[5]王金倫,樊秀菊.基于云計算的新一代電信業(yè)務支撐系統(tǒng)測評平臺的設計與實現(xiàn)[J].計算機應用與軟件,2011,3.
[6]秦潤鋒,樊勇兵,唐宏,金華敏.開源云計算管理平臺技術(shù)在電信運營商私有云建設中的應用研究.
[7]段云鋒.中國移動經(jīng)營分析系統(tǒng)建設及應用電信經(jīng)營分析.
因為互聯(lián)網(wǎng)進程的推進,讓信息時代中,數(shù)據(jù)成為了主流探討的問題。由于數(shù)據(jù)的處理與分析,能夠得到相應的操作數(shù)據(jù)。因此,在互聯(lián)網(wǎng)時代中,如何更好的進行數(shù)據(jù)處理以及資源整合,是目前數(shù)據(jù)時代的主要處理方式與手段。而大數(shù)據(jù)時代,則對于數(shù)據(jù)的處理和整合配置要求更高,對于處理的效率也有一定的要求。因此,隨著大數(shù)據(jù)時代的到來,對于傳統(tǒng)的數(shù)據(jù)處理方式以及處理效率,已經(jīng)無法滿足現(xiàn)代人們對于數(shù)據(jù)處理的要求。因此,為了能夠在大數(shù)據(jù)時代以及環(huán)境下,能夠更好的實現(xiàn)對于數(shù)據(jù)的處理效率。那么,采用云計算技術(shù)是必然的選擇。云計算機技術(shù)可以實現(xiàn)高效的應答處理,基于互聯(lián)網(wǎng)進行數(shù)據(jù)的訪問,并且能夠進行合理的資源配置,從而實現(xiàn)高效率的大數(shù)據(jù)環(huán)境下的數(shù)據(jù)處理。
一、大數(shù)據(jù)環(huán)境與互聯(lián)網(wǎng)數(shù)據(jù)分析
隨著信息時代的進程逐步加快,人們的生活與工作,更多的以數(shù)據(jù)形式來體現(xiàn),從而實現(xiàn)了數(shù)據(jù)的時代。在網(wǎng)絡數(shù)據(jù)不斷的遞增,并且出現(xiàn)了數(shù)據(jù)龐大的現(xiàn)象的時候。谷歌最早通過大數(shù)據(jù)的概念,來形容目前的大數(shù)據(jù)時代。因此,大數(shù)據(jù)時代的到來,與互聯(lián)網(wǎng)數(shù)據(jù)的呈現(xiàn)息息相關,并且起到了非常重要的作用。那么,對于大數(shù)據(jù)而言,其存在哪些問題和與人們生活與工作相關的內(nèi)容呢?互聯(lián)網(wǎng)數(shù)據(jù)與大數(shù)據(jù)而言,兩者又有著怎樣的必然關聯(lián)呢?
1.1 大數(shù)據(jù)時代以及大數(shù)據(jù)環(huán)境分析
大數(shù)據(jù)實際上在一些科研領域中一直有這樣的概念,但是由于科研原因,其被人熟知的范圍相對較小,屬于專業(yè)性領域的名詞。但是,隨著互聯(lián)網(wǎng)時代的到來,人們對于互聯(lián)網(wǎng)的熟悉,造成了人們對于數(shù)據(jù)的概念更加深刻。而互聯(lián)網(wǎng)環(huán)境下,數(shù)據(jù)是最為主要的資源和呈現(xiàn)方式,這也在一定程度上實現(xiàn)了人們對于互聯(lián)網(wǎng)數(shù)據(jù)的認識。因此,由于互聯(lián)網(wǎng)的推動作用,造成了人們現(xiàn)代所熟悉的大數(shù)據(jù)時代。那么,大數(shù)據(jù)時代的代表和標準是什么?
首先,大數(shù)據(jù)是一種數(shù)據(jù)的表現(xiàn)形式;人們在互聯(lián)網(wǎng)時代中,越來越重視數(shù)據(jù)的作用,由于信息的交互以及遠程的溝通,實際上都是網(wǎng)絡數(shù)據(jù)在進行交互,從而形成現(xiàn)在網(wǎng)絡化的大數(shù)據(jù)時代。那么,大數(shù)據(jù)必然是數(shù)據(jù)的一種集中表現(xiàn)形式,一種宏觀的概念。大數(shù)據(jù)的目的是通過對互聯(lián)網(wǎng)數(shù)據(jù)資源的整合,實現(xiàn)最佳的數(shù)據(jù)環(huán)境,從而進行相應的數(shù)據(jù)處理。
其次,大數(shù)據(jù)時代的標準就是數(shù)據(jù)整合與資源合理分配;大數(shù)據(jù)時代,數(shù)據(jù)的整合非常重要。由于數(shù)據(jù)的交互一般是以零散的方式進行,非常難以得到更好的應用。因此,采用資源合理分配以及數(shù)據(jù)整合,是非常有必要的。
最后,大數(shù)據(jù)的代表既是互聯(lián)網(wǎng)數(shù)據(jù);大數(shù)據(jù)原本就是專業(yè)學術(shù)領域的名詞,而由于互聯(lián)網(wǎng)的發(fā)展,帶動了大數(shù)據(jù)的概念開始轉(zhuǎn)移到互聯(lián)網(wǎng)世界中,從而被人們所熟悉,并熟知。
1.2 大數(shù)據(jù)環(huán)境與互聯(lián)網(wǎng)數(shù)據(jù)分析
互聯(lián)網(wǎng)是基于數(shù)據(jù)而建立起來的,不管是互聯(lián)網(wǎng)的資源還是互聯(lián)網(wǎng)的協(xié)議,實際上都可以采用數(shù)據(jù)的形式進行呈現(xiàn),從而凸顯數(shù)據(jù)的重要性。因此,對于互聯(lián)網(wǎng)數(shù)據(jù)而言,是形成大數(shù)據(jù)環(huán)境的基礎。實際上,在大數(shù)據(jù)沒有從科研領域進入互聯(lián)網(wǎng)領域的時候,就已經(jīng)開始了意識到了數(shù)據(jù)的龐大性。互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)是非常龐大的,那么在信息時代的發(fā)展進程中,如何合理的應用這些數(shù)據(jù),以及如何更加有效的利用這些數(shù)據(jù),成為了目前互聯(lián)網(wǎng)時代的一種管理模式。當大數(shù)據(jù)環(huán)境已經(jīng)形成并得以蓬勃發(fā)展的時候,相關人員開始注意到了大數(shù)據(jù)的重要性,并且明確了大數(shù)據(jù)環(huán)境下,互聯(lián)網(wǎng)數(shù)據(jù)的可行性以及價值。因此,對于大數(shù)據(jù)環(huán)境下的互聯(lián)網(wǎng)數(shù)據(jù)而言,可以從以下幾個方面進行分析:
第一,大數(shù)據(jù)環(huán)境下,互聯(lián)網(wǎng)數(shù)據(jù)的價值得以體現(xiàn);互聯(lián)網(wǎng)的數(shù)據(jù)一般情況下,是為了能夠體現(xiàn)網(wǎng)絡資源以及資源之間的交互,尤其是在信息交流的過程中,數(shù)據(jù)的價值體現(xiàn)非常重要。但是,由于互聯(lián)網(wǎng)的交易價值開始不斷被重視,從而在一定程度上影響了對于數(shù)據(jù)的價值參考。也就是說,實際上大數(shù)據(jù)環(huán)境下,互聯(lián)網(wǎng)的數(shù)據(jù)的價值得到了顯著的提升。基于大數(shù)據(jù)的檢索技術(shù)得以開發(fā)和應用,就是為了能夠更好的方便對于數(shù)據(jù)的檢索和參考,從而有效的提高其應用價值。
第二,大數(shù)據(jù)環(huán)境下,基于大數(shù)據(jù)的互聯(lián)網(wǎng)數(shù)據(jù)分析更具實際意義;大數(shù)據(jù)環(huán)境下,實際上更加注重對于互聯(lián)網(wǎng)數(shù)據(jù)的應用。一些交易網(wǎng)站的建設,一般也都是基于大數(shù)據(jù)而進行設計與開發(fā)的。目前,隨著計算機互聯(lián)網(wǎng)技術(shù)的不斷深入,讓更多的互聯(lián)網(wǎng)使用用戶開始注意到了大數(shù)據(jù)的重要性。通過大數(shù)據(jù)的檢索可以獲取非常龐大的數(shù)據(jù)信息,根據(jù)這些數(shù)據(jù)信息就可以進行相應的數(shù)據(jù)處理,從而保證網(wǎng)站的瀏覽量以及網(wǎng)站的價值。
總之,大數(shù)據(jù)環(huán)境下的互聯(lián)網(wǎng)數(shù)據(jù)是非常重要的,并且在一定程度上取代了傳統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)理念。
二、大數(shù)據(jù)環(huán)境下的云計算技術(shù)應用
基于以上分析,對于大數(shù)據(jù)時代以及大數(shù)據(jù)的環(huán)境,都有了非常細致的了解。那么,對于大數(shù)據(jù)的環(huán)境下,如何應用云計算技術(shù)呢?采用云計算技術(shù),有著怎樣的優(yōu)勢呢?
首先,對于云計算技術(shù)的應用,主要是為了能夠提高大數(shù)據(jù)環(huán)境的處理效率。云計算是一種廣義性的概念,云實際上就是網(wǎng)絡的代名詞。采用云計算的方式,實際上就是嚴格遵守網(wǎng)絡的計算方式,對數(shù)據(jù)進行相應的計算,從而保證對于大數(shù)據(jù)的網(wǎng)絡化價值體現(xiàn)。
其次,大數(shù)據(jù)環(huán)境下,采用云計算技術(shù),更重要的是為了保證數(shù)據(jù)的安全防護。由于大數(shù)據(jù)環(huán)境的出現(xiàn),讓網(wǎng)絡數(shù)據(jù)開始變得更加復雜,從而出現(xiàn)了諸多的網(wǎng)絡數(shù)據(jù)安全問題。尤其是基于大數(shù)據(jù)的一種檢索方式,會讓互聯(lián)網(wǎng)的使用者的安全信息受到侵犯,從而影響了數(shù)據(jù)的使用安全。而采用云計算的方式,則可以在嚴格遵守互聯(lián)網(wǎng)的模式環(huán)境下,針對性的進行數(shù)據(jù)檢索,而不會將用戶的信息隨意的進行呈現(xiàn),從而降低了互聯(lián)網(wǎng)用戶的安全系數(shù),給大數(shù)據(jù)環(huán)境的發(fā)展,帶來了一定的影響。
最后,大數(shù)據(jù)時代是網(wǎng)絡信息發(fā)展的結(jié)果,因為互聯(lián)網(wǎng)的廣闊的應用范圍,從而造成了在大數(shù)據(jù)環(huán)境下,可以最大限度的獲取最多的信息。但是,正式由于數(shù)據(jù)的處理過于龐大,從而需要一定的計算方式,來提高數(shù)據(jù)的處理效率。此外,對于大數(shù)據(jù)而言,已經(jīng)不僅僅是數(shù)據(jù)的龐大的單一表達。實際上,為了大數(shù)據(jù)也已經(jīng)融合進入了處理效率的因素,也就是單位時間內(nèi)處理信息的數(shù)量。因此,基于以上的需求,采用云計算的方式,是非常必要的。
三、結(jié)語
本文分析了大數(shù)據(jù)的基本概念以及在互聯(lián)網(wǎng)環(huán)境下,大數(shù)據(jù)時代的到來以及大數(shù)據(jù)環(huán)境的一些特點,從而解析了為什們需要使用云計算技術(shù)的原因。在大數(shù)據(jù)環(huán)境下,互聯(lián)網(wǎng)數(shù)據(jù)的價值得以體現(xiàn),并且成為了最具參考價值的實用性數(shù)據(jù)。基于大數(shù)據(jù)的相關技術(shù)開發(fā),非常普遍,并且得到了廣泛的應用。例如,在搜索引擎中,就出現(xiàn)了基于大數(shù)據(jù)的搜索機制,從而讓數(shù)據(jù)信息更方便被檢索,從而實現(xiàn)了數(shù)據(jù)的價值體現(xiàn)。當然,設計云計算的原因不僅僅是為了能夠讓大數(shù)據(jù)環(huán)境下對于數(shù)據(jù)的處理更加高效與便捷。實際上,也是為了能夠更好的進行數(shù)據(jù)的安全防護。由于大數(shù)據(jù)的相關處理方式,讓用戶的網(wǎng)絡信息開始出現(xiàn)了一定的危機。那么,云計算的處理方式,是會嚴格按照互聯(lián)網(wǎng)的訪問機制進行,從而降低了用戶的信息風險,提高了大數(shù)據(jù)的應用范圍和應用價值。
參 考 文 獻