序論：好文章的創(chuàng)作是一個(gè)不斷探索和完善的過程，我們?yōu)槟扑]十篇數(shù)據(jù)分析分析技術(shù)范例，希望它們能助您一臂之力，提升您的閱讀品質(zhì)，帶來更深刻的閱讀感受。

篇（1）

云計(jì)算技術(shù)可以給提供計(jì)算機(jī)數(shù)據(jù)傳遞與共享的條件，融合軟硬件數(shù)據(jù)保存，促進(jìn)計(jì)算機(jī)處理工作更好的開展。云計(jì)算技術(shù)可以給用戶提供良好的網(wǎng)絡(luò)環(huán)境與保存空間，處理數(shù)據(jù)傳遞環(huán)節(jié)的各項(xiàng)問題。與傳統(tǒng)大數(shù)據(jù)分析技術(shù)相比，云計(jì)算計(jì)算可以提高大數(shù)據(jù)分析質(zhì)量。人們借助云計(jì)算技術(shù)獲得云終端的數(shù)據(jù)，切實(shí)滿足人們對(duì)于數(shù)據(jù)的需求?，F(xiàn)階段計(jì)算機(jī)市場(chǎng)形成完善的結(jié)構(gòu)體系，圍繞云計(jì)算技術(shù)推動(dòng)計(jì)算機(jī)大數(shù)據(jù)分析工作的開展，奠定后期云計(jì)算技術(shù)發(fā)展的基礎(chǔ)。目前，人們生活中全面運(yùn)用云計(jì)算技術(shù)，基于云計(jì)算技術(shù)研發(fā)的服務(wù)器及操作系統(tǒng)方便人們處理各類信息技術(shù)。同時(shí)，云計(jì)算技術(shù)數(shù)據(jù)保存有著較強(qiáng)的安全性，極小可能出現(xiàn)數(shù)據(jù)丟失情況，滿足人們的實(shí)際需求，直接體現(xiàn)出云計(jì)算技術(shù)的優(yōu)勢(shì)。優(yōu)化云計(jì)算環(huán)境下計(jì)算機(jī)的數(shù)據(jù)處理中心，就可以不斷提升計(jì)算機(jī)的云計(jì)算能力，讓云計(jì)算不僅為網(wǎng)絡(luò)信息所用，還在計(jì)算機(jī)網(wǎng)絡(luò)安全中發(fā)揮極為重要的作用。目前，計(jì)算機(jī)的使用人群更為注重的是在高速發(fā)達(dá)的信息社會(huì)，自己的信息，也就是使用計(jì)算機(jī)網(wǎng)絡(luò)的安全性能是否能得到保障，這時(shí)候考驗(yàn)的就是云計(jì)系統(tǒng)的完善性。目前存在的最主要計(jì)算機(jī)安全問題就是黑客問題和系統(tǒng)漏洞問題。系統(tǒng)漏洞這一人為因素可以通過不斷檢索進(jìn)行漏洞的發(fā)現(xiàn)和修補(bǔ)，面對(duì)黑客的攻擊，能夠做的就是防患于未然，不斷地升級(jí)和優(yōu)化系統(tǒng)，最終達(dá)到完善的數(shù)據(jù)處理效果。

2云計(jì)算技術(shù)下計(jì)算機(jī)大數(shù)據(jù)分析面臨的問題

2.1網(wǎng)絡(luò)技術(shù)安全

由于相關(guān)技術(shù)的不斷發(fā)展，云計(jì)算環(huán)境下的網(wǎng)絡(luò)安全技術(shù)正在朝著穩(wěn)定和成熟的方向發(fā)展，但在具體的應(yīng)用過程中依然表現(xiàn)出一定的網(wǎng)絡(luò)安全問題，因此用戶在使用過程中應(yīng)該做好相關(guān)的應(yīng)對(duì)工作。網(wǎng)絡(luò)安全問題具體表現(xiàn)在用戶在使用信息傳輸?shù)倪^程中，一旦出現(xiàn)服務(wù)性中斷問題，難以保證數(shù)據(jù)的安全性，啟動(dòng)被動(dòng)保護(hù)模式的情況使信息的安全性更加難以保障，這也成為云計(jì)算模式下的網(wǎng)絡(luò)技術(shù)安全中的重點(diǎn)問題，一旦得不到及時(shí)有效的解決，用戶在使用過程中就會(huì)受到不同程度的威脅。

2.2網(wǎng)絡(luò)環(huán)境安全

網(wǎng)絡(luò)環(huán)境安全是保證網(wǎng)絡(luò)正常使用，信息傳輸質(zhì)量有保證的重要前提，一旦網(wǎng)絡(luò)環(huán)境存在不安全因素，將會(huì)引發(fā)病毒的入侵和黑客的攻擊。因此網(wǎng)絡(luò)環(huán)境安全也是云計(jì)算技術(shù)價(jià)值得以發(fā)揮的重要前提。計(jì)算機(jī)在使用過程中如果長(zhǎng)期受到病毒的困擾和黑客的威脅，將會(huì)降低人們對(duì)計(jì)算機(jī)的信賴性，甚至在工作和生活中將會(huì)在網(wǎng)絡(luò)環(huán)境安全方面投入更多的成本。

3計(jì)算機(jī)大數(shù)據(jù)分析中云計(jì)算技術(shù)的具體應(yīng)用

3.1數(shù)據(jù)傳輸安全分析

在云計(jì)算的作用下，云安全含義逐漸形成，具體來說，云安全主要指在用戶借助云計(jì)算技術(shù)來實(shí)現(xiàn)計(jì)算機(jī)大數(shù)據(jù)分析時(shí)，讓數(shù)據(jù)安全性得到了保證。用戶端數(shù)據(jù)和數(shù)據(jù)安全往往呈現(xiàn)出正比關(guān)系，隨著應(yīng)用群體數(shù)量的增多，涉及的計(jì)算機(jī)數(shù)據(jù)范疇將不斷擴(kuò)充，假設(shè)計(jì)算機(jī)遭受病毒的攻擊，可以在云計(jì)算技術(shù)的作用下實(shí)現(xiàn)病毒的攔截，以此讓計(jì)算機(jī)數(shù)據(jù)安全性得到保證。從云計(jì)算技術(shù)自身角度來說，其提供的各個(gè)服務(wù)均是由IaaS基礎(chǔ)設(shè)施級(jí)服務(wù)以及PaaS平臺(tái)級(jí)服務(wù)兩項(xiàng)內(nèi)容構(gòu)建而成。首先，IaaS基礎(chǔ)設(shè)施級(jí)服務(wù)其作用在于，可以給用戶提供對(duì)應(yīng)的服務(wù)，也就是對(duì)各個(gè)計(jì)算機(jī)基礎(chǔ)設(shè)備進(jìn)行操作和應(yīng)用，其中包含了CPU處理、數(shù)據(jù)保存、數(shù)據(jù)傳遞等。其次，PaaS平臺(tái)級(jí)服務(wù)則是指，把云計(jì)算中各個(gè)服務(wù)器及開發(fā)環(huán)境當(dāng)作服務(wù)，通過PaaS平臺(tái)用戶能夠結(jié)合自身需求實(shí)現(xiàn)對(duì)應(yīng)操作流程的部署和應(yīng)用。

3.2監(jiān)督數(shù)據(jù)資源共享

網(wǎng)絡(luò)資源在傳輸過程中遭遇到的安全威脅是用戶時(shí)時(shí)刻刻關(guān)注的問題，因此在具體的工作和管理中，需要提高云計(jì)算網(wǎng)絡(luò)安全技術(shù)的應(yīng)用程度，通過不斷創(chuàng)新安全模式，完善相應(yīng)的防護(hù)體系，從而有效消除安全性問題，提升數(shù)據(jù)傳輸?shù)陌踩院头€(wěn)定性。具體在應(yīng)用過程中，可以借助云計(jì)算技術(shù)的優(yōu)勢(shì)，對(duì)數(shù)據(jù)傳輸?shù)恼麄€(gè)路徑進(jìn)行監(jiān)控，保證傳輸通道環(huán)境的安全性，一旦出現(xiàn)問題及時(shí)進(jìn)行預(yù)警，有效預(yù)防黑客的攻擊，降低網(wǎng)絡(luò)安全事故發(fā)生的概率。對(duì)此，有關(guān)部門應(yīng)該提高重視程度，同時(shí)完善相應(yīng)的監(jiān)督管理制度，采用科學(xué)的管理方式，實(shí)現(xiàn)預(yù)期的監(jiān)測(cè)目標(biāo)。

3.3提高數(shù)據(jù)使用安全

計(jì)算機(jī)用戶本身的安全意識(shí)也是當(dāng)前需要關(guān)注的重要方面，為了進(jìn)一步提升用戶數(shù)據(jù)信息和計(jì)算機(jī)系統(tǒng)的安全系數(shù)，需要重視身份認(rèn)證工作的提升，具體可以使用實(shí)名制的方式進(jìn)行認(rèn)證處理，從而不斷提升整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的安全性。對(duì)于網(wǎng)絡(luò)應(yīng)用過程中涉及到的安全問題，可以通過實(shí)名追蹤的方式進(jìn)行可疑目標(biāo)鎖定，從而有效控制惡意攻擊情況的發(fā)生。但在應(yīng)用過程中也需要重視假人名情況的出現(xiàn)，提高網(wǎng)絡(luò)數(shù)據(jù)信息竊取的預(yù)防水平。計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境算是一種相對(duì)開放的環(huán)境，在使用過程中會(huì)面向大量的用戶，通過重視用戶的身份認(rèn)證，可以有效避免用戶對(duì)數(shù)據(jù)的非法訪問。同時(shí)在使用者進(jìn)行計(jì)算機(jī)登錄和使用的時(shí)候，需要對(duì)用戶名和密碼進(jìn)行核實(shí)。按照權(quán)限的不同，確保數(shù)據(jù)庫(kù)信息的安全有效性。通過對(duì)數(shù)據(jù)庫(kù)信息加密處理，可以確保數(shù)據(jù)庫(kù)信息的安全性。這種加密處理可以在原有數(shù)據(jù)信息的基礎(chǔ)上進(jìn)行算法的處理改進(jìn)，使用者可以通過自身的權(quán)限獲取想要了解的信息，如果沒有解密方式，不法分子將會(huì)難以獲取數(shù)據(jù)的原始信息。

3.4網(wǎng)絡(luò)安全等級(jí)防護(hù)

在云計(jì)算環(huán)境下的安全管理中心具備系統(tǒng)管理、安全管理和安全審計(jì)等功能，能夠滿足不同云計(jì)算環(huán)境下不同安全等級(jí)的保護(hù)要求，并且通過服務(wù)層的安全保護(hù)框架，實(shí)現(xiàn)對(duì)不同等級(jí)云服務(wù)客戶端的安全保護(hù)，為使用者提供安全可靠的資源訪問服務(wù)。在訪問云服務(wù)商時(shí)，用戶可通過通信網(wǎng)絡(luò)、API接口和Web服務(wù)方式訪問云服務(wù)器，但是用戶終端系統(tǒng)的安全防護(hù)不在網(wǎng)絡(luò)安全等級(jí)保護(hù)框架體系內(nèi)。在保護(hù)框架體系內(nèi)，資源層和服務(wù)層安全是云計(jì)算環(huán)境安全保護(hù)的重點(diǎn)，資源層包括物理資源安全和虛擬資源安全，應(yīng)按照安全設(shè)計(jì)要求構(gòu)建資源層安全保護(hù)框架。云計(jì)算環(huán)境下的網(wǎng)絡(luò)安全等級(jí)保護(hù)要針對(duì)不同等級(jí)云計(jì)算平臺(tái)確定不同的安全目標(biāo)，一般情況下安全保護(hù)等級(jí)最低為二級(jí)，并根據(jù)安全目標(biāo)和等級(jí)要求實(shí)施安全設(shè)計(jì)步驟，具體包括：第一步，根據(jù)云平臺(tái)的租戶數(shù)量和業(yè)務(wù)系統(tǒng)情況確定云計(jì)算安全保護(hù)標(biāo)準(zhǔn)，制定云計(jì)算平臺(tái)的安全保護(hù)策略，以避免在云計(jì)算平臺(tái)上發(fā)生安全事件；第二步，細(xì)化安全技術(shù)要求，針對(duì)安全計(jì)算環(huán)境、安全區(qū)域邊界、安全通信網(wǎng)絡(luò)以及安全管理中心制定出相應(yīng)的安全保護(hù)策略；第三步，根據(jù)云計(jì)算功能框架中的各層功能和保護(hù)要求，制定安全技術(shù)機(jī)制，使其滿足云計(jì)算功能框架的安全保護(hù)要求。在完成云計(jì)算環(huán)境下的網(wǎng)絡(luò)安全等級(jí)保護(hù)設(shè)計(jì)之后，還應(yīng)增加虛擬化安全、鏡像安全、接口安全等安全控制點(diǎn)，并采用訪問控制技術(shù)、身份識(shí)別技術(shù)等安全防護(hù)技術(shù)，實(shí)現(xiàn)與云計(jì)算平臺(tái)上各功能層次的對(duì)接，提出各層的安全保護(hù)措施。

3.5重視相應(yīng)程序開發(fā)

篇（2）

中圖分類號(hào)：F503 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2014）04（a）-0021-01

對(duì)于數(shù)據(jù)分析來說，其主要的目的就是通過對(duì)數(shù)據(jù)的分析去發(fā)現(xiàn)問題或預(yù)測(cè)趨勢(shì)。從數(shù)據(jù)鉆取、大規(guī)模分析的技術(shù)手段、以及算法執(zhí)行上來說，大規(guī)模分析是和小規(guī)模數(shù)據(jù)在技術(shù)上是有很大差異的。想要探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)，首先要對(duì)數(shù)據(jù)分析這一概念進(jìn)行深入研究。

1 數(shù)據(jù)分析

數(shù)據(jù)分析的過程其實(shí)簡(jiǎn)單的說就是做報(bào)告，做什么樣的報(bào)告反映什么樣的指標(biāo)。最開始的時(shí)候基本上是data processing。例如零售行業(yè)來說，最主要的指標(biāo)就是庫(kù)存、銷售同比增長(zhǎng)情況、利潤(rùn)同比增長(zhǎng)情況、促銷率等等。對(duì)于不同的行業(yè)會(huì)有不同的相關(guān)的KPI需要跟蹤，所以報(bào)告的內(nèi)容也會(huì)有所側(cè)重，但是只要你一個(gè)行業(yè)做久了，熟悉了套路之后，基本上就是以同樣的方法開展。

對(duì)于數(shù)據(jù)分析，如果公司部門分的比較細(xì)的（例如可能有建模組），那么做數(shù)據(jù)分析可能永遠(yuǎn)都是做data processing了。對(duì)于模型的分析，需要你對(duì)業(yè)務(wù)有了深入的了解就可以建立一些模型出來（例如推薦模型）等等。

數(shù)據(jù)分析主要涉及的技能：

（1）數(shù)據(jù)庫(kù)的能力。越全面越好，如果不是理工科的，最起碼要會(huì)select那些簡(jiǎn)單的查詢語(yǔ)句。

（2）EXCEL、PPT的能力。報(bào)告的呈現(xiàn)一般都是Excel+PPT的形式，最好VBA，這樣就可以將很多人工的工作轉(zhuǎn)化為自動(dòng)化的能力，提高工作效率，領(lǐng)導(dǎo)也對(duì)你刮目相看，自己也有更多空余的時(shí)間準(zhǔn)備其他方面的知識(shí)。

（3）市場(chǎng)分析能力。學(xué)會(huì)觀察市場(chǎng)的走向和關(guān)注的內(nèi)容，例如零售行業(yè)，現(xiàn)在大家都對(duì)CRM很熱衷，那相關(guān)的分析方法和方式是怎么樣的，你要自己去了解。從來不會(huì)有人手把手的將所有東西都告訴你，你必須自己學(xué)會(huì)去增長(zhǎng)知識(shí)。

（4）一些會(huì)計(jì)的知識(shí)。因?yàn)橥ㄟ^以上分析，就是會(huì)計(jì)管理的一部分內(nèi)容，最后還是公司盈利問題。有興趣的也可以去看看戰(zhàn)略管理方面的，對(duì)于做數(shù)據(jù)分析也很有好處的說。

綜合來看，可以說數(shù)據(jù)分析=技術(shù)+市場(chǎng)+戰(zhàn)略。

2 如何培養(yǎng)數(shù)據(jù)分析能力

理論：

基礎(chǔ)的數(shù)據(jù)分析知識(shí)，至少知道如何做趨勢(shì)分析、比較分析和細(xì)分，不然拿到一份數(shù)據(jù)就無(wú)從下手；

（2）基礎(chǔ)的統(tǒng)計(jì)學(xué)知識(shí)，至少基礎(chǔ)的統(tǒng)計(jì)量要認(rèn)識(shí)，知道這些統(tǒng)計(jì)量的定義和適用條件，統(tǒng)計(jì)學(xué)方法可以讓分析過程更加嚴(yán)謹(jǐn)，結(jié)論更有說服力；

（3）對(duì)數(shù)據(jù)的興趣，以及其它的知識(shí)多多益善，讓分析過程有趣起來。

實(shí)踐：

（1）明確分析的目的。如果分析前沒有明確分析的最終目標(biāo)，很容易被數(shù)據(jù)繞進(jìn)去，最終自己都不知道自己得出的結(jié)論到底是用來干嘛的；

（2）多結(jié)合業(yè)務(wù)去看數(shù)據(jù)。數(shù)據(jù)從業(yè)務(wù)運(yùn)營(yíng)中來，分析當(dāng)然要回歸到業(yè)務(wù)中去，多熟悉了解業(yè)務(wù)可以使數(shù)據(jù)看起來更加透徹；

（3）了解數(shù)據(jù)的定義和獲取。最好從數(shù)據(jù)最初是怎么獲取的開始了解，當(dāng)然指標(biāo)的統(tǒng)計(jì)邏輯和規(guī)則是必須熟記于心的，不然很容易就被數(shù)據(jù)給坑了；

（4）最后就是不斷地看數(shù)據(jù)、分析數(shù)據(jù)，這是個(gè)必經(jīng)的過程，往往一個(gè)工作經(jīng)驗(yàn)豐富的非數(shù)據(jù)分析的運(yùn)營(yíng)人員要比剛進(jìn)來不久的數(shù)據(jù)分析師對(duì)數(shù)據(jù)的了解要深入得多，就是這個(gè)原因。

3 大數(shù)據(jù)

大數(shù)據(jù)就是通過統(tǒng)計(jì)分析計(jì)算機(jī)收集的數(shù)據(jù)，在人們可能不知道“為什么”的前提下，了解到事物的狀態(tài)、趨勢(shì)、結(jié)果等“是什么”。

對(duì)于大數(shù)據(jù)，一直來說，數(shù)據(jù)規(guī)模導(dǎo)致的存儲(chǔ)、運(yùn)算等技術(shù)問題從來不是最重要的瓶頸。瓶頸只在于前端數(shù)據(jù)的收集途徑，以及后端商業(yè)思想引領(lǐng)的模型和算法問題。早期的各類OLAP工具已經(jīng)足夠了，后來類似海杜普這樣的研究則徹底降低了分布式數(shù)據(jù)的架構(gòu)成本和門檻，就徹底將大數(shù)據(jù)帶入了一個(gè)普及的領(lǐng)域。

從技術(shù)層面說，大數(shù)據(jù)和以前的數(shù)據(jù)時(shí)代的最大差異在于，以前是數(shù)據(jù)找應(yīng)用/算法的過程（例如各大銀行的大集中項(xiàng)目，以及數(shù)據(jù)建倉(cāng)），而大數(shù)據(jù)時(shí)代的重要技術(shù)特征之一，是應(yīng)用/算法去找數(shù)據(jù)的過程，因?yàn)閿?shù)據(jù)規(guī)模變成了技術(shù)上最大的挑戰(zhàn)。

大數(shù)據(jù)的特點(diǎn)：

（1）大數(shù)據(jù)不等同于數(shù)據(jù)大，我們處理問題是根據(jù)這個(gè)問題的所有數(shù)據(jù)而非樣本數(shù)據(jù)，即樣本就是總體；不是精確性而是混雜性；不是因果關(guān)系而是相關(guān)關(guān)系。

（2）大數(shù)據(jù)應(yīng)用的幾個(gè)可能：當(dāng)文字變成數(shù)據(jù)，此時(shí)人可以用之閱讀，機(jī)器可以用之分析；當(dāng)方位變成數(shù)據(jù)，商業(yè)廣告，疫情傳染監(jiān)控，雅安地震時(shí)的谷歌尋人；當(dāng)溝通變成數(shù)據(jù)，就成了社交圖譜。一切都可以量化，將世界看作可以理解的數(shù)據(jù)的海洋，為我們提供了一個(gè)從來未有過的審視現(xiàn)實(shí)的視角。

（3）數(shù)據(jù)創(chuàng)新的價(jià)值：數(shù)據(jù)的再利用。例如重組數(shù)據(jù)：隨著大數(shù)據(jù)出現(xiàn)，數(shù)據(jù)的總和比部分更有價(jià)值，重組總和和本身價(jià)值也比單個(gè)總和更大；可擴(kuò)展數(shù)據(jù)：在設(shè)計(jì)數(shù)據(jù)收集時(shí)就設(shè)計(jì)好了它的可擴(kuò)展性，可以增加數(shù)據(jù)的潛在價(jià)值；數(shù)據(jù)的折舊值：數(shù)據(jù)會(huì)無(wú)用，需淘汰更新；數(shù)據(jù)廢氣：比如語(yǔ)音識(shí)別，當(dāng)用戶指出語(yǔ)音識(shí)別程序誤解了他的意思，實(shí)際上就有效的訓(xùn)練了這個(gè)系統(tǒng)。

總之，大數(shù)據(jù)是因?yàn)閷?duì)它的分析使用，才產(chǎn)生和體現(xiàn)它的價(jià)值，而不是因?yàn)槠溆玫搅送怀龅募夹g(shù)和算法才體現(xiàn)了它的價(jià)值。

4 大數(shù)據(jù)下的智能數(shù)據(jù)分析

在大數(shù)據(jù)的背景下，必須考慮數(shù)據(jù)之間的關(guān)聯(lián)性。一個(gè)單獨(dú)的數(shù)據(jù)是沒有意義的，實(shí)際中，選擇處在兩個(gè)極端的數(shù)據(jù)往往更容易找出它們之間的聯(lián)系，把它們放在一個(gè)框架中看才能發(fā)現(xiàn)問題。因此，可以用以下四種方法在大數(shù)據(jù)背景下進(jìn)行智能數(shù)據(jù)分析：

（1）從解決問題的角度出發(fā)收集數(shù)據(jù)；

（2）把收集的數(shù)據(jù)整理好，放入一個(gè)框架內(nèi)，并利用這個(gè)框架幫助決策者做出決定；

（3）評(píng)估決定與行動(dòng)的效果，這將告訴我們框架是否合理；

（4）如果有新的數(shù)據(jù)出現(xiàn)，我們將考察能否利用它對(duì)前面三步做出改進(jìn)，以及我們今天是否還需要收集更多種類的數(shù)據(jù)。

5 結(jié)語(yǔ)

數(shù)據(jù)分析的最終目的是幫助業(yè)務(wù)發(fā)現(xiàn)問題并解決問題，提升公司價(jià)值，而這些是從數(shù)據(jù)發(fā)覺的，而不是盲目下結(jié)論。每家公司都有自己業(yè)務(wù)生產(chǎn)的數(shù)據(jù)，通過數(shù)據(jù)分析、同比環(huán)比、漏斗分析及模型等，發(fā)現(xiàn)業(yè)務(wù)上存在的問題，幫助公司業(yè)務(wù)的優(yōu)化。

參考文獻(xiàn)

篇（3）

1.1信息安全分析引入大數(shù)據(jù)的必要性

大數(shù)據(jù)具有“4V”的特點(diǎn)：Volume、Variety、Velocity和Value，可實(shí)現(xiàn)大容量、低成本、高效率的信息安全分析能力，能夠滿足安全數(shù)據(jù)的處理和分析要求，將大數(shù)據(jù)應(yīng)用于信息安全領(lǐng)域能夠有效的識(shí)別各種攻擊行為或安全事件，具有重大的研究意義和實(shí)用價(jià)值。隨著企業(yè)規(guī)模的增大和安全設(shè)備的增加，信息安全分析的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)。數(shù)據(jù)源豐富、數(shù)據(jù)種類多、數(shù)據(jù)分析維度廣；同時(shí)，數(shù)據(jù)生成的速度更快，對(duì)信息安全分析應(yīng)答能力要求也相應(yīng)增長(zhǎng)。傳統(tǒng)信息安全分析主要基于流量和日志兩大類數(shù)據(jù)，并與資產(chǎn)、業(yè)務(wù)行為、外部情報(bào)等進(jìn)行關(guān)聯(lián)分析?；诹髁康陌踩治鰬?yīng)用主要包括惡意代碼檢測(cè)、僵木蠕檢測(cè)、異常流量、Web安全分析等；基于日志的安全分析應(yīng)用主要包括安全審計(jì)、主機(jī)入侵檢測(cè)等。將大數(shù)據(jù)分析技術(shù)引入到信息安全分析中，就是將分散的安全數(shù)據(jù)整合起來，通過高效的采集、存儲(chǔ)、檢索和分析，利用多階段、多層面的關(guān)聯(lián)分析以及異常行為分類預(yù)測(cè)模型，有效的發(fā)現(xiàn)APT攻擊、數(shù)據(jù)泄露、DDoS攻擊、騷擾詐騙、垃圾信息等，提升安全防御的主動(dòng)性。而且，大數(shù)據(jù)分析涉及的數(shù)據(jù)更加全面，主要包括應(yīng)用場(chǎng)景自身產(chǎn)生的數(shù)據(jù)、通過某種活動(dòng)或內(nèi)容“創(chuàng)建”出來的數(shù)據(jù)、相關(guān)背景數(shù)據(jù)及上下文關(guān)聯(lián)數(shù)據(jù)等。如何高效合理的處理和分析這些數(shù)據(jù)是安全大數(shù)據(jù)技術(shù)應(yīng)當(dāng)研究的問題。

1.2安全大數(shù)據(jù)分析方法

安全大數(shù)據(jù)分析的核心思想是基于網(wǎng)絡(luò)異常行為分析，通過對(duì)海量數(shù)據(jù)處理及學(xué)習(xí)建模，從海量數(shù)據(jù)中找出異常行為和相關(guān)特征；針對(duì)不同安全場(chǎng)景設(shè)計(jì)針對(duì)性的關(guān)聯(lián)分析方法，發(fā)揮大數(shù)據(jù)存儲(chǔ)和分析的優(yōu)勢(shì)，從豐富的數(shù)據(jù)源中進(jìn)行深度挖掘，進(jìn)而挖掘出安全問題。安全大數(shù)據(jù)分析主要包括安全數(shù)據(jù)采集、存儲(chǔ)、檢索和安全數(shù)據(jù)的智能分析。（1）安全數(shù)據(jù)采集、存儲(chǔ)和檢索：基于大數(shù)據(jù)采集、存儲(chǔ)、檢索等技術(shù)，可以從根本上提升安全數(shù)據(jù)分析的效率。采集多種類型的數(shù)據(jù)，如業(yè)務(wù)數(shù)據(jù)、流量數(shù)據(jù)、安全設(shè)備日志數(shù)據(jù)及輿情數(shù)據(jù)等。針對(duì)不同的數(shù)據(jù)采用特定的采集方式，提升采集效率。針對(duì)日志信息可采用Chukwa、Flume、Scribe等工具；針對(duì)流量數(shù)據(jù)可采用流量景象方法，并使用Storm和Spark技術(shù)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和分析；針對(duì)格式固定的業(yè)務(wù)數(shù)據(jù)，可使用HBase、GBase等列式存儲(chǔ)機(jī)制，通過MapReduce和Hive等分析方法，可以實(shí)時(shí)的對(duì)數(shù)據(jù)進(jìn)行檢索，大大提升數(shù)據(jù)處理效率。（2）安全數(shù)據(jù)的智能分析：并行存儲(chǔ)和NoSQL數(shù)據(jù)庫(kù)提升了數(shù)據(jù)分析和查詢的效率，從海量數(shù)據(jù)中精確地挖掘安全問題還需要智能化的分析工具，主要包括ETL（如預(yù)處理）、統(tǒng)計(jì)建模工具（如回歸分析、時(shí)間序列預(yù)測(cè)、多元統(tǒng)計(jì)分析理論）、機(jī)器學(xué)習(xí)工具（如貝葉斯網(wǎng)絡(luò)、邏輯回歸、決策樹、隨機(jī)森利）、社交網(wǎng)絡(luò)工具（如關(guān)聯(lián)分析、隱馬爾可夫模型、條件隨機(jī)場(chǎng)）等。常用的大數(shù)據(jù)分析思路有先驗(yàn)分析方法、分類預(yù)測(cè)分析方法、概率圖模型、關(guān)聯(lián)分析方法等?？墒褂肕ahout和MLlib等分析工具對(duì)數(shù)據(jù)進(jìn)行挖掘分析。綜上，一個(gè)完備的安全大數(shù)據(jù)分析平臺(tái)應(yīng)自下而上分為數(shù)據(jù)采集層、大數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)挖掘分析層、可視化展示層。主要通過數(shù)據(jù)流、日志、業(yè)務(wù)數(shù)據(jù)、情報(bào)信息等多源異構(gòu)數(shù)據(jù)進(jìn)行分布式融合分析，針對(duì)不同場(chǎng)景搭建分析模型，最終實(shí)現(xiàn)信息安全的可管可控，展現(xiàn)整體安全態(tài)勢(shì)。

2安全大數(shù)據(jù)分析的典型應(yīng)用

2.1基于用戶行為的不良信息治理

中國(guó)移動(dòng)開展了基于大數(shù)據(jù)的不良信息治理工作，主要針對(duì)垃圾短信和騷擾詐騙電話開展基于異常行為的大數(shù)據(jù)分析。通過開源工具Hadoop、HDFS、Pig、Hive、Mahout、MLlib搭建大數(shù)據(jù)分析平臺(tái)，采集用戶的行為數(shù)據(jù)，構(gòu)建用戶行為分析模型；分別提出了異常行為分類預(yù)測(cè)模型、統(tǒng)計(jì)預(yù)測(cè)分析模型、社交網(wǎng)絡(luò)分析模型等，將用戶的行為數(shù)據(jù)輸入到模型中，可以精準(zhǔn)地挖掘出違規(guī)電話號(hào)碼，并且發(fā)現(xiàn)違規(guī)號(hào)碼與正常號(hào)碼之間存在大量相異的行為特征。通過用戶的行為，構(gòu)建多維度的用戶畫像數(shù)據(jù)庫(kù)，支撐全方位的大數(shù)據(jù)不良信息治理服務(wù)，支撐大數(shù)據(jù)不良內(nèi)容的智能識(shí)別等。實(shí)踐表明，大數(shù)據(jù)分析技術(shù)能夠挖掘出更多潛在的違規(guī)號(hào)碼，是對(duì)現(xiàn)有系統(tǒng)的有效補(bǔ)充。除此之外，中國(guó)移動(dòng)還將大數(shù)據(jù)技術(shù)應(yīng)用在安全態(tài)勢(shì)感知、手機(jī)惡意軟件檢測(cè)和釣魚網(wǎng)站的分析中，提升了現(xiàn)有系統(tǒng)的分析能力。

2.2基于網(wǎng)絡(luò)流量的大數(shù)據(jù)分析

在互聯(lián)網(wǎng)出口進(jìn)行旁路流量監(jiān)控，使用Hadoop存儲(chǔ)及Storm、Spark流分析技術(shù)，通過大數(shù)據(jù)分析技術(shù)梳理業(yè)務(wù)數(shù)據(jù)，深度分析所面臨的安全風(fēng)險(xiǎn)。主要分析思路是采集Netflow原始數(shù)據(jù)、路由器配置數(shù)據(jù)、僵木蠕檢測(cè)事件、惡意URL事件等信息，采用多維度分析、行為模式分析、指紋分析、孤立點(diǎn)分析及協(xié)議還原等方法，進(jìn)行Web漏洞挖掘、CC攻擊檢測(cè)、可疑掃描、異常Bot行為、APT攻擊、DDoS攻擊挖掘等分析。

2.3基于安全日志的大數(shù)據(jù)分析

基于安全日志的大數(shù)據(jù)分析思路主要是融合多種安全日志，進(jìn)行數(shù)據(jù)融合關(guān)聯(lián)分析，構(gòu)建異常行為模型，來挖掘違規(guī)安全事件。主要的安全日志包含Web日志、IDS設(shè)備日志、Web攻擊日志、IDC日志、主機(jī)服務(wù)器日志、數(shù)據(jù)庫(kù)日志、網(wǎng)管日志、DNS日志及防火墻日志等，通過規(guī)則關(guān)聯(lián)分析、攻擊行為挖掘、情景關(guān)聯(lián)分析、歷史溯源等方法，來分析Web攻擊行為、Sql注入、敏感信息泄露、數(shù)據(jù)分組下載傳輸、跨站漏洞、嘗試口令破解攻擊等應(yīng)用場(chǎng)景?；诎踩罩镜拇髷?shù)據(jù)分析已經(jīng)在國(guó)際上有廣泛的應(yīng)用。如IBMQRadar應(yīng)用整合分散在網(wǎng)絡(luò)各處的數(shù)千個(gè)設(shè)備端點(diǎn)和應(yīng)用中的日志源事件數(shù)據(jù)，并將原始安全數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，以區(qū)別威脅和錯(cuò)誤判斷；IBMQRadar還可以與IBMThreatIntelligence一起使用，提供潛在惡意IP地址列表，包括惡意主機(jī)、垃圾郵件和其它威脅等；IBMQradar還可以將系統(tǒng)漏洞與事件和網(wǎng)絡(luò)數(shù)據(jù)相關(guān)聯(lián)，劃分安全性事件的優(yōu)先級(jí)等。ZettaSet海量事件數(shù)據(jù)倉(cāng)庫(kù)來分析網(wǎng)絡(luò)中的安全漏洞和惡意攻擊；Zettaset主要包括Orchestrator和SDW(SecurityDataWarehouse，安全數(shù)據(jù)倉(cāng)庫(kù)）。Orchestrator是端到端的Hadoop管理產(chǎn)品，支持多個(gè)Hadoop分布；SDW是構(gòu)建在Hadoop的基礎(chǔ)上，并且基于Hive分布式存儲(chǔ)。SDW于2011年BlackHat網(wǎng)絡(luò)安全會(huì)議面世，SDW可從網(wǎng)絡(luò)防火墻、安全設(shè)備、網(wǎng)站流量、業(yè)務(wù)流程以及其它事務(wù)中挖掘安全信息，確定并阻止安全性威脅。處理的數(shù)據(jù)質(zhì)量和分析的事件數(shù)量比傳統(tǒng)SIEM多；對(duì)于一個(gè)月的數(shù)據(jù)負(fù)載，傳統(tǒng)SIEM搜索需要20～60min，Hive運(yùn)行查詢只需1min左右。

2.4基于DNS的安全大數(shù)據(jù)分析

基于DNS的安全大數(shù)據(jù)分析通過對(duì)DNS系統(tǒng)的實(shí)時(shí)流量、日志進(jìn)行大數(shù)據(jù)分析，對(duì)DNS流量的靜態(tài)及動(dòng)態(tài)特征進(jìn)行建模，提取DNS報(bào)文特征：DNS分組長(zhǎng)、DNS響應(yīng)時(shí)間、發(fā)送頻率、域名歸屬地離散度、解析IP離散度、遞歸路徑、域名生存周期等；基于DNS報(bào)文特征，構(gòu)建異常行為模型，來檢測(cè)針對(duì)DNS系統(tǒng)的各類流量攻擊（如DNS劫持、DNS拒絕服務(wù)攻擊、DNS分組異常、DNS放大攻擊等）及惡意域名、釣魚網(wǎng)站域名等。

2.5APT攻擊大數(shù)據(jù)分析

高級(jí)可持續(xù)性威脅（APT）攻擊通過周密的策劃與實(shí)施，針對(duì)特定對(duì)象進(jìn)行長(zhǎng)期的、有計(jì)劃的攻擊，具有高度隱蔽性、潛伏期長(zhǎng)、攻擊路徑和渠道不確定等特征?，F(xiàn)已成為信息安全保障領(lǐng)域的巨大威脅?！罢鹁W(wǎng)”潛伏3年，造成伊朗納坦茲核電站上千臺(tái)鈾濃縮離心機(jī)故障。收集業(yè)務(wù)系統(tǒng)流量、Web訪問日志、數(shù)據(jù)日志、資產(chǎn)庫(kù)及Web滲透知識(shí)庫(kù)等，提取系統(tǒng)指紋、攻擊種類、攻擊時(shí)間、黑客關(guān)注度、攻擊手段類型、行為歷史等事件特征，再基于大數(shù)據(jù)機(jī)器學(xué)習(xí)方法，發(fā)現(xiàn)Web滲透行為、追溯攻擊源、分析系統(tǒng)脆弱性，加強(qiáng)事中環(huán)節(jié)的威脅感知能力，同時(shí)支撐調(diào)查取證。

篇（4）

中圖分類號(hào)：TP392 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671－7597（2012）0220084－02

0 引言

聯(lián)機(jī)分析處理（OLAP）技術(shù)是近幾年來信息領(lǐng)域中的技術(shù)熱點(diǎn)，人們普遍認(rèn)為它將是數(shù)據(jù)倉(cāng)庫(kù)在數(shù)據(jù)庫(kù)技術(shù)方面的的重要發(fā)展方向。因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫(kù)的應(yīng)用系統(tǒng)是面向事務(wù)設(shè)計(jì)的，在尋找業(yè)務(wù)的具體數(shù)據(jù)上特別有效，但在為領(lǐng)導(dǎo)決策者提供總結(jié)性數(shù)據(jù)結(jié)果時(shí)則顯得力所不及，這就凸顯出了聯(lián)機(jī)分析處理（OLAP）技術(shù)重要性，OLAP是一項(xiàng)提供給數(shù)據(jù)分析人員以靈活、可用并及時(shí)的方式構(gòu)造、處理和表示綜合數(shù)據(jù)的技術(shù)[1-2]。

1 聯(lián)機(jī)分析處理（OLAP）

1.1 基本概念

聯(lián)機(jī)分析處理（OLAP）技術(shù)與數(shù)據(jù)倉(cāng)庫(kù)有著非常緊密的聯(lián)系，它是數(shù)據(jù)倉(cāng)庫(kù)的檢驗(yàn)型分析工具。它將分析決策者所需要的大量數(shù)據(jù)從傳統(tǒng)的環(huán)境中解離出來，清理、轉(zhuǎn)換成統(tǒng)一的信息，幫助決策者進(jìn)行有效及時(shí)的分析、判斷和預(yù)測(cè)，獲得更大的效率[3]。

OLAP建立在多維的視圖基礎(chǔ)之上，強(qiáng)調(diào)執(zhí)行效率和對(duì)用戶命令的及時(shí)響應(yīng)的能力，并且其數(shù)據(jù)來源是數(shù)據(jù)倉(cāng)庫(kù)。它是一種軟件技術(shù)，使得分析人員及管理人員通過對(duì)信息的多側(cè)面、多角度、多層次的觀察，支持其決策。

1.2 技術(shù)特點(diǎn)

1）快速性，以相當(dāng)快的速度向用戶提交信息?？稍?秒內(nèi)向用戶提交。2）可分析性，OLAP能處理和應(yīng)用任何統(tǒng)計(jì)分析和邏輯分析。用戶不用過多編程就可以定制新的專門計(jì)算，它將其作為分析中的一部分，并以理想的方式輸出報(bào)告。3）共享性，在大量用戶之間實(shí)現(xiàn)潛在地共享秘密數(shù)據(jù)所必需的安全性豁求。4）多維性，系統(tǒng)對(duì)數(shù)據(jù)提供分析和多維視圖，包括對(duì)層次維和多重層次維的支持。事實(shí)上，多維分析是分析企業(yè)數(shù)據(jù)最行之有效的方式方法，是OLAP的核心。5）信息性，無(wú)論數(shù)據(jù)量多大，數(shù)據(jù)存儲(chǔ)在哪里，OLAP均能及時(shí)獲取信息，并大容量管理信息。

1.3 OLAP的多維數(shù)據(jù)結(jié)構(gòu)

多維數(shù)據(jù)結(jié)構(gòu)是數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)結(jié)構(gòu)的一種類型。它是為提高數(shù)據(jù)庫(kù)查詢能力設(shè)計(jì)的，內(nèi)部包含等待分析的數(shù)據(jù)，且使用數(shù)據(jù)維分類數(shù)據(jù)。此結(jié)構(gòu)更可稱為立方體數(shù)據(jù)結(jié)構(gòu)。多維結(jié)構(gòu)里的數(shù)據(jù)資源既可以按雪花型結(jié)構(gòu)分布，也可以按星型結(jié)構(gòu)排列。

1）維。維是指人們對(duì)事務(wù)觀察的角度。人們?cè)谟^察數(shù)據(jù)的同時(shí)，對(duì)某些特定角度還可以在細(xì)節(jié)上有不同程度的多個(gè)描述層次，這些層次稱為維的層次。維的一個(gè)取值稱為該維的一個(gè)維成員。若維已經(jīng)被分成若干層次，則其成員為不同維層次值的組合。

一個(gè)立方體數(shù)據(jù)結(jié)構(gòu)是由很多數(shù)據(jù)維組成，一維即為某一類的數(shù)據(jù)。維定義為相同類數(shù)據(jù)的集合。數(shù)據(jù)維內(nèi)的數(shù)據(jù)限制在某一問題領(lǐng)域之中。在Microsoft OLAP Service中立方體數(shù)據(jù)結(jié)構(gòu)可包含1-64個(gè)數(shù)據(jù)維。在立方體結(jié)構(gòu)里至少包含一個(gè)數(shù)據(jù)維，在一個(gè)數(shù)據(jù)維里則又至少包含一個(gè)層次，且一個(gè)層次至少要包含一個(gè)級(jí)別。而每個(gè)級(jí)別里，又可以包括多個(gè)成員。在事實(shí)表關(guān)鍵字與數(shù)據(jù)維成員交叉的地方，每個(gè)成員都至少有某一個(gè)數(shù)據(jù)值出現(xiàn)在這個(gè)位置上。

一切同質(zhì)的度量值和其關(guān)聯(lián)的維成員都構(gòu)成一個(gè)多維數(shù)據(jù)集。在多維數(shù)據(jù)集中，它能支持各種類型的查詢，為OLAP的核心組成部分。多維數(shù)據(jù)集還可以用多維數(shù)據(jù)庫(kù)來實(shí)現(xiàn)，更可用關(guān)系數(shù)據(jù)庫(kù)來實(shí)現(xiàn)。

父子維度是基于兩個(gè)維度的表列，這兩列共同定義了維成員中的沿襲關(guān)系。其中一列稱為成員鍵列，它標(biāo)識(shí)每個(gè)成員；而另一列則稱為父鍵列，其標(biāo)識(shí)每個(gè)成員的父代。父代為層次結(jié)構(gòu)中的上層節(jié)點(diǎn)。此兩列都有相同的數(shù)據(jù)類型，且都在同一個(gè)表內(nèi)，故可用于創(chuàng)建父子鏈表。父子維度的深度隨它的層次結(jié)構(gòu)分支變化，故父子維度的層次結(jié)構(gòu)常常為不均衡的。

虛擬維度與常規(guī)維度在給出定義時(shí)的級(jí)別數(shù)目就已經(jīng)決定了最終用戶所觀察到的級(jí)別數(shù)目；但父子維度不同，它是應(yīng)用特殊類型單個(gè)級(jí)別來定義的，該特殊類型常常也會(huì)產(chǎn)生最終用戶所看到的多個(gè)級(jí)別。其中存儲(chǔ)成員鍵和父鍵列的內(nèi)容將會(huì)決定顯現(xiàn)出的級(jí)別數(shù)目。故當(dāng)更新該維度表，并進(jìn)一步處理和使用此維度的多維數(shù)據(jù)集時(shí)，其級(jí)別數(shù)目還可能會(huì)更改。

2）度量。事實(shí)表的成員值被稱為“度量”，為進(jìn)行數(shù)值分析時(shí)所需要尋找的數(shù)量信息。度量為具有可加性和數(shù)值性的。度量值為觀察事物的焦點(diǎn)，故一般具有加和性。在多維數(shù)據(jù)集中，度量值存在于多維數(shù)據(jù)集的事實(shí)數(shù)據(jù)表中。最終用戶所請(qǐng)求的信息類型稱為選擇其的決定因素。

在數(shù)據(jù)庫(kù)的數(shù)據(jù)維表里直接獲得的成員被稱為輸入成員；在包含其他成員的表達(dá)式里獲得的成員被稱為導(dǎo)出成員。導(dǎo)出成員是在運(yùn)行中計(jì)算得到的，且當(dāng)只有那些計(jì)算成員的表達(dá)式存儲(chǔ)在多維數(shù)據(jù)庫(kù)里時(shí)，一個(gè)導(dǎo)出成員才可作為數(shù)據(jù)維成員，更可作為度量成員。在系統(tǒng)中根據(jù)用戶的需求設(shè)計(jì)導(dǎo)出成員，能有效的提高系統(tǒng)分析能力，拓展完善系統(tǒng)的其他功能。

3）虛擬維度。虛擬維度是基于物理維度的邏輯維度。此類內(nèi)容可以是物理維度中的現(xiàn)有成員的屬性，更可為物理維度表中的列。應(yīng)用虛擬維度，可基于多維數(shù)據(jù)集中的維度成員的成員屬性來對(duì)多維數(shù)據(jù)集數(shù)據(jù)進(jìn)行分析比較，并且不需占用額外的磁盤空間或處理時(shí)間。虛擬維度更沒有聚合數(shù)據(jù)，更不能影響多維數(shù)據(jù)集的處理時(shí)間，這是由于它們的計(jì)算是需要時(shí)在內(nèi)存中進(jìn)行的。

虛擬數(shù)據(jù)維不需存儲(chǔ)在計(jì)算機(jī)的硬件設(shè)備上。虛擬維在立方體中是可以提供更加多的維分析，故虛擬維的設(shè)計(jì)可能要減少立方體存儲(chǔ)空間，但更會(huì)增加查詢時(shí)間。虛擬維的設(shè)計(jì)能使用戶靈活地使用實(shí)際維的多重屬性來減少維的多重顯示。

多個(gè)立方體結(jié)構(gòu)組合在一起形成了一個(gè)虛擬立方體結(jié)構(gòu)來供用戶查詢信息。在數(shù)據(jù)倉(cāng)庫(kù)中應(yīng)用虛擬立方體結(jié)構(gòu)，還可允許用戶在多個(gè)結(jié)構(gòu)中交叉訪問信息，且用戶不用建立數(shù)據(jù)倉(cāng)庫(kù)就可把此類立方體結(jié)構(gòu)存儲(chǔ)在該數(shù)據(jù)倉(cāng)庫(kù)里。其實(shí)應(yīng)用虛擬立方體數(shù)據(jù)結(jié)構(gòu)不僅可以為用戶提供信息，還可節(jié)省磁盤空間。此外，虛擬立方體數(shù)據(jù)結(jié)構(gòu)更能用來提供一定級(jí)別的保密能力。

2 OLAP的功能結(jié)構(gòu)及其基本分析操作

2.1 功能結(jié)構(gòu)

OLAP的功能結(jié)構(gòu)主要是由數(shù)據(jù)存儲(chǔ)服務(wù)、OLAP應(yīng)用服務(wù)以及用戶描述服務(wù)等三方面組成的三層客戶或者說三層服務(wù)器結(jié)構(gòu)（如圖1所示），我們說應(yīng)用邏輯并不簡(jiǎn)單，它所處的位置是被集中存放在應(yīng)用服務(wù)器上的，主要工作原理是由服務(wù)器給予迅速地?cái)?shù)據(jù)存儲(chǔ)，之后進(jìn)行后臺(tái)處理以及報(bào)表的預(yù)處理。為什么說它的它的工作效率高其主要原因是：首先，OLAP服務(wù)器的使用足以規(guī)范和能夠加強(qiáng)決策支持方面的服務(wù)工作；其次，能夠集中和簡(jiǎn)化原

有客戶端以及DW服務(wù)器的某些工作；最后，充分降低了系統(tǒng)數(shù)據(jù)傳輸量。因此，我們說OLAP服務(wù)器的工作效率更高。如何將數(shù)據(jù)倉(cāng)庫(kù)中的綜合數(shù)據(jù)組合在一起以及滿足前端用戶的多維分析是OLAP服務(wù)器設(shè)計(jì)的重點(diǎn)。

圖1 OLAP的三層客戶/服務(wù)器結(jié)構(gòu)圖

2.2 基本分析操作

OLAP的基本操作過程包括對(duì)多維數(shù)據(jù)進(jìn)行的切片、切塊、旋轉(zhuǎn)、鉆取等四部分分析操作過程。這些分析操作過程促使用戶可以從不同的角度和不同的側(cè)面觀測(cè)數(shù)據(jù)庫(kù)中產(chǎn)生的數(shù)據(jù)，進(jìn)而對(duì)包含在數(shù)據(jù)中的信息有了更加深入地了解。

1）切片。我們?cè)谄渲械哪骋粋€(gè)維上確定一個(gè)屬性成員，但在其他的維上選取一定區(qū)間的屬性成員或者所有的屬性成員來觀測(cè)數(shù)據(jù)的分析方式這一操作過程我們稱之為切片操作。2）切塊。在各種維上參與一定區(qū)間的成員屬性或者所有成員屬性都來參與進(jìn)行觀測(cè)數(shù)據(jù)的一種分析方式，我們說是切塊操作。為此，切片與切塊的關(guān)系我們可以這樣理解：切片――它是切塊的特例，切塊――它是切片的擴(kuò)展。3）鉆取。鉆取包括向下鉆和向上鉆上卷兩個(gè)不同操作。下鉆指的是以概括性的數(shù)據(jù)為出發(fā)點(diǎn)進(jìn)而獲取相對(duì)應(yīng)的比較詳細(xì)的數(shù)據(jù)結(jié)果，上鉆則恰恰相反。鉆取的深度是與維度所劃分出來的的層次相對(duì)應(yīng)的。4）旋轉(zhuǎn)。旋轉(zhuǎn)就是指能夠改變一個(gè)報(bào)告或者頁(yè)面凸顯的維方向。旋轉(zhuǎn)有可能會(huì)含有交換的行和列，它不是把其中的某一個(gè)行維轉(zhuǎn)移到列中去，就是把頁(yè)面凸顯中的其中一個(gè)維和頁(yè)面之外的維進(jìn)行互換。

3 OLAP的新發(fā)展――OLAM

OLAM的簡(jiǎn)稱是“聯(lián)機(jī)分析挖掘”，它是將OLAP （聯(lián)機(jī)分析處理技術(shù)）和DM（數(shù)據(jù)挖掘技術(shù)）有機(jī)地組合起來進(jìn)而形成的一種嶄新的技術(shù)。OLAM不僅具有OLAP多維分析的在線性、靈活性還有DM對(duì)數(shù)據(jù)處理的深入性等特點(diǎn)，因此對(duì)信息的分析和篩選要求有了更高層次上的滿足。我們說，OLAM具有以下幾種特性：

OLAM具有強(qiáng)大的挖掘力量。它能偶借助OLAP的支持挖掘出任何需要的數(shù)據(jù)；OLAM不僅能給予靈活的挖掘算法選擇機(jī)制而且能夠給予與外部挖掘算法的通用接口；OLAM的挖掘計(jì)算是以多維數(shù)據(jù)模型為基礎(chǔ)的，它能夠和OLAP的操作靈活結(jié)合，并具有計(jì)算的回溯功能。

本著客戶/服務(wù)器體系結(jié)構(gòu)的根本，它不僅具有較高的執(zhí)行效率而且還有較快的響應(yīng)速度，并且可以調(diào)整執(zhí)行效率和挖掘結(jié)果的準(zhǔn)確度。一旦用戶交互式執(zhí)行效率低，而用戶都已經(jīng)選定了挖掘算法和數(shù)據(jù)空間，那么應(yīng)當(dāng)確保最終結(jié)果的準(zhǔn)確性。

4 結(jié)束語(yǔ)

數(shù)據(jù)倉(cāng)庫(kù)的關(guān)健技術(shù)OLAP，是以多維數(shù)據(jù)為基礎(chǔ)，與用戶進(jìn)行交互和快速響應(yīng)，用戶積極參與分析過程，動(dòng)態(tài)地提出分析要求、選擇分析算法，對(duì)數(shù)據(jù)進(jìn)行由淺及深的驗(yàn)證型分析工具。

參考文獻(xiàn)：

[1]楊光等，OLAP技術(shù)及其發(fā)展[J].計(jì)算機(jī)應(yīng)用研究，1999.7.

篇（5）

1數(shù)據(jù)源準(zhǔn)備

數(shù)據(jù)源是數(shù)據(jù)分析技術(shù)應(yīng)用的重要前提，數(shù)據(jù)來源關(guān)系到各種業(yè)務(wù)分析所需要的數(shù)據(jù)是否齊全、原始數(shù)據(jù)質(zhì)量是否可靠、數(shù)據(jù)提供的性能方面是否滿足相關(guān)要求等。對(duì)于不同的行業(yè)領(lǐng)域，數(shù)據(jù)來源的渠道各不相同，對(duì)于數(shù)據(jù)分析應(yīng)用而言，也需要在眾多的數(shù)據(jù)中選取合適的部分進(jìn)行后續(xù)加工和處理。對(duì)于大多數(shù)信息化技術(shù)應(yīng)用比較廣泛的企業(yè)而言，主要的業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)源都可以從自身的信息管理系統(tǒng)中取得，如業(yè)務(wù)支撐系統(tǒng)、企業(yè)資源規(guī)劃和管理系統(tǒng)以及流水線作業(yè)信息管理系統(tǒng)等。有部分?jǐn)?shù)據(jù)信息是從非常專業(yè)的系統(tǒng)中直接采集到的，如專業(yè)調(diào)度系統(tǒng)、電話交換機(jī)以及生產(chǎn)線控制系統(tǒng)等。從這些系統(tǒng)中，可以取得企業(yè)運(yùn)營(yíng)過程中的基礎(chǔ)信息和關(guān)鍵數(shù)據(jù)，這些數(shù)據(jù)通常是最能真實(shí)客觀地反映企業(yè)運(yùn)行情況。此外，數(shù)據(jù)獲取的成本也比較低，穩(wěn)定性和質(zhì)量比較好，并且易于管理和重構(gòu)。然而，就經(jīng)營(yíng)分析的角度而言，從企業(yè)內(nèi)部提供的數(shù)據(jù)還不能滿足全方位分析的需要，需要從企業(yè)外部獲取必要的信息。比如為了深入了解客戶的信息，就需要進(jìn)行相應(yīng)的市場(chǎng)調(diào)研工作，設(shè)計(jì)一些調(diào)查問卷，搜集與業(yè)務(wù)開展和經(jīng)營(yíng)相關(guān)的重要信息。另外，在某些特定的場(chǎng)合下，還有可能還需要從其它一些外部渠道去集中獲得一些有關(guān)客戶和市場(chǎng)的數(shù)據(jù)信息，目前有不少機(jī)構(gòu)專門從事市場(chǎng)信息數(shù)據(jù)提供的服務(wù)工作。從企業(yè)外部獲得的業(yè)務(wù)數(shù)據(jù)往往是針對(duì)性較強(qiáng)，有較高利用價(jià)值的信息。但這些信息的真實(shí)性、穩(wěn)定性程度就比內(nèi)部的數(shù)據(jù)源要低，并且數(shù)據(jù)獲得的成本相對(duì)比較高。

2數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的應(yīng)用

目前，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)對(duì)于大多數(shù)經(jīng)營(yíng)業(yè)務(wù)數(shù)據(jù)分析任務(wù)而言，是必備的基礎(chǔ)條件之一，尤其是對(duì)于規(guī)模較大、業(yè)務(wù)開展較廣泛的企業(yè)。由于日常運(yùn)營(yíng)涉及到的數(shù)據(jù)來源和種類較多、數(shù)據(jù)量較大，在進(jìn)行數(shù)據(jù)分析處理時(shí)需要對(duì)原始的信息進(jìn)行大量的加工處理工作，因此數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的應(yīng)用就是必然的選擇。應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的主要目的是將原始的數(shù)據(jù)源按相應(yīng)的要求進(jìn)行轉(zhuǎn)換并按專門設(shè)計(jì)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)對(duì)原始數(shù)據(jù)加工處理流程目前一般稱為ETL，即抽取(Extract)、轉(zhuǎn)換(Transform)和加載(Loading)。抽取過程是指從各類原始的數(shù)據(jù)源獲取數(shù)據(jù)的過程，綜合考慮信息系統(tǒng)的處理性能和數(shù)據(jù)時(shí)效性以及分析應(yīng)用需求等因素，數(shù)據(jù)抽取過程可以是實(shí)時(shí)的，也可以是非實(shí)時(shí)的。對(duì)于抽取出的數(shù)據(jù)需要進(jìn)行一定的轉(zhuǎn)換處理，才能夠進(jìn)行后續(xù)的應(yīng)用，轉(zhuǎn)換過程主要是根據(jù)后期應(yīng)用需求將原始的數(shù)據(jù)進(jìn)行過濾、異常處理后再進(jìn)行格式變換、維度調(diào)整以及初步分類匯總等處理。數(shù)據(jù)加載過程就是將處理后的數(shù)據(jù)裝載到倉(cāng)庫(kù)模型中，并根據(jù)應(yīng)用需求進(jìn)行數(shù)據(jù)關(guān)聯(lián)關(guān)系的調(diào)整以及性能優(yōu)化。在一些專題分析應(yīng)用場(chǎng)合，還可以將已經(jīng)加載至數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行進(jìn)一步的歸納處理，形成相關(guān)主題的數(shù)據(jù)集市，以提高數(shù)據(jù)的可用程度。

數(shù)據(jù)分析方案的設(shè)計(jì)和實(shí)施

數(shù)據(jù)倉(cāng)庫(kù)建設(shè)完成之后，為了實(shí)現(xiàn)業(yè)務(wù)分析的目標(biāo)，就可以考慮實(shí)施一些數(shù)據(jù)分析方案，選擇合適的分析方法和工具建立相應(yīng)的模型，對(duì)數(shù)據(jù)進(jìn)行處理，最終得到能夠支持業(yè)務(wù)經(jīng)營(yíng)分析的關(guān)鍵信息，這一步對(duì)于整個(gè)業(yè)務(wù)數(shù)據(jù)分析工作而言是一個(gè)關(guān)鍵點(diǎn)。數(shù)據(jù)分析建模工作不僅需要掌握相關(guān)分析方法技術(shù)，更需要對(duì)業(yè)務(wù)背景和業(yè)務(wù)分析目標(biāo)有充分的認(rèn)識(shí)。因?yàn)閿?shù)據(jù)分析挖掘建模方法沒有嚴(yán)格的定律可以遵循，往往需要在實(shí)踐中運(yùn)用一些基本的方法去探索影響業(yè)務(wù)目標(biāo)的關(guān)鍵因素，并且需要長(zhǎng)期跟蹤業(yè)務(wù)發(fā)展情況，不斷地完善模型、調(diào)整相關(guān)參數(shù)，才能夠得到能正確輔助經(jīng)營(yíng)決策制定的方案。此外，隨著業(yè)務(wù)運(yùn)營(yíng)模式的調(diào)整和市場(chǎng)環(huán)境的變化，業(yè)務(wù)分析模型還可能隨時(shí)需要重構(gòu)并且反復(fù)驗(yàn)證。目前用于數(shù)據(jù)挖掘分析的方法有很多，從基本的數(shù)理統(tǒng)計(jì)方法到目前研究比較廣泛的神經(jīng)網(wǎng)絡(luò)、遺傳算法等。但是并不是越復(fù)雜的算法效果越好。在很多場(chǎng)合下，應(yīng)用較為簡(jiǎn)便的方法得出的結(jié)論更易于描述業(yè)務(wù)信息，便于理解以及實(shí)踐操作?，F(xiàn)在市場(chǎng)上用于進(jìn)行數(shù)據(jù)挖掘和統(tǒng)計(jì)分析產(chǎn)品也比較豐富，比較典型的分析工具如SPSS、SAS、STAT等，在一些行業(yè)應(yīng)用領(lǐng)域，還有更加專業(yè)的數(shù)據(jù)分析工具和軟件包可供使用。在實(shí)際運(yùn)用過程中，可以根據(jù)數(shù)據(jù)分析的需求和應(yīng)用范圍進(jìn)行選擇。

互動(dòng)點(diǎn)播業(yè)務(wù)的業(yè)務(wù)分析需求

以及數(shù)據(jù)分析方案設(shè)計(jì)目前，有線電視運(yùn)營(yíng)商在互動(dòng)點(diǎn)播業(yè)務(wù)開展過程中關(guān)注最多的經(jīng)營(yíng)目標(biāo)是如何提高用戶對(duì)服務(wù)的認(rèn)可程度、擴(kuò)大用戶規(guī)模、避免用戶流失以及提升用戶的業(yè)務(wù)貢獻(xiàn)價(jià)值等方面。在這個(gè)過程中同時(shí)也需要對(duì)點(diǎn)播內(nèi)容的使用情況進(jìn)行分析，判斷哪些產(chǎn)品的點(diǎn)播頻率比較高，以便進(jìn)行內(nèi)容安排方面的調(diào)整。為了支撐互動(dòng)點(diǎn)播業(yè)務(wù)經(jīng)營(yíng)分析的目標(biāo)，首先需要初步選擇可能對(duì)點(diǎn)播業(yè)務(wù)使用頻率影響比較大的一些關(guān)鍵性因素，并且判斷哪些信息是有手段可以收集到的，以及從哪些渠道收集等等。這個(gè)過程通常需要對(duì)基礎(chǔ)業(yè)務(wù)有一定的認(rèn)識(shí)，此外還需要對(duì)信息數(shù)據(jù)的分布和管理有相應(yīng)的了解。通常情況下，對(duì)于大多數(shù)有線電視運(yùn)營(yíng)商而言，目前都在建設(shè)和使用業(yè)務(wù)支撐系統(tǒng)?；?dòng)業(yè)務(wù)分析所需要的基礎(chǔ)信息大多數(shù)都可以從業(yè)務(wù)支撐系統(tǒng)中獲取，例如從客戶關(guān)系管理平臺(tái)中可以收集到用戶的基本信息，如客戶名稱、聯(lián)系方式、業(yè)務(wù)使用的地址等。另外，客戶開通的業(yè)務(wù)信息以及訂購(gòu)的各種產(chǎn)品信息、業(yè)務(wù)變更記錄信息以及終端信息等基本上都可以從業(yè)務(wù)支撐系統(tǒng)中獲取到。經(jīng)過一些信息轉(zhuǎn)換和匯總，我們就可以了解到用戶業(yè)務(wù)的在網(wǎng)時(shí)間、消費(fèi)情況、訂購(gòu)記錄、離網(wǎng)情況等。從這些基本信息里面可以選擇一些業(yè)務(wù)上感興趣的因素進(jìn)行統(tǒng)計(jì)分析，以歸納總結(jié)出經(jīng)營(yíng)分析相關(guān)的業(yè)務(wù)特征。對(duì)于互動(dòng)點(diǎn)播業(yè)務(wù)相關(guān)的另外一些信息，如客戶的點(diǎn)播行為記錄，一般就不是直接從業(yè)務(wù)支撐平臺(tái)上進(jìn)行采集到。這些數(shù)據(jù)的來源通常是在互動(dòng)業(yè)務(wù)管理平臺(tái)中，用戶在終端上進(jìn)行點(diǎn)播操作后，互動(dòng)業(yè)務(wù)管理平臺(tái)會(huì)記錄下與用戶點(diǎn)播操作相關(guān)的信息。從這些記錄中，我們可以了解到用戶的點(diǎn)播時(shí)間、點(diǎn)播內(nèi)容、收看時(shí)間等等。根據(jù)點(diǎn)播的內(nèi)容，可以在互動(dòng)業(yè)務(wù)內(nèi)容管理平臺(tái)上關(guān)聯(lián)到其價(jià)格、類型、上線時(shí)間等信息。綜合上述信息后，就可以整理出互動(dòng)點(diǎn)播業(yè)務(wù)的使用記錄，通過統(tǒng)計(jì)分析可以發(fā)現(xiàn)用戶點(diǎn)播的時(shí)間、內(nèi)容偏好和使用量發(fā)展趨勢(shì)等數(shù)據(jù)，這些數(shù)據(jù)可以幫助判斷系統(tǒng)的容量以及內(nèi)容的受歡迎程度等信息。最后，為了綜合評(píng)估互動(dòng)業(yè)務(wù)的發(fā)展情況，發(fā)現(xiàn)與業(yè)務(wù)分析目標(biāo)關(guān)聯(lián)較大的一些因素，可以綜合用戶的業(yè)務(wù)記錄信息和點(diǎn)播使用情況進(jìn)行模型構(gòu)造，并且對(duì)結(jié)果進(jìn)行驗(yàn)證和評(píng)估，以得到對(duì)決策分析有價(jià)值的信息。

互動(dòng)點(diǎn)播業(yè)務(wù)的數(shù)據(jù)分析方案的實(shí)施應(yīng)用

根據(jù)業(yè)務(wù)數(shù)據(jù)分析基本方案設(shè)計(jì)的思路，可以著手開始實(shí)施相應(yīng)的分析方案。在本文中主要介紹兩類數(shù)據(jù)分析應(yīng)用案例，一個(gè)是基于基礎(chǔ)點(diǎn)播行為數(shù)據(jù)進(jìn)行的統(tǒng)計(jì)分析應(yīng)用，另外一個(gè)是根據(jù)用戶點(diǎn)播行為數(shù)據(jù)以及基礎(chǔ)業(yè)務(wù)數(shù)據(jù)綜合分析影響用戶的互動(dòng)業(yè)務(wù)在線情況的因素。

1用戶點(diǎn)播行為數(shù)據(jù)分析案例

為了了解點(diǎn)播業(yè)務(wù)的使用情況，可以根據(jù)用戶的點(diǎn)播行為記錄進(jìn)行數(shù)據(jù)挖掘分析，以實(shí)現(xiàn)總結(jié)互動(dòng)點(diǎn)播內(nèi)容、時(shí)段和使用量趨勢(shì)等業(yè)務(wù)特征的分析目標(biāo)。根據(jù)方案設(shè)計(jì)的結(jié)論，從互動(dòng)業(yè)務(wù)管理平臺(tái)中可以取得這類業(yè)務(wù)分析所需要的全部源數(shù)據(jù)。但是，互動(dòng)業(yè)務(wù)管理平臺(tái)中的點(diǎn)播記錄通常全部是以文本記錄的方式保存的，并且由于點(diǎn)播記錄的數(shù)量較大，一般按照記錄數(shù)量或者時(shí)間間隔進(jìn)行了拆分。為了利用這些信息就有必要進(jìn)行相應(yīng)的數(shù)據(jù)抽取轉(zhuǎn)換工作。在實(shí)際應(yīng)用中可以使用預(yù)先設(shè)計(jì)的腳本定時(shí)從互動(dòng)業(yè)務(wù)管理平臺(tái)中進(jìn)行數(shù)據(jù)的抽取，然后經(jīng)過簡(jiǎn)單的類型變換后加載至數(shù)據(jù)倉(cāng)庫(kù)中。為了達(dá)到分析目標(biāo)，主要抽取的信息有產(chǎn)生用戶點(diǎn)播記錄的用戶ID、點(diǎn)播內(nèi)容的代碼及分類信息、點(diǎn)播的開始和結(jié)束時(shí)間等等。原始的點(diǎn)播記錄信息轉(zhuǎn)換后，就可以進(jìn)行下一步的主題分析準(zhǔn)備了，例如可以按照點(diǎn)播的時(shí)段、點(diǎn)播的內(nèi)容，以及用戶區(qū)域等信息進(jìn)行不同維度的數(shù)據(jù)分析。圖2是對(duì)互動(dòng)點(diǎn)播類業(yè)務(wù)按每日播頻率進(jìn)行的一個(gè)分類統(tǒng)計(jì)后用SAS統(tǒng)計(jì)工具生成的圖形，在生成統(tǒng)計(jì)數(shù)據(jù)前需要從原始數(shù)據(jù)中分離出點(diǎn)播時(shí)段信息，并行分類匯總。從圖2中可以發(fā)現(xiàn)，點(diǎn)播頻率在一天之中的大致分布規(guī)律。從點(diǎn)播總量上看，每天點(diǎn)播頻率最高的時(shí)段是在18:00至22:30左右，峰值在21:00到22:00左右出現(xiàn)，此外在中午12:00左右也有一個(gè)高峰時(shí)期。點(diǎn)播頻率最低的時(shí)段大約在3:00至5:00左右。根據(jù)每天點(diǎn)播業(yè)務(wù)頻率的分布情況，可以進(jìn)行相應(yīng)的網(wǎng)絡(luò)容量分析，比如通過業(yè)務(wù)高峰數(shù)值可以評(píng)估出互動(dòng)點(diǎn)播平臺(tái)的并發(fā)容量是否足夠。另外，根據(jù)每日點(diǎn)播頻率的分布特征，可以安排相應(yīng)的業(yè)務(wù)運(yùn)營(yíng)工作部署。例如在業(yè)務(wù)高峰時(shí)段可以集中投放一些廣告、通知信息，而一些系統(tǒng)割接和調(diào)試工作盡量應(yīng)安排在使用頻率較低的時(shí)段內(nèi)進(jìn)行。如果需要了解一些特殊的節(jié)假日的點(diǎn)播頻率分布特征，可以在原始數(shù)據(jù)中進(jìn)行重新過濾篩選，生成類似的頻率分布圖并與圖2進(jìn)行比對(duì)，然后分析其特點(diǎn)。從互動(dòng)業(yè)務(wù)點(diǎn)播數(shù)據(jù)還可以按內(nèi)容代碼維度進(jìn)行分析，以統(tǒng)計(jì)出與互動(dòng)視頻節(jié)目?jī)?nèi)容相關(guān)的數(shù)據(jù)，也可以將不同維度的數(shù)據(jù)進(jìn)行組合分析，進(jìn)一步挖掘出業(yè)務(wù)方面感興趣的信息。

2影響互動(dòng)業(yè)務(wù)用戶在線狀態(tài)因素的綜合分析案例

篇（6）

所謂大數(shù)據(jù)，一方面是指在一定時(shí)間內(nèi)無(wú)法被常規(guī)信息技術(shù)和傳統(tǒng)數(shù)據(jù)庫(kù)管理軟硬件工具感知、獲取和處理的巨量數(shù)據(jù)集合；另一方面，是指形成、管理、挖掘大數(shù)據(jù)， 快速搜集、處理、分析大數(shù)據(jù)的技術(shù)和能力。

大數(shù)據(jù)的主要特點(diǎn)是海量、非結(jié)構(gòu)化和半結(jié)構(gòu)化、實(shí)時(shí)處理。大數(shù)據(jù)技術(shù)，或大數(shù)據(jù)分析技術(shù)，就是對(duì)這些數(shù)量巨大的海量數(shù)據(jù)進(jìn)行搜索、整理、分析、加工，以便獲得有價(jià)值的產(chǎn)品和服務(wù)，以及提煉出具有深刻見解和潛在價(jià)值信息的技術(shù)和手段。

1 大數(shù)據(jù)分析在公共交通中的應(yīng)用

交通擁堵日益嚴(yán)重，交通事故頻繁發(fā)生，這些都是各大城市亟待解決的問題，科學(xué)分析交通管理體系成為改善城市交通的關(guān)鍵所在。因此，高效、準(zhǔn)確地獲取交通數(shù)據(jù)是構(gòu)建合理城市交通管理體系的前提，而這一難題可以通過大數(shù)據(jù)管理得到解決。

大數(shù)據(jù)分析技術(shù)改變了傳統(tǒng)公共交通的路徑：大數(shù)據(jù)可以跨越行政區(qū)域的限制；大數(shù)據(jù)可以高效地整合交通信息；大數(shù)據(jù)可以較好地配置公共交通資源；大數(shù)據(jù)可以促進(jìn)公共交通均衡性發(fā)展。在大數(shù)據(jù)中，隨著數(shù)據(jù)庫(kù)攝入更多數(shù)據(jù)，所消耗的計(jì)算工作量反而遞減，配置成本也隨之減小，但所做的計(jì)算則更加精準(zhǔn)。大數(shù)據(jù)在公共交通中的應(yīng)用表現(xiàn)在：一旦某個(gè)路段發(fā)生問題，能立刻從大數(shù)據(jù)中調(diào)出有用信息，確保交通的連貫性和持續(xù)性；另一方面，大數(shù)據(jù)具有較高預(yù)測(cè)能力，可降低誤報(bào)和漏報(bào)的概率， 可隨時(shí)針對(duì)公共交通的動(dòng)態(tài)性給予實(shí)時(shí)監(jiān)控。因此，在駕駛者無(wú)法預(yù)知交通擁堵的可能性時(shí)，大數(shù)據(jù)可幫助用戶預(yù)先了解。

2 大數(shù)據(jù)分析在醫(yī)藥領(lǐng)域中的應(yīng)用

在醫(yī)學(xué)領(lǐng)域，我們正處在一醫(yī)學(xué)信息爆炸的時(shí)代?；蛐蛄小⒏鞣N醫(yī)學(xué)圖像、電子病歷記錄和多中心臨床藥物試驗(yàn)等，使生物醫(yī)學(xué)領(lǐng)域跨入網(wǎng)絡(luò)化的大數(shù)據(jù)時(shí)代。如何從醫(yī)療大數(shù)據(jù)中提取出有用的信息是目前亟待解決的問題，構(gòu)建醫(yī)療大數(shù)據(jù)系統(tǒng)需要將各家醫(yī)院通過互聯(lián)網(wǎng)連接，實(shí)現(xiàn)各家醫(yī)院之間的數(shù)據(jù)共享。將醫(yī)療數(shù)據(jù)存于專門的數(shù)據(jù)庫(kù)中，在信息協(xié)作平臺(tái)上將各種醫(yī)療信息分類整合，建立成一個(gè)相互共享的網(wǎng)絡(luò)，從而實(shí)現(xiàn)醫(yī)療數(shù)據(jù)信息的共享。

大數(shù)據(jù)技術(shù)的核心就是預(yù)測(cè)，使用大數(shù)據(jù)分析技術(shù)可以提高診斷疾病的準(zhǔn)確率，對(duì)有效地治療疾病具有重要價(jià)值。其中最好地體現(xiàn)在傳染病預(yù)測(cè)上，因?yàn)閭魅静〉陌l(fā)生、發(fā)展、分布與地理地貌、生態(tài)景觀、人文環(huán)境有密切關(guān)系，特別在全球氣候變化和經(jīng)濟(jì)全球化背景下，自然環(huán)境及人類社會(huì)活動(dòng)對(duì)傳染病的影響越來越重要。因此，時(shí)間和空間信息對(duì)傳染病的預(yù)測(cè)、預(yù)警具有重要意義。利用大數(shù)據(jù)可對(duì)傳染病疫情的時(shí)間、空間信息進(jìn)行多維搜索，檢索、處理和分析這些疫情信息可實(shí)現(xiàn)對(duì)傳染病的流行趨勢(shì)及影響范圍進(jìn)行預(yù)測(cè)、預(yù)警，對(duì)提高傳染病防控的針對(duì)性、預(yù)見性和主動(dòng)性，抑制流行病的蔓延，以及制定衛(wèi)生決策都具有十分重要的意義。

3 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

當(dāng)前的大數(shù)據(jù)技術(shù)面臨著數(shù)據(jù)過大和安全隱患越多這兩個(gè)問題。在移動(dòng)通信網(wǎng)絡(luò)發(fā)展的過程中，網(wǎng)上用戶在不斷增加，通信網(wǎng)絡(luò)的范圍在不斷擴(kuò)大， 而移動(dòng)通信網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)量也在不斷上升。大數(shù)據(jù)技術(shù)和移動(dòng)通信網(wǎng)絡(luò)的安全問題密切相關(guān)，一旦技術(shù)出現(xiàn)漏洞，移動(dòng)通信網(wǎng)絡(luò)的數(shù)據(jù)就會(huì)出現(xiàn)安全隱患。大數(shù)據(jù)技術(shù)中存儲(chǔ)功能的是云儲(chǔ)存技術(shù)，它將大量的網(wǎng)絡(luò)數(shù)據(jù)放在統(tǒng)一的平臺(tái)之上，加大了數(shù)據(jù)丟失的風(fēng)險(xiǎn)，影響移動(dòng)通信網(wǎng)絡(luò)的安全。

優(yōu)化移動(dòng)通信網(wǎng)絡(luò)，需要運(yùn)用大數(shù)據(jù)技術(shù)的儲(chǔ)存功能。移動(dòng)通信網(wǎng)絡(luò)的用戶在不斷變化，每天都要更新大量的數(shù)據(jù)，而且這些數(shù)據(jù)都需要進(jìn)行妥善管理和保存。在這一過程中，可以應(yīng)用大數(shù)據(jù)技術(shù)的存儲(chǔ)功能， 將存儲(chǔ)虛擬化作為解決存儲(chǔ)問題的有效策略。

優(yōu)化移動(dòng)通信網(wǎng)絡(luò)，需要獲取相關(guān)的數(shù)據(jù)信息。移動(dòng)通信網(wǎng)絡(luò)的用戶非常多，而且其所跨越的時(shí)間、空間維度都很大，這些用戶在移動(dòng)通信網(wǎng)絡(luò)留下的海量的數(shù)據(jù)信息，使數(shù)據(jù)獲取工作難以繼續(xù)。在進(jìn)行數(shù)據(jù)的獲取和收集工作時(shí)，移動(dòng)通信網(wǎng)絡(luò)可以應(yīng)用大數(shù)據(jù)技術(shù)，減少人力和物力的投入，同時(shí)增加數(shù)據(jù)的準(zhǔn)確度。

4 結(jié)語(yǔ)

本文是大數(shù)據(jù)技術(shù)在實(shí)際生活領(lǐng)域的應(yīng)用，分別闡述了大數(shù)據(jù)分析技術(shù)在公共交通、醫(yī)藥領(lǐng)域、移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的具體運(yùn)用。借助大數(shù)據(jù)技術(shù)的即時(shí)性、準(zhǔn)確性和預(yù)測(cè)性，將其應(yīng)用到人們的日常生活領(lǐng)域，提高了人們的生活質(zhì)量。

參考文獻(xiàn)

[1]陳美.大數(shù)據(jù)在公共交通中的應(yīng)用[J]. 圖書與情報(bào)，2012（06）：22-28.

[2]張春麗，成.大數(shù)據(jù)分析技術(shù)及其在醫(yī)藥領(lǐng)域中的應(yīng)用[J].標(biāo)記免疫分析與臨床，2016（03）：327-333.

[3]汪敏，廖名揚(yáng).大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究[J].通訊世界，2017（02）：123.

[4]祝興平.大數(shù)據(jù)分析技術(shù)及其在數(shù)字出版中的應(yīng)用[J].出版發(fā)行研究，2014（04）：13-16.

[5]程學(xué)旗，靳小龍，王元卓，郭嘉豐，張鐵贏，李國(guó)杰.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J]. 軟件學(xué)報(bào)，2014（09）：1889-1908.

作者簡(jiǎn)介

篇（7）

【關(guān)鍵詞】JAVA編程技術(shù) 網(wǎng)絡(luò)數(shù)據(jù)分析 技術(shù)應(yīng)用

1 JAVA編程技術(shù)的概念

對(duì)于JAVA編程技術(shù)的應(yīng)用的，為計(jì)算機(jī)軟件發(fā)展帶來了更廣闊的前景，在此環(huán)境中所開展的編程計(jì)劃也能夠更好的利用計(jì)算機(jī)數(shù)據(jù)資源，在有限的存儲(chǔ)使用空間內(nèi)，更大限度的完善編程所遇到的漏洞問題，提升計(jì)算機(jī)軟件的使用安全性。除此之外，在一些移動(dòng)端的軟件開發(fā)中也廣泛的應(yīng)用到這種技術(shù)，更方便客戶使用過程中的軟件更新，并幫助提升軟件應(yīng)用過程中的使用安全性。技術(shù)主要是通過框架設(shè)計(jì)以及內(nèi)部數(shù)據(jù)程序的匯編來實(shí)現(xiàn)編程，所應(yīng)用的匯編語(yǔ)言也是特定的，程序框架能夠識(shí)別出這種語(yǔ)言，應(yīng)用后在程序編寫的效率上會(huì)有明顯的提升。針對(duì)使用過程中所遇到的網(wǎng)絡(luò)病毒入侵問題，在匯編過程中會(huì)設(shè)定特別的識(shí)別碼，這樣就不容易受到病毒的攻擊，并且程序框架之間也能夠相互配合，達(dá)到更理想的使用效果，這也是傳統(tǒng)方法中難以達(dá)到的標(biāo)準(zhǔn)，成為了JAVA編程技術(shù)應(yīng)用的決定性因素。

2 JAVA編程技術(shù)的網(wǎng)絡(luò)數(shù)據(jù)分析應(yīng)用特點(diǎn)

將JAVA編程技術(shù)與網(wǎng)絡(luò)數(shù)據(jù)分析相互結(jié)合，可以提升數(shù)據(jù)分析的速度，快速的實(shí)現(xiàn)分析目標(biāo)，所得到的結(jié)果也與實(shí)際情況相符合。技術(shù)不斷的發(fā)展，對(duì)于已經(jīng)完成的編程框架，可以在網(wǎng)絡(luò)環(huán)境中進(jìn)行遠(yuǎn)程升級(jí)，這樣為客戶使用預(yù)留了更多自定義的空間，也能夠更好的解決現(xiàn)場(chǎng)數(shù)據(jù)分析誤差問題。JAVA編程技術(shù)是十分嚴(yán)謹(jǐn)?shù)模瑧?yīng)用期間的框架設(shè)計(jì)決定了最終功能是否能夠?qū)崿F(xiàn)，以及功能實(shí)現(xiàn)的理想情況，在網(wǎng)絡(luò)環(huán)境中開展數(shù)據(jù)分析，需要遵從網(wǎng)絡(luò)環(huán)境的特點(diǎn)，觀察分析結(jié)果與實(shí)際情況是否能夠保持一致，并充分利用網(wǎng)絡(luò)數(shù)據(jù)環(huán)境來提升現(xiàn)場(chǎng)分析任務(wù)的全面性，這樣在最終結(jié)果上也能夠最大程度的降低誤差。

3 基于JAVA編程技術(shù)的網(wǎng)絡(luò)數(shù)據(jù)分析具體內(nèi)容

3.1 數(shù)據(jù)的采集與整理

采集整理數(shù)據(jù)是開展分析任務(wù)的首要步驟，在所進(jìn)行的采集任務(wù)中，同樣是利用網(wǎng)絡(luò)環(huán)境的高效便捷性來進(jìn)行的，技術(shù)人員只需要對(duì)最終的結(jié)果進(jìn)行審核，觀察所采集的數(shù)據(jù)范圍是否能夠達(dá)到網(wǎng)絡(luò)分析的使用需求，并根據(jù)實(shí)際情況來適當(dāng)?shù)臄U(kuò)大調(diào)整范圍，最大限度的降低分析調(diào)整過程中出現(xiàn)的數(shù)據(jù)丟失或者誤差現(xiàn)象。針對(duì)傳統(tǒng)方法中所存在的技術(shù)性問題，分析一段時(shí)間后，數(shù)據(jù)采集結(jié)果中會(huì)出現(xiàn)相關(guān)的異常，編程經(jīng)驗(yàn)豐富的技術(shù)人員通過觀察這種異常便能夠了解到其中需要繼續(xù)深入完善的內(nèi)容，并通過技術(shù)性方法來更好的解決。編程技術(shù)的合理運(yùn)用也是解決相關(guān)問題的有效方法之一，應(yīng)當(dāng)?shù)玫郊夹g(shù)人員的高度重視，對(duì)于編程期間框架設(shè)計(jì)，也可以根據(jù)數(shù)據(jù)的采集整理結(jié)果來進(jìn)行，達(dá)到理想的效果，為接下來將要開展的工作任務(wù)打下穩(wěn)定基礎(chǔ)。

3.2 程序框架編寫

根據(jù)所要開展的工作任務(wù)以及程序的使用需求，先對(duì)大體框架進(jìn)行編寫整理，達(dá)到理想的編寫效果，隨著程序匯編的審圖進(jìn)行，數(shù)據(jù)分析也逐漸開展，并且進(jìn)入到不同的深度階段。對(duì)于文章中常常提到的設(shè)計(jì)內(nèi)容優(yōu)化問題，程序匯編也起到了決定性作用，關(guān)系到優(yōu)化是否能夠順利進(jìn)行并達(dá)到預(yù)期的目標(biāo)。匯編任務(wù)開展一段時(shí)間后，技術(shù)人員需要對(duì)網(wǎng)絡(luò)數(shù)據(jù)分析的結(jié)果進(jìn)行審查，觀察其中是否存在誤差或者不合理的內(nèi)容，幫助更好的提升工作任務(wù)完成質(zhì)量，初期階段發(fā)現(xiàn)問題也能夠通過匯編技術(shù)來及時(shí)的調(diào)整，避免造成后期匯編資源方面的浪費(fèi)?？蚣艹醪骄帉懲瓿珊?，進(jìn)入到后續(xù)的分析應(yīng)用階段，應(yīng)用可以先進(jìn)行試驗(yàn)，觀察各項(xiàng)數(shù)據(jù)參數(shù)是否能夠達(dá)到理想的標(biāo)準(zhǔn)化水平，如果發(fā)現(xiàn)問題在這一階段可以進(jìn)行調(diào)整，避免問題繼續(xù)深入，影響到軟件的正常使用。

技術(shù)發(fā)現(xiàn)會(huì)向著高效便捷的方向來進(jìn)行，更多的應(yīng)用自動(dòng)化技術(shù)，在對(duì)現(xiàn)場(chǎng)工作任務(wù)進(jìn)行分析研究時(shí)，所遇到的問題大部分都能夠通過系統(tǒng)的自動(dòng)更新來解決，使技術(shù)發(fā)展中所總結(jié)的經(jīng)驗(yàn)?zāi)軌虻玫礁玫倪\(yùn)用。技術(shù)發(fā)展需要全體編程技術(shù)人員的共同努力，充分利用現(xiàn)有資源來完成工作任務(wù)，通過這種方法可以使技術(shù)的發(fā)展方向得到更好的確定，并避免程序后期使用漏洞頻繁出現(xiàn)的問題發(fā)生。資源優(yōu)化利用也是未來的主要發(fā)展方向之一，需要得到技術(shù)人員的高度重視，并在日常編程分析工作中合理的運(yùn)用這一方法來實(shí)現(xiàn)工作任務(wù)，促進(jìn)管理計(jì)劃可以更穩(wěn)定的落實(shí)應(yīng)用。

4 結(jié)語(yǔ)

綜上所述，在我國(guó)計(jì)算機(jī)軟件飛速發(fā)展的當(dāng)下，JAVA編程語(yǔ)言已經(jīng)成為科學(xué)技術(shù)研發(fā)過程中不可或缺的重要內(nèi)容，大力發(fā)展計(jì)算機(jī)軟件JAVA編程技術(shù)已經(jīng)成為我國(guó)科學(xué)技術(shù)發(fā)展過程中的重要工作內(nèi)容。

參考文獻(xiàn)

[1]田家旗.Java開發(fā)語(yǔ)言的開發(fā)平臺(tái)與J2EE編程技術(shù)問題研究[J].信息技術(shù)與信息化，2016（04）.

[2]李健周.關(guān)于計(jì)算機(jī)軟件開發(fā)的JAVA編程語(yǔ)言研究[J].信息通信，2013（12）.

作者簡(jiǎn)介

篇（8）

電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)的主要功能是采集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分析處理。而在中國(guó)推行電網(wǎng)改革后，電網(wǎng)系統(tǒng)的改革重點(diǎn)在于研究電力影響。此外，在電力營(yíng)銷工作中依然存在在一些問題，這些問題對(duì)中國(guó)電力營(yíng)銷行業(yè)的發(fā)展產(chǎn)生不良影響，甚至?xí)?dǎo)致企業(yè)資金的流失。在此形勢(shì)下，結(jié)合數(shù)據(jù)集成技術(shù)對(duì)電力營(yíng)銷數(shù)據(jù)進(jìn)行分析研究尤為重要。

1 實(shí)現(xiàn)電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)的困難所在

電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)指的是利用全球各個(gè)國(guó)家的網(wǎng)絡(luò)技術(shù)采集不同地區(qū)的電力營(yíng)銷數(shù)據(jù)，并進(jìn)行分析處理，然后利用遠(yuǎn)程控制技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行傳輸管理，為決策提供科學(xué)的數(shù)據(jù)依據(jù)。

1.1分布式數(shù)據(jù)的采集、傳輸與轉(zhuǎn)換的障礙

我國(guó)電力營(yíng)銷系統(tǒng)從數(shù)據(jù)接口形式上來說，并沒有形成完善嚴(yán)格的規(guī)定，系統(tǒng)軟件的運(yùn)用也有一定差異。但是營(yíng)銷數(shù)據(jù)的數(shù)量較為龐大，形式多種多樣，將這些數(shù)據(jù)存放在同一個(gè)系統(tǒng)中，轉(zhuǎn)換為系統(tǒng)所要求的格式進(jìn)行存儲(chǔ)。這樣勢(shì)必會(huì)使數(shù)據(jù)傳輸存在安全隱患[1]。

1.2系統(tǒng)中的算法結(jié)構(gòu)與數(shù)據(jù)結(jié)構(gòu)問題

電力營(yíng)銷系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)與算法結(jié)構(gòu)需進(jìn)行改進(jìn)處理，提高數(shù)據(jù)結(jié)構(gòu)與算法結(jié)構(gòu)的通用性。在電力營(yíng)銷中，數(shù)據(jù)結(jié)構(gòu)與算法結(jié)構(gòu)會(huì)因?yàn)橄到y(tǒng)的不同而存在差異。在計(jì)算與分析處理數(shù)據(jù)的過程中，要求深入了解原有系統(tǒng)的基本特征，積極做好系統(tǒng)的通用算法轉(zhuǎn)換工作，調(diào)整與處理通用設(shè)計(jì)結(jié)構(gòu)以及數(shù)據(jù)接口，在滿足相關(guān)要求后，將其應(yīng)用到系統(tǒng)中[2]。

2 在電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)中應(yīng)用數(shù)據(jù)集成技術(shù)

從我國(guó)從2010年，基礎(chǔ)設(shè)施建設(shè)后，有關(guān)信息系統(tǒng)建設(shè)已經(jīng)進(jìn)入到一個(gè)全新的發(fā)展階段，全年的系統(tǒng)集成服務(wù)市場(chǎng)總資產(chǎn)為288.69億元。2011年，中國(guó)系統(tǒng)集成服務(wù)市場(chǎng)的規(guī)模為349.11億元，同比增長(zhǎng)了20.9%，而2012年、2013年系統(tǒng)集成服務(wù)的市場(chǎng)規(guī)模分別為419.67億元、499.06億元，詳見表1。

表1 中國(guó)從2010年至2013年系統(tǒng)集成服務(wù)的市場(chǎng)規(guī)模和增長(zhǎng)率

時(shí)間（年） 2010 2011 2012 2013

市場(chǎng)規(guī)模（億元） 288.69 349.11 419.67 499.06

同比增長(zhǎng)率（%） 19.7 20.9 20.2 18.9

中國(guó)內(nèi)部系統(tǒng)集成市場(chǎng)的發(fā)展規(guī)模呈高速增長(zhǎng)趨勢(shì)，行業(yè)規(guī)模增長(zhǎng)在219.5%左右。而推動(dòng)數(shù)據(jù)系統(tǒng)集成技術(shù)發(fā)展，擴(kuò)大其應(yīng)用領(lǐng)域制造業(yè)、各級(jí)各類企業(yè)信息化、教育以及政府應(yīng)用。我國(guó)其他行業(yè)信息化進(jìn)程并沒有完成，對(duì)于系統(tǒng)集成需求需要不斷增加。電信、金融、政府這三大行業(yè)在系統(tǒng)集成服務(wù)中所占比重為55.1%，其他應(yīng)用領(lǐng)域，尤其是電力營(yíng)銷領(lǐng)域所占比重較低。

銀行作為金融業(yè)IT投入的主體，是總體投資規(guī)模的72.2%，而銀行業(yè)IT投入的穩(wěn)定也是金融信息化投入增長(zhǎng)的一個(gè)主要原因。圖1為2011年至2013年國(guó)內(nèi)金融業(yè)IT投資規(guī)模。

圖1 2011年至2013年國(guó)內(nèi)金融業(yè)IT投資規(guī)模統(tǒng)計(jì)圖

此外，雖然現(xiàn)階段全球?qū)τ谙到y(tǒng)集成的市場(chǎng)需求較大，然而系統(tǒng)集成市場(chǎng)的增速并沒有因此而快速增長(zhǎng)，如圖2所示。

圖2 2007年至2013年全球系統(tǒng)集成的市場(chǎng)規(guī)模

其中 市場(chǎng)規(guī)模（億美元）

因此筆者建議加強(qiáng)數(shù)據(jù)集成技術(shù)在電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)中的應(yīng)用研究。下文從兩個(gè)方面應(yīng)用思路以及實(shí)現(xiàn)應(yīng)用這兩個(gè)方面進(jìn)行探討[3]。

2.1應(yīng)用思路

根據(jù)系統(tǒng)內(nèi)部結(jié)構(gòu)可以將電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)劃分為兩個(gè)部分。其一，數(shù)據(jù)集成。其二，實(shí)現(xiàn)軟件功能。電力數(shù)據(jù)分析系統(tǒng)在運(yùn)行的過程中，上述兩個(gè)部分使用的是同一數(shù)據(jù)庫(kù)服務(wù)器。而在系統(tǒng)中利用數(shù)據(jù)集成技術(shù)，即在全范圍內(nèi)對(duì)數(shù)據(jù)進(jìn)行總體設(shè)計(jì)與總體布局，在全部數(shù)據(jù)運(yùn)行過程中，創(chuàng)造完整、穩(wěn)定的數(shù)據(jù)環(huán)境，對(duì)系統(tǒng)基本功能以及算法結(jié)構(gòu)進(jìn)行定義，在掌握數(shù)據(jù)庫(kù)結(jié)構(gòu)的基礎(chǔ)上，開發(fā)和利用[4]。

系統(tǒng)中的數(shù)據(jù)集成部分主要利用的是中間件技術(shù)，完成系統(tǒng)的再度開發(fā)，保障數(shù)據(jù)集成部分的功能得到正常得發(fā)揮，從而在采集數(shù)據(jù)與傳輸數(shù)據(jù)方面得到充分的應(yīng)用。在選擇利用中間件的過程中，需要密切注意中間件的質(zhì)量，確保技術(shù)的先進(jìn)性，以此才能夠保障數(shù)據(jù)運(yùn)行的穩(wěn)定性與安全性，從而提高設(shè)計(jì)應(yīng)用的質(zhì)量，減少傳輸數(shù)據(jù)過程中所造成的損失。

此外，從數(shù)據(jù)采集方面而言，類型不同的電力營(yíng)銷系統(tǒng)也存在在一定的差異，這些差異包括以下三個(gè)方面。其一，數(shù)據(jù)內(nèi)容的多樣性。數(shù)據(jù)種類較多，包括了普通文件、關(guān)系數(shù)據(jù)等，要公開分析整理這些數(shù)據(jù)。其二，每個(gè)電力營(yíng)銷系統(tǒng)應(yīng)用的是不同的數(shù)據(jù)管理系統(tǒng)，所以數(shù)據(jù)采集與數(shù)據(jù)管理也并不相同。其三，不同的數(shù)據(jù)訪問模式。按照數(shù)據(jù)存放形式的不同，一些數(shù)據(jù)訪問利用的是數(shù)據(jù)庫(kù)接口完成訪問，而另一些數(shù)據(jù)則利用訪問文件來完成數(shù)據(jù)訪問[5]。

2.2系統(tǒng)應(yīng)用

數(shù)據(jù)集成服務(wù)器：因?yàn)椴杉瘮?shù)據(jù)的過程中，采取的單向方式，因此服務(wù)器接收端位于本地，發(fā)送端和分布式數(shù)據(jù)庫(kù)聯(lián)系在一起，分兩端服務(wù)。

本地?cái)?shù)據(jù)庫(kù)：因?yàn)楦鱾€(gè)電力營(yíng)銷系統(tǒng)中的數(shù)據(jù)量較為龐大，為了確保訪問速度與數(shù)據(jù)容量，采取的是多個(gè)數(shù)據(jù)服務(wù)器方式。在數(shù)據(jù)庫(kù)中需要設(shè)計(jì)安裝存貯設(shè)備與觸發(fā)器，用來減少系統(tǒng)工作量，確保數(shù)據(jù)傳輸與處理的一致性。

應(yīng)用服務(wù)器：從具體應(yīng)用的要求出發(fā)，系統(tǒng)邏輯層的服務(wù)功能包括了兩類，其一，低級(jí)服務(wù)；其二，高級(jí)服務(wù)。其中低級(jí)服務(wù)指的是本地?cái)?shù)據(jù)庫(kù)和其他數(shù)據(jù)庫(kù)的連接與維護(hù)。而高級(jí)服務(wù)功能則指的是根據(jù)要求配備不同組件，所有組件提供至少要求能夠提供一種特定服務(wù)。

數(shù)據(jù)傳輸?shù)陌踩砸螅涸趥鬏敂?shù)據(jù)的過程中，有多個(gè)渠道，而不同渠道在保障數(shù)據(jù)實(shí)時(shí)性與安全性方面并不相同，可以利用電子郵件進(jìn)行數(shù)據(jù)傳輸，也可借助信息通信中間件進(jìn)行數(shù)據(jù)傳輸，確保數(shù)據(jù)的單次傳輸。這種傳輸方式是以中間件作為渠道進(jìn)行數(shù)據(jù)菜蔬，面向的是分布式信息中間件產(chǎn)品，在消息對(duì)列的基礎(chǔ)上，為分布式應(yīng)用搭建可靠、完整的信息交換平臺(tái)。對(duì)于傳輸安全性有著較高要求的客戶，可以利用信息通信中間件作為傳輸方式。例如：以信息通信中間件為主，電子郵件為輔的傳輸方式，數(shù)據(jù)接收服務(wù)器從信息隊(duì)伍中自動(dòng)提取有關(guān)消息，從而完成數(shù)據(jù)通信[6]。

3結(jié)語(yǔ)

綜上所述，中國(guó)市場(chǎng)經(jīng)濟(jì)的穩(wěn)步發(fā)展，要求電力營(yíng)銷企業(yè)不斷提高自身的市場(chǎng)競(jìng)爭(zhēng)力，在實(shí)際的發(fā)展過程呢個(gè)中，應(yīng)用先進(jìn)技術(shù)，不斷改進(jìn)自身的經(jīng)營(yíng)管理質(zhì)量，在電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)中充分應(yīng)用數(shù)據(jù)集成技術(shù)，提高數(shù)據(jù)采集與數(shù)據(jù)處理效率。

參考文獻(xiàn)：

[1]徐晶，徐鋒.數(shù)據(jù)集成技術(shù)在電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)中的應(yīng)用[J].科技致富向?qū)В?014，10（25）：201-202.

[2]賈玉君.國(guó)內(nèi)電力營(yíng)銷監(jiān)控領(lǐng)域的研究現(xiàn)狀與發(fā)展[J].電力信息化，2010，09（15）：251-252.

[3]郭航宇.電力營(yíng)銷數(shù)據(jù)分析中的數(shù)據(jù)集成技術(shù)研究[J].科技與創(chuàng)新，2014，10（09）：440-441.

[4]雷波.數(shù)據(jù)挖掘技術(shù)在電力營(yíng)銷系統(tǒng)中的應(yīng)用研究[J].廣東科技，2014，02（08）：331-333.

篇（9）

本文討論了一些站點(diǎn)分析的相關(guān)技術(shù)信息和幾種網(wǎng)站分析瀏覽者行為的理論與算法，及數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)理論知識(shí)。并對(duì)站點(diǎn)日志數(shù)據(jù)進(jìn)行了實(shí)例分析，并指出了站點(diǎn)分析技術(shù)發(fā)展的方向。

一、緒論

互聯(lián)網(wǎng)技術(shù)不斷革新與發(fā)展，給全球經(jīng)濟(jì)帶來新的革命，從而也影響著人們的生活?；ヂ?lián)網(wǎng)為企業(yè)提供了一種真正屬于自己并面對(duì)廣大網(wǎng)民的信息載體，企業(yè)通過這一載體，可以自由地將企業(yè)的產(chǎn)品、服務(wù)等其他相關(guān)信息在線。

電子商務(wù)就是網(wǎng)上實(shí)行各種商務(wù)活動(dòng)的總包裝，種種所謂電子商務(wù)解決方案，實(shí)際上就是實(shí)現(xiàn)各種網(wǎng)上商務(wù)活動(dòng)的硬件與軟件系統(tǒng)。它將影響到每一個(gè)人、每一個(gè)企業(yè)。電子商務(wù)的主體是我們每一個(gè)人、每一個(gè)企業(yè)，電子商務(wù)發(fā)展的過程就是對(duì)人們的生活、企業(yè)的運(yùn)行的一種模式的一個(gè)巨大改變的過程。對(duì)于進(jìn)入虛擬世界的商家而言，僅僅吸引注意力還不行，對(duì)它們而言，站點(diǎn)的訪問率絕對(duì)不僅僅是一個(gè)數(shù)字，它還是一種信息，如果網(wǎng)站能夠從網(wǎng)絡(luò)中獲得網(wǎng)民的信息并從中分析其行為誘因，那么就容易掌握網(wǎng)民的需求，從而利用互聯(lián)網(wǎng)去創(chuàng)造更多商機(jī)。

電子商務(wù)站點(diǎn)用戶行為的分析這一問題也因此成為現(xiàn)如今的熱門話題，被人們普遍關(guān)心起來，尤其是被眾商家所重視。Web站點(diǎn)的日志數(shù)據(jù)正以每天數(shù)十兆的速度增長(zhǎng)。如何分析這些數(shù)據(jù)，如何從這些大量數(shù)據(jù)中發(fā)現(xiàn)有用的、重要的知識(shí)(包括模式、規(guī)則、可視化結(jié)構(gòu)等)也成為現(xiàn)在人們最關(guān)注的信息。

在此情況下，站點(diǎn)用戶行為分析就可為網(wǎng)站或商家提供出大量有價(jià)值的信息，包括站點(diǎn)的受歡迎度的對(duì)比、商業(yè)廣告點(diǎn)擊情況總括、產(chǎn)品的反饋信息、站點(diǎn)各種信息的點(diǎn)擊情況等等。另外，還可根據(jù)不同的頁(yè)面內(nèi)容來分類瀏覽者，以便做出更合理的頁(yè)面分類，促使網(wǎng)站逐步向個(gè)性化、最優(yōu)化狀態(tài)發(fā)展。這一技術(shù)對(duì)互聯(lián)網(wǎng)的發(fā)展壯大有著不可忽視的巨大作用，它的發(fā)展對(duì)信息技術(shù)亦將產(chǎn)生深遠(yuǎn)的影響。

在電子商務(wù)早期階段時(shí)，Web站點(diǎn)數(shù)據(jù)流分析通常是在主頁(yè)上安裝計(jì)數(shù)器以及在一個(gè)外部日志文件上運(yùn)行簡(jiǎn)單的統(tǒng)計(jì)程序記錄點(diǎn)擊率。但是，簡(jiǎn)單的點(diǎn)擊計(jì)數(shù)既不準(zhǔn)確也遠(yuǎn)未達(dá)到營(yíng)銷目的所需的詳細(xì)程度。因此，各公司開始尋找更先進(jìn)的分析工具，這類工具可以提供誰(shuí)在訪問公司W(wǎng)eb站點(diǎn)以及訪問者一旦進(jìn)入站點(diǎn)后將做些什么的全面信息。站點(diǎn)開始分析的地方是Web服務(wù)器的訪問日志。每當(dāng)用戶在站點(diǎn)上請(qǐng)求一個(gè)網(wǎng)頁(yè)時(shí)，這個(gè)請(qǐng)求就被記錄在訪問日志中。如:目前有多少用戶正在訪問站點(diǎn)、他們正在看哪些網(wǎng)頁(yè)以及他們?cè)谡军c(diǎn)中呆了多長(zhǎng)時(shí)間。顯然，日志分析和行為概況的正確組合可以對(duì)Web站點(diǎn)的成功產(chǎn)生直接影響。此外，從日志分析中得到的信息是很難從真實(shí)世界中捕獲到的，但這些信息卻可以較容易地在線收集到。Web數(shù)據(jù)流分析工具的這些最新進(jìn)展可以使網(wǎng)站獲得有關(guān)上網(wǎng)客戶和他們習(xí)慣的詳細(xì)報(bào)告。

二、站點(diǎn)信息統(tǒng)計(jì)方法

Web頁(yè)面數(shù)據(jù)主要是半結(jié)構(gòu)化數(shù)據(jù)，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和信息技術(shù)的飛速發(fā)展，使得半結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)日益繁榮的趨勢(shì)。半結(jié)構(gòu)化數(shù)據(jù)，是一種介于模式固定的結(jié)構(gòu)化數(shù)據(jù)，和完全沒有模式的無(wú)序數(shù)據(jù)之間，在查詢前無(wú)法預(yù)先確定其具體的類型和格式;同時(shí)它們相應(yīng)的數(shù)據(jù)結(jié)構(gòu)是不固定、不完全或不規(guī)則的，即這些數(shù)據(jù)有的本身就沒有結(jié)構(gòu)，有的只有十分松散的結(jié)構(gòu)，有的數(shù)據(jù)的結(jié)構(gòu)是隱含的，需要從數(shù)據(jù)中進(jìn)行抽取。而有時(shí)，盡管數(shù)據(jù)本身是有精確結(jié)構(gòu)的，但為了一定的目的，而故意忽視它的結(jié)構(gòu)。半結(jié)構(gòu)化數(shù)據(jù)具有以下五方面的

主要特點(diǎn):

1.結(jié)構(gòu)是不規(guī)則的。包含異構(gòu)數(shù)據(jù)、相同的數(shù)據(jù)信息用不同類型或不同的結(jié)構(gòu)表示。

2.結(jié)構(gòu)是隱含的。如電子文檔SGML格式。

3.結(jié)構(gòu)是部分的，有時(shí)部分?jǐn)?shù)據(jù)根本無(wú)結(jié)構(gòu)，而部分?jǐn)?shù)據(jù)只有粗略的結(jié)構(gòu)。

4.指示性結(jié)構(gòu)與約束性結(jié)構(gòu)。傳統(tǒng)的數(shù)據(jù)庫(kù)使用嚴(yán)格的分類策略來保護(hù)數(shù)據(jù)。而指示性數(shù)據(jù)結(jié)構(gòu)是對(duì)結(jié)構(gòu)的一種非精確的描述。它可接受所有新數(shù)據(jù)，代價(jià)是要頻繁修改結(jié)構(gòu)。

5.半結(jié)構(gòu)化數(shù)據(jù)通常在數(shù)據(jù)存在之后才能通過當(dāng)前數(shù)據(jù)歸納出其結(jié)構(gòu)，稱之為事后模式引導(dǎo)。模式有時(shí)可被忽略，同時(shí)數(shù)據(jù)與數(shù)據(jù)模式間的區(qū)別逐漸消除。

三、數(shù)據(jù)分析的方法

Web頁(yè)面的數(shù)據(jù)通常是利用統(tǒng)計(jì)模型和數(shù)學(xué)模型來分析的。使用的模型有線性分析和非線性分析;連續(xù)回歸分析和邏輯回歸分析;單變量和多變量分析以及時(shí)間序列分析等。這些統(tǒng)計(jì)分析工具能提供可視化功能和分析功能來尋找數(shù)據(jù)間關(guān)系、構(gòu)造模型來分析、解釋數(shù)據(jù)。并通過交互式過程和迭代過程用來求精模型，最終開發(fā)出最具適應(yīng)性的模型來將數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的信息。

知識(shí)發(fā)現(xiàn)是從數(shù)據(jù)倉(cāng)庫(kù)的大量數(shù)據(jù)中篩取信息，尋找經(jīng)常出現(xiàn)的模式，檢查趨勢(shì)并發(fā)掘?qū)嵤Ｋ欠治鯳eb頁(yè)面數(shù)據(jù)的重要方法。知識(shí)發(fā)現(xiàn)與模式識(shí)別的算法有以下幾種:

1.依賴性分析

依賴性分析算法搜索數(shù)據(jù)倉(cāng)庫(kù)的條目和對(duì)象，從中尋找重復(fù)出現(xiàn)概率很高的模式。它展示了數(shù)據(jù)間未知的依賴關(guān)系。利用依賴性分析算法可以從某一數(shù)據(jù)對(duì)象的信息來推斷另一數(shù)據(jù)對(duì)象的信息。例如:在雜貨店中，一堆椒鹽餅干放在陳列飲料的走道上，這是因?yàn)榻?jīng)過依賴性分析，商店認(rèn)為:很大一部分買飲料的顧客如果在取飲料的路上看到椒鹽餅干的話就會(huì)購(gòu)買，因而此種分析影響了商店布局。

2.聚類和分類

在某些情況下，無(wú)法界定要分析的數(shù)據(jù)類，用聚類算法發(fā)現(xiàn)一些不知道的數(shù)據(jù)類或懷疑的數(shù)據(jù)類。聚類的過程是以某一特定時(shí)間為依據(jù)，找出一個(gè)共享一些公共類別的群體，它稱為無(wú)監(jiān)督學(xué)習(xí)。分類過程，這是發(fā)現(xiàn)一些規(guī)定某些商品或時(shí)間是否屬于某一特定數(shù)據(jù)子集的規(guī)則。這些數(shù)據(jù)類很少在關(guān)系數(shù)據(jù)庫(kù)中進(jìn)行定義，因而規(guī)范的數(shù)據(jù)模型中沒有它們的位置。最典型的例子是信用卡核準(zhǔn)過程，可確定能否按商品價(jià)格和其它標(biāo)準(zhǔn)把某一購(gòu)買者歸入可接受的那一類中。分類又稱為有監(jiān)督學(xué)習(xí)。

3.神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)待分析數(shù)據(jù)中的模式來構(gòu)造模型。它對(duì)隱式類型進(jìn)行分類。圖像分析是神經(jīng)網(wǎng)絡(luò)最成功的應(yīng)用之一。神經(jīng)網(wǎng)絡(luò)用于模型化非線性的、復(fù)雜的或噪聲高的數(shù)據(jù)。一般神經(jīng)模型由三個(gè)層次組成:數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)輸入、中間層(各種神經(jīng)元)和輸出。它通常用恰當(dāng)?shù)臄?shù)據(jù)庫(kù)示例來訓(xùn)練和學(xué)習(xí)、校正預(yù)測(cè)的模型，提高預(yù)測(cè)結(jié)果的準(zhǔn)確性。

4.數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則

關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘的一個(gè)重要內(nèi)容，通常關(guān)聯(lián)規(guī)則反映的是數(shù)據(jù)間的定性關(guān)聯(lián)關(guān)系。如一個(gè)商品交易數(shù)據(jù)庫(kù)，一條記錄表示用戶一次購(gòu)買的商品種類，每個(gè)屬性(A、B……)代表一種商品，每個(gè)屬性都是布爾類型的。一條關(guān)聯(lián)規(guī)則的例子是:{A、B}{D}[2%][60%]，規(guī)則的含義是“如果用戶購(gòu)買商品A和B，那么也可能購(gòu)買商品D，因?yàn)橥瑫r(shí)購(gòu)買商品A、B和D的交易記錄占總交易數(shù)的2%而購(gòu)買A和B的交易中，有60%的交易也包含D”。規(guī)則中60%是規(guī)則的信任度，2%是規(guī)則的支持度。數(shù)據(jù)挖掘就是要發(fā)現(xiàn)所有滿足用戶定義的最小信任度和支持度閥值限制的關(guān)聯(lián)規(guī)則。數(shù)據(jù)只是定性地描述一個(gè)交易是否包含某商品，而對(duì)交易量沒有定量描述，這種布爾類型數(shù)據(jù)間的關(guān)聯(lián)規(guī)則被稱為定性關(guān)聯(lián)規(guī)則。但數(shù)據(jù)記錄的屬性往往是數(shù)值型或字符型的，這些數(shù)據(jù)間也存在對(duì)決策有幫助的關(guān)聯(lián)規(guī)則，相對(duì)于定性關(guān)聯(lián)規(guī)則，這些規(guī)則被稱為定量關(guān)聯(lián)規(guī)則。

另外，數(shù)據(jù)挖掘目前仍面臨著數(shù)據(jù)質(zhì)量的問題。由于數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來自多個(gè)數(shù)據(jù)源，而在合并中存在很多障礙，如:沒有建立合并視圖所需的公共關(guān)鍵字;數(shù)據(jù)值相互抵觸;元數(shù)據(jù)的說明不完備或丟失;數(shù)據(jù)值的不潔凈等等。數(shù)據(jù)挖掘是在標(biāo)準(zhǔn)化的數(shù)據(jù)基礎(chǔ)上進(jìn)行的，因而這些都會(huì)嚴(yán)重破壞數(shù)據(jù)的準(zhǔn)確性，導(dǎo)致最終決策的失誤。所有這些問題都在等待著人們?nèi)グl(fā)掘更好的解決方法。

參考資料

1.周斌，吳泉源，高洪奎:“用戶訪問模式數(shù)據(jù)挖掘的模型與算法研究”，《計(jì)算機(jī)研究與發(fā)展》，1999 vol.36 No.7 P.870-875;

2.Srikant R，Vu W，Agrawal R.Mining association rules with itemconstrains.IBM Almaden Research Center，Tech Rep:97.056，1997;

3.Park J S，Chen M，Yu P S.Aneffective hash based algorithm for miningassociation ru1es.In:ACM InternationalConference on Management of Data，Caliform，1995;

篇（10）

引言

LIN是一種低成本的串行通訊網(wǎng)絡(luò)，用于實(shí)現(xiàn)汽車中的分布式電子系統(tǒng)控制。LIN的目標(biāo)是為現(xiàn)有汽車網(wǎng)絡(luò)(例如CAN總線)提供輔助功能。在不需要CAN總線的帶寬和多功能的場(chǎng)合，比如智能傳感器和制動(dòng)裝置之間的通訊，使用LIN總線可大大節(jié)省成本。

目前，低成本的局部互聯(lián)網(wǎng)絡(luò)LIN在汽車電子和工業(yè)控制中的應(yīng)用越來越廣泛，而基于LIN總線的協(xié)議分析和調(diào)試測(cè)試工具少且昂貴。大部分LIN總線開發(fā)工具存在一些問題：(1)調(diào)試LIN總線通常做法是通過網(wǎng)關(guān)將LIN幀轉(zhuǎn)換成CAN幀，再用基于CAN的測(cè)試工具間接調(diào)試LIN，當(dāng)網(wǎng)關(guān)出現(xiàn)問題時(shí)這種方式就行不通；(2)和PC連接時(shí)采用串口或USB接口等有線的連接方式，在特定環(huán)境無(wú)法引線的情況下無(wú)法進(jìn)行現(xiàn)場(chǎng)開發(fā)調(diào)試。

SoC(System on a Chip片上系統(tǒng))技術(shù)是將微控制器或DSP核、存儲(chǔ)器、邏輯電路、I/O接口及其他功能模塊綜合在一顆芯片上的系統(tǒng)解決方案。由于處理器和存儲(chǔ)器的可編程能力，使得這種以CPU為核心的解決方案具有很強(qiáng)的靈活性和可修改能力。賽普拉斯(cy―press)公司開發(fā)的PSoC是目前最具靈活性的基于微控制器的片上系統(tǒng)解決方案，它模塊化的片內(nèi)數(shù)字和模擬電路不僅具有很高的可編程性，而且還可以實(shí)現(xiàn)動(dòng)態(tài)重新配置，即在運(yùn)行時(shí)根據(jù)系統(tǒng)不同時(shí)刻的需求，通過編程動(dòng)態(tài)地改變存儲(chǔ)在片內(nèi)閃速存儲(chǔ)器中設(shè)定的參數(shù).重新定義系統(tǒng)所需要功能模塊的種類和數(shù)量，動(dòng)態(tài)地完成芯片資源的重新分配，實(shí)現(xiàn)新的元器件的功能。采用PSoC可以迅速縮短設(shè)計(jì)周期，降低設(shè)計(jì)風(fēng)險(xiǎn)，保證系統(tǒng)資源的最大化、最合理化和最經(jīng)濟(jì)化應(yīng)用，在無(wú)線、手持式設(shè)備、數(shù)據(jù)通信和工業(yè)系統(tǒng)設(shè)計(jì)等領(lǐng)域PSoC都有著廣泛的應(yīng)用。

WirelessUSB是Cypress公司專門針對(duì)短距離點(diǎn)到點(diǎn)或多點(diǎn)到點(diǎn)的無(wú)線連接而設(shè)計(jì)的一種低延遲、干擾免疫、低成本和低功耗的短距離無(wú)線網(wǎng)絡(luò)，適合無(wú)線電腦外設(shè)和無(wú)線傳感器網(wǎng)絡(luò)應(yīng)用。WirelessUSB的協(xié)議是輕量級(jí)的，可以在只帶256字節(jié)RAM和8K字節(jié)ROM的8位微控制器中實(shí)現(xiàn)。WirelessUSB使用頻分多址(FDMA)和碼分多址(CDMA)，可有效避開其它無(wú)線網(wǎng)絡(luò)的干擾，能夠與藍(lán)牙、Wi-Fi等無(wú)線網(wǎng)絡(luò)共存，在面向2.4GHz無(wú)線系統(tǒng)的同類產(chǎn)品中提供最佳的抗干擾性能。傳輸距離從10米(最高1Mbps)到50米(最高62.5Kbps)，使用既有的USB架構(gòu)，因此無(wú)須特別的驅(qū)動(dòng)軟件。

為彌補(bǔ)LIN網(wǎng)絡(luò)開發(fā)工具的不足，本文提出的方案一基于PSOC的無(wú)線LIN總線分析儀，通過無(wú)線連接能并行調(diào)試多個(gè)LIN總線，在有效降低開發(fā)成本和提高開發(fā)效率的同時(shí)提供更好的擴(kuò)展性和靈活性。

LIN總線分析儀硬件介紹

LIN總線數(shù)據(jù)分析系統(tǒng)由主機(jī)橋接器(1個(gè))和總線監(jiān)控終端(多個(gè))兩部分組成?？偩€監(jiān)控終端采集LIN總線上的數(shù)據(jù)，通過無(wú)線網(wǎng)絡(luò)發(fā)送給主機(jī)橋接器；主機(jī)橋接器從無(wú)線網(wǎng)絡(luò)上接收LIN總線監(jiān)控?cái)?shù)據(jù)，通過USB接口發(fā)送到PC，由PC監(jiān)控軟件對(duì)數(shù)據(jù)做進(jìn)一步處理。系統(tǒng)可以實(shí)現(xiàn)數(shù)據(jù)監(jiān)聽、錯(cuò)誤檢測(cè)、主機(jī)仿真、從機(jī)仿真等功能。

系統(tǒng)的硬件由主機(jī)橋接器(通過USB接口連接PC)和LIN總線監(jiān)控終端(連接LIN總線)組成，LIN總線監(jiān)控終端選用MCU＋RF的構(gòu)架，包括PSoC控制器、射頻收發(fā)器、LIN收發(fā)器和電源管理等。

主機(jī)橋接器采用PRoC架構(gòu)，在單芯片內(nèi)集成了線性穩(wěn)壓器、enCoRe-U微控制器、USB設(shè)備和射頻收發(fā)器，僅需極少的外部元件。

系統(tǒng)在選擇控制器時(shí)考慮到功能的擴(kuò)展，選用了功能強(qiáng)大的CY8C29466，它集成了性能為4M1PS的8位M8C處理器、32K的Flash、2K的SRAM，還集成了24／48MHz晶振、32KHz晶振，以及16個(gè)可編程的功能強(qiáng)大的數(shù)字用戶模塊、12個(gè)模擬用戶模塊和可編程的內(nèi)部互聯(lián)，可非常方便地選用多達(dá)100種的外設(shè)和設(shè)置連接方式，將PCB上大部分的元件和走線移到芯片內(nèi)部，而且可動(dòng)態(tài)重配置，開發(fā)非常靈活。

系統(tǒng)中的射頻芯片選擇CYRF6936，它屬于WirelessUSB LP系列，是Cypress的第二代射頻片上系統(tǒng)(Soc)，兼容第一代的CYWUSB69XX器件。CYRF6936增加了一系列增強(qiáng)的特性，包括更廣的操作電壓范圍(1.8～3.6V)、更小的工作電流、更高的數(shù)據(jù)率(最大速率為1Mbps)、更短的晶振起振時(shí)間、同步穩(wěn)定時(shí)間和鏈路切換時(shí)間。CYRF6936可用于無(wú)線鼠標(biāo)鍵盤、無(wú)線操縱桿、遠(yuǎn)程無(wú)線傳感和控制、無(wú)線耳機(jī)、家庭自動(dòng)化和自動(dòng)化儀表等。

主機(jī)橋接器(Bridge)選用Cypress的PRoC(Programmable Radio On Chip)LP(Low Power)芯片CYRF69213。PRoC LP器件在一個(gè)芯片里集成了微控制器和射頻收發(fā)器，是同樣封裝提供雙重功能的單芯片解決方案，它主要集成了性能為4MIPS的8位M8C處理器、USB2.0低速接口、2.4GHz射頻收發(fā)器，內(nèi)部還集成了3.3V電壓調(diào)節(jié)器和USB上拉電阻等，大大減少外部元件，縮小電路板面積，有效降低成本。CYRF69.213的主要用于無(wú)線網(wǎng)絡(luò)的橋接器，將無(wú)線網(wǎng)絡(luò)的數(shù)據(jù)通過USB接口發(fā)往PC機(jī)，同時(shí)將PC機(jī)的控制命令發(fā)給無(wú)線設(shè)備。

局部互聯(lián)網(wǎng)絡(luò)(LIN)是車身網(wǎng)絡(luò)的最低層級(jí)的網(wǎng)絡(luò)，它提供了傳感器和執(zhí)行器之間的低成本通信。本論文采用LIN總線驅(qū)動(dòng)器MC33661符合LIN 2.0規(guī)范，很好地解決了以前的驅(qū)動(dòng)器MC33399模式過于單一、無(wú)法調(diào)節(jié)翻轉(zhuǎn)頻率導(dǎo)致器件功耗較大、驅(qū)動(dòng)功率不夠等問題。

考慮到系統(tǒng)的外部電源、MCU和無(wú)線射頻模塊的工作電源、MCU的工作電流，電源模塊選用帶關(guān)斷功能的低壓差線性穩(wěn)壓器LT1121－5(5V穩(wěn)壓)和高效率的線性電壓調(diào)節(jié)器AMS1117～3.3(3.3V穩(wěn)壓)。

LIN總線分析儀軟件介紹

本系統(tǒng)的軟件設(shè)計(jì)方案圍繞著數(shù)據(jù)的提取、傳輸和處理。從數(shù)據(jù)流向上看，數(shù)據(jù)經(jīng)過四個(gè)階段的處理，分剮是LIN總線協(xié)議處理( 從總線上提取數(shù)據(jù)幀)、WirelessUSB協(xié)議處理、USB協(xié)議處理和PC監(jiān)控軟件的處理(顯示監(jiān)控?cái)?shù)據(jù)和總線信息)。本系統(tǒng)軟件可分成三大部分：總線監(jiān)控終端、主機(jī)橋接器和PC，其中總線監(jiān)控終端包括LIN協(xié)議處理和WirelessUSB協(xié)議處理，主機(jī)橋接器包括WirelessUSB協(xié)議處理和USB協(xié)議處理，PC包括USB協(xié)議處理和監(jiān)控軟件處理。

軟件需要處理的任務(wù)

總線監(jiān)控終端軟件設(shè)計(jì)

LIN總線監(jiān)控任務(wù)：該任務(wù)時(shí)刻監(jiān)控LIN總線的活動(dòng)，當(dāng)有數(shù)據(jù)幀到達(dá)時(shí)，將接收到的數(shù)據(jù)幀放入無(wú)線發(fā)送緩沖區(qū)，同時(shí)還需處理沖突和數(shù)據(jù)出錯(cuò)。

WirelessUSB從機(jī)傳輸任務(wù)：該任務(wù)監(jiān)控?cái)?shù)據(jù)幀傳送到主機(jī)橋接器，同時(shí)接收主機(jī)的配置信息，傳遞給LIN監(jiān)控任務(wù)。

主機(jī)橋接器軟件設(shè)計(jì)

主機(jī)USB設(shè)備監(jiān)聽任務(wù)：主要處理和USB主機(jī)的交互，時(shí)刻監(jiān)聽USB主機(jī)的請(qǐng)求事務(wù)。

WirelessUSB主機(jī)傳輸任務(wù)：主要功能是接收監(jiān)控?cái)?shù)據(jù)幀，傳送給USB監(jiān)聽任務(wù)，同時(shí)將主機(jī)的配置信息傳送給總線監(jiān)控終端。

PC機(jī)監(jiān)控軟件設(shè)計(jì)：

主機(jī)USB傳輸任務(wù)：該任務(wù)主要處理主機(jī)與USB設(shè)備的交換，定時(shí)發(fā)送事務(wù)輪詢USB設(shè)備。

主機(jī)輸入輸出處理任務(wù)：該任務(wù)主要處理USB數(shù)據(jù)與用戶的交互。

LIN2.1協(xié)議各層的實(shí)現(xiàn)任務(wù)

LIN總線具有規(guī)范的分層結(jié)構(gòu)，它定義了物理層、數(shù)據(jù)鏈路層和傳輸層的協(xié)議規(guī)范。物理層定義了LIN總線傳輸媒介的物理特性、總線驅(qū)動(dòng)和接收特性、位速率誤差和位定時(shí)和同步等。數(shù)據(jù)鏈路層實(shí)現(xiàn)數(shù)據(jù)幀接收和錯(cuò)誤檢測(cè)、波特率計(jì)算以及數(shù)據(jù)的包裝，解包，負(fù)責(zé)報(bào)文過濾和恢復(fù)管理等功能。傳輸層實(shí)現(xiàn)了單幀或多幀數(shù)據(jù)傳輸，在應(yīng)用層和數(shù)據(jù)鏈路層之間翻譯數(shù)據(jù)幀，傳輸診斷請(qǐng)求和響應(yīng)，提供外部總線的診斷接口，實(shí)現(xiàn)節(jié)點(diǎn)配置、識(shí)別和診斷。

數(shù)據(jù)鏈路層是LIN2.1協(xié)議的核心，負(fù)責(zé)發(fā)送和接收數(shù)據(jù)幀，處理信號(hào)的組幀和解幀。

LIN協(xié)議的數(shù)據(jù)鏈路層的PSoC實(shí)現(xiàn)

由于LIN總線分析儀既可以監(jiān)聽總線活動(dòng)，也可以仿真主機(jī)或從機(jī)節(jié)點(diǎn)。重點(diǎn)介紹總線分析儀數(shù)據(jù)鏈路層的實(shí)現(xiàn)?？偩€分析儀的數(shù)據(jù)鏈路層的實(shí)現(xiàn)包括調(diào)度表定時(shí)、間隔場(chǎng)的產(chǎn)生、間隔場(chǎng)和同步場(chǎng)的接收以及數(shù)據(jù)的傳輸。

調(diào)度表定時(shí)是通過一個(gè)8位計(jì)數(shù)器(schedule Timer)來實(shí)現(xiàn)的。間隔場(chǎng)采用三個(gè)8位計(jì)數(shù)器產(chǎn)生，一個(gè)8位計(jì)數(shù)器(SB_Baud_Rate_Counter)用來產(chǎn)生波特率時(shí)鐘，為后兩個(gè)計(jì)數(shù)器提供時(shí)鐘；一個(gè)8位計(jì)數(shù)器(sB_Bit_Time_Counter)用來在每個(gè)數(shù)據(jù)位的中間產(chǎn)生位時(shí)中斷；一個(gè)8位計(jì)數(shù)器(Synchro_Break_Counter)用來產(chǎn)生實(shí)際的間隔場(chǎng)。

接收間隔場(chǎng)和同步場(chǎng)的硬件配置包括1個(gè)16位的定時(shí)器、1個(gè)16位的計(jì)數(shù)器和RX(串口接收)引腳。一個(gè)帶輸入捕捉的16位定時(shí)器用來計(jì)算間隔場(chǎng)和同步場(chǎng)上升沿和下降沿之間的時(shí)間。一個(gè)16位的計(jì)數(shù)器用來判斷超時(shí)狀態(tài)。RX引腳連接到定時(shí)器的輸入捕捉，配置捕捉觸發(fā)為上升沿或下降沿。同時(shí)，使能RX引腳的GPIO中斷，所有的計(jì)算都在GPIO中斷服務(wù)程序中進(jìn)行。

數(shù)據(jù)傳輸階段的硬件配置包括2個(gè)8位計(jì)數(shù)器、1個(gè)串口接收模塊和1個(gè)串口發(fā)送模塊。一個(gè)8位計(jì)數(shù)器(DR_Baud_Rate_Counter)用來產(chǎn)生波特率時(shí)鐘；一個(gè)8位計(jì)數(shù)器(Bit_Time_Counter)用來在每個(gè)數(shù)據(jù)位的中間產(chǎn)生位時(shí)中斷，串口接收模塊(RX8)用來接收數(shù)據(jù)(UART 8N1編碼格式)；串口發(fā)送模塊(TX8)用來發(fā)送數(shù)據(jù)(UART 8N1編碼格式)。

相關(guān)處理如下：

緩沖器空中斷：如果是第一次中斷，則啟動(dòng)位時(shí)定時(shí)器并打開中斷。如果要發(fā)送的字節(jié)數(shù)為O，則置最后字節(jié)已發(fā)送標(biāo)志，否則發(fā)送下一字節(jié)數(shù)據(jù)，同時(shí)字節(jié)數(shù)減1。

接收緩沖器滿中斷：當(dāng)工作監(jiān)聽模式時(shí)，將所有接收到的數(shù)據(jù)保存到臨時(shí)緩沖區(qū)。分析儀如果處于發(fā)送狀態(tài)時(shí)則立即中斷返回，否則處理接收的數(shù)據(jù)。當(dāng)工作在主機(jī)模式時(shí)，隨后的處理與主機(jī)的接收中斷處理相同。當(dāng)工作在從機(jī)模式時(shí)，隨后的處理與從機(jī)的接收中斷處理相同。

數(shù)據(jù)傳輸位超時(shí)中斷：當(dāng)工作在主機(jī)模式時(shí)，中斷處理與主機(jī)的位超時(shí)中斷處理相同。當(dāng)工作在從機(jī)模式時(shí)，隨后的處理與從機(jī)的位超時(shí)中斷處理相同。

數(shù)據(jù)傳輸位錯(cuò)誤中斷：位時(shí)計(jì)數(shù)器每位產(chǎn)生一次中斷，在ISR中通過比較TX和RX引腳是否相同來判斷是否有位錯(cuò)誤。如果檢測(cè)到位錯(cuò)誤，將載人接收間隔場(chǎng)和同步場(chǎng)的硬件配置，退出幀傳輸。

主機(jī)節(jié)點(diǎn)的數(shù)據(jù)鏈路層實(shí)現(xiàn)包括調(diào)度表的定時(shí)、間隔場(chǎng)的產(chǎn)生、字節(jié)數(shù)據(jù)(包括同步場(chǎng)和PID)的發(fā)送和字節(jié)數(shù)據(jù)的接收。