數(shù)據(jù)流區(qū)別特征

時(shí)間：2022-09-09作者：湖北匯智橋數(shù)據(jù)信息服務(wù)有限公司瀏覽：98

與傳統(tǒng)的關(guān)系數(shù)據(jù)模式區(qū)別
B.Babcock等[90]認(rèn)為數(shù)據(jù)流模式在以下幾個(gè)方面不同于傳統(tǒng)的關(guān)系數(shù)據(jù)模式：
1. 數(shù)據(jù)聯(lián)機(jī)到達(dá)；
2. 處理系統(tǒng)無(wú)法控制所處理的數(shù)據(jù)的到達(dá)順序；
3. 數(shù)據(jù)可能是無(wú)限多的；
4. 由于數(shù)據(jù)量的龐大，數(shù)據(jù)流中的元素被處理后將被拋棄或存檔（archive）。以后再想獲取這些數(shù)據(jù)將會(huì)很困難，除非將數(shù)據(jù)存儲(chǔ)在內(nèi)存中，但由于內(nèi)存大小通常遠(yuǎn)遠(yuǎn)小于數(shù)據(jù)流數(shù)據(jù)的數(shù)量，因此實(shí)際上通常只能在數(shù)據(jù)**次到達(dá)時(shí)獲取數(shù)據(jù)。
三個(gè)特點(diǎn)
我們認(rèn)為，當(dāng)前所研究的數(shù)據(jù)流計(jì)算之所以不同于傳統(tǒng)的計(jì)算模式，關(guān)鍵在于這些數(shù)據(jù)流數(shù)據(jù)本身具有如下三個(gè)特點(diǎn)：
數(shù)據(jù)的到達(dá)—快速
這意味著短時(shí)間內(nèi)可能會(huì)有大量的輸入數(shù)據(jù)需要處理。這對(duì)處理器和輸入輸出設(shè)備來(lái)說(shuō)都是一個(gè)較大的負(fù)擔(dān)，因此對(duì)數(shù)據(jù)流的處理應(yīng)盡可能簡(jiǎn)單。


數(shù)據(jù)流
數(shù)據(jù)的范圍—廣域
這是指數(shù)據(jù)屬性（維）的取值范圍非常大，可能取的值非常多，如地域、手機(jī)號(hào)碼、人、網(wǎng)絡(luò)節(jié)點(diǎn)等。這才是導(dǎo)致數(shù)據(jù)流無(wú)法在內(nèi)存或硬盤中存儲(chǔ)的主要原因。如果維度小，即使到來(lái)的數(shù)據(jù)量很大，也可以在較小的存儲(chǔ)器中保存這些數(shù)據(jù)。例如，對(duì)于無(wú)線通信網(wǎng)來(lái)說(shuō)，同樣的100萬(wàn)條通話記錄，如果只有1000個(gè)用戶，那么使用1000個(gè)存儲(chǔ)單位就可以保存足夠多和足夠精確的數(shù)據(jù)來(lái)回答“某一用戶的累計(jì)通話時(shí)間有多長(zhǎng)”的問(wèn)題；而如果共有100000個(gè)用戶，要保存這些信息，就需要100000個(gè)存儲(chǔ)單位。數(shù)據(jù)流數(shù)據(jù)的屬性大多與地理信息、IP地址、手機(jī)號(hào)碼等有關(guān)，而且往往與時(shí)間聯(lián)系在一起。這時(shí)，數(shù)據(jù)的維度遠(yuǎn)遠(yuǎn)**過(guò)了內(nèi)存和硬盤容量，這意味著系統(tǒng)無(wú)法完整保存這些信息，通常只能在數(shù)據(jù)到達(dá)的時(shí)候存取數(shù)據(jù)一次。
數(shù)據(jù)到達(dá)的時(shí)間—持續(xù)
數(shù)據(jù)的持續(xù)到達(dá)意味著數(shù)據(jù)量可能是無(wú)限的。而且，對(duì)數(shù)據(jù)進(jìn)行處理的結(jié)果不會(huì)是較終的結(jié)果，因?yàn)閿?shù)據(jù)還會(huì)不斷地到達(dá)。因此，對(duì)數(shù)據(jù)流的查詢的結(jié)果往往不是一次性而是持續(xù)的，即隨著底層數(shù)據(jù)的到達(dá)而不斷返回較新的結(jié)果。
以上數(shù)據(jù)流的特點(diǎn)決定了數(shù)據(jù)流處理的特點(diǎn)一次存取，持續(xù)處理，有限存儲(chǔ)，近似結(jié)果，快速響應(yīng)。
近似結(jié)果是在**個(gè)條件限制下產(chǎn)生的必然結(jié)果。由于只能存取數(shù)據(jù)一次，而且只有相對(duì)較小的有限空間存儲(chǔ)數(shù)據(jù)，因此產(chǎn)生精確的計(jì)算結(jié)果通常是不可能的。而將對(duì)結(jié)果的要求從過(guò)去的“精確”改為“近似”后，實(shí)現(xiàn)數(shù)據(jù)流查詢的快速響應(yīng)也就成為了可能。

湖北匯智橋數(shù)據(jù)信息服務(wù)有限公司專注于項(xiàng)目股權(quán)**報(bào)告,項(xiàng)目數(shù)據(jù)分析,股權(quán)投資**分析及風(fēng)險(xiǎn)評(píng)定報(bào)告等

• 詞條

  詞條說(shuō)明

• 數(shù)據(jù)流新動(dòng)向介紹

  研究人員對(duì)數(shù)據(jù)流處理的研究不斷深入，我們認(rèn)為出現(xiàn)了以下新的動(dòng)向：未來(lái)略圖引入更多多的的統(tǒng)計(jì)計(jì)技技術(shù)來(lái)構(gòu)造略圖G. Cormode等主要處理對(duì)頻繁項(xiàng)的計(jì)算。它以前人的主項(xiàng)（majority item ）算法([116, 117])為基礎(chǔ)，使用了error-correcting codes來(lái)處理問(wèn)題。如數(shù)據(jù)的每一位設(shè)立一個(gè)計(jì)數(shù)器，再根據(jù)這些計(jì)數(shù)器的計(jì)數(shù)結(jié)果來(lái)推斷頻繁項(xiàng)集合。Y. Tao等[118]實(shí)質(zhì)

• 項(xiàng)目**數(shù)據(jù)如何分析？

  在項(xiàng)目管理活動(dòng)中，至少包括以下17種數(shù)據(jù)分析技術(shù)。根據(jù)遇到的問(wèn)題類型，我們可以有針對(duì)性的選擇合適的技術(shù)來(lái)處理。備選方案分析作為一種嚴(yán)謹(jǐn)?shù)臎Q策方法，在決策之前要建立評(píng)估標(biāo)準(zhǔn)，并對(duì)每個(gè)評(píng)估標(biāo)準(zhǔn)分配適當(dāng)?shù)臋?quán)重。決策之時(shí)由*依據(jù)評(píng)估標(biāo)準(zhǔn)進(jìn)行打分，分?jǐn)?shù)較高的方案通常就是建議選擇的較優(yōu)方案。備選方案分析不僅可用于重大的技術(shù)決策，它也同樣可以用于解決各種項(xiàng)目管理問(wèn)題，比如:處理變更、項(xiàng)目范圍調(diào)整、進(jìn)度和成本控

• 數(shù)據(jù)流分類介紹

  數(shù)據(jù)的性質(zhì)、格式不同，則對(duì)流的處理方法也不同，因此，在Java的輸入/輸出類庫(kù)中，有不同的流類來(lái)對(duì)應(yīng)不同性質(zhì)的輸入/輸出流。在java．io包中，基本輸入/輸出流類可按其讀寫數(shù)據(jù)的類型之不同分為兩種：字節(jié)流和字符流。輸入流與輸出流數(shù)據(jù)流分為輸入流(InputStream)和輸出流(OutputStream)兩類。輸入流只能讀不能寫，而輸出流只能寫不能讀。通常程序中使用輸入流讀出數(shù)據(jù)，輸出流寫入數(shù)據(jù)

• 數(shù)據(jù)流產(chǎn)生背景

  數(shù)據(jù)流應(yīng)用的產(chǎn)生的發(fā)展是以下兩個(gè)因素的結(jié)果：細(xì)節(jié)數(shù)據(jù)已經(jīng)能夠持續(xù)自動(dòng)產(chǎn)生大量的細(xì)節(jié)數(shù)據(jù)。這類數(shù)據(jù)較早出現(xiàn)于傳統(tǒng)的銀行和股票交易領(lǐng)域，后來(lái)則也出現(xiàn)為地質(zhì)測(cè)量、氣象、天文觀測(cè)等方面。尤其是互聯(lián)網(wǎng)(網(wǎng)絡(luò)流量監(jiān)控，點(diǎn)擊流)和無(wú)線通信網(wǎng)（通話記錄）的出現(xiàn)，產(chǎn)生了大量的數(shù)據(jù)流類型的數(shù)據(jù)。我們注意到這類數(shù)據(jù)大都與地理信息有一定關(guān)聯(lián)，這主要是因?yàn)榈乩硇畔⒌木S度較大，容易產(chǎn)生這類大量的細(xì)節(jié)數(shù)據(jù)。復(fù)雜分析需要以近實(shí)時(shí)