日前，美國(guó)麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室和以色列海法大學(xué)的研究人員已經(jīng)開(kāi)發(fā)了一個(gè)解決方案，將大數(shù)據(jù)變成可管理的數(shù)據(jù)。
通常使用諸如低秩近似，奇異值分解，主成分分析和非負(fù)矩陣分解的數(shù)據(jù)分析工具來(lái)減少數(shù)據(jù)集中的變量的數(shù)量。不幸的是，在大量大數(shù)據(jù)集上使用這些工具通常太費(fèi)時(shí)，不實(shí)用。解決這個(gè)問(wèn)題的典型解決方案包括為大數(shù)據(jù)集找到一個(gè)核心集。核心集是大數(shù)據(jù)的一個(gè)子集，用于保留大數(shù)據(jù)最重要的數(shù)學(xué)關(guān)系。數(shù)據(jù)分析工具可以更有效地與coreet工作，因?yàn)樗 ?br />
如果要進(jìn)行兩個(gè)或多個(gè)數(shù)據(jù)分析，則進(jìn)行查找可能是一個(gè)問(wèn)題，因?yàn)閺拇髷?shù)據(jù)中提取核心集，每個(gè)分析工具都有自己唯一的方法。在分析中比較結(jié)果，將涉及比較來(lái)自不理想的不同核心的結(jié)果。研究團(tuán)隊(duì)通過(guò)開(kāi)發(fā)一種用于提取可由大量常用數(shù)據(jù)分析工具使用的核心集的通用方法來(lái)解決這個(gè)問(wèn)題。
假設(shè)工作人員想要識(shí)別在一個(gè)巨大的文本數(shù)據(jù)庫(kù)（如維基百科）中最常出現(xiàn)的主題。低秩近似是一種將完成這項(xiàng)工作的算法，但維基百科數(shù)據(jù)庫(kù)非常大，因此，采用低秩近似將花費(fèi)太長(zhǎng)的時(shí)間來(lái)完成任務(wù)。維基百科數(shù)據(jù)庫(kù)有多大？想象一下，在維基百科中每一篇文章都有一行的矩陣或表格，以及在維基百科中出現(xiàn)的每個(gè)單詞的列。該矩陣將有140萬(wàn)篇的文章和440萬(wàn)列的單詞。這是一個(gè)約6.2萬(wàn)億個(gè)單元格的表格，平均分配到地球上每個(gè)人，每人約為821個(gè)單元格。這的確是一個(gè)大數(shù)據(jù)。
研究人員的解決方案使用高級(jí)類(lèi)型的幾何知識(shí)來(lái)將這個(gè)巨大的數(shù)據(jù)集縮減為更易于管理的核心集。想象一下，通過(guò)一個(gè)二維的具有長(zhǎng)和寬的矩形就很容易處理?，F(xiàn)在添加第三個(gè)維度，深度。也很容易想象這是一個(gè)盒子，現(xiàn)在添加第四個(gè)維度，時(shí)間。我們稱(chēng)之為時(shí)空，但它不是那么容易想象。現(xiàn)在添加兩個(gè)或三個(gè)更多的維度，并想象它的外觀。人們無(wú)法想象這些多維空間看起來(lái)像什么，但是可以采用幾何知識(shí)描述。為了縮小維基百科矩陣，研究人員使用了一個(gè)叫做超循環(huán)的多維圓，它有440萬(wàn)個(gè)維度，可以表達(dá)維基百科中出現(xiàn)的每個(gè)單詞一個(gè)。維基百科中的140萬(wàn)篇文章中的每一篇都表示為這個(gè)超循環(huán)上的唯一點(diǎn)。
研究人員如何將超循環(huán)收縮成更易于管理的東西？維基百科中的440萬(wàn)列單詞的每一個(gè)都由一個(gè)變量表示，維基百科中的每篇文章都由這些440萬(wàn)個(gè)變量的唯一的一組值表示。研究者的超循環(huán)技術(shù)涉及一次獲取一篇文章，并找到其440萬(wàn)個(gè)變量的一小部分的平均值，例如50個(gè)變量。最好保留變量之間的數(shù)學(xué)關(guān)系的平均值可以通過(guò)計(jì)算表示50個(gè)變量或單詞的這個(gè)小得多的50維超循環(huán)的中心來(lái)找到。然后將平均值作為coreet中的一個(gè)數(shù)據(jù)點(diǎn)輸入。而對(duì)每篇文章中的剩余變量（單詞）和140萬(wàn)篇文章中的每一篇重復(fù)這個(gè)過(guò)程。
使用此方法將大數(shù)據(jù)維基百科矩陣縮減為核心集需要大量的單獨(dú)計(jì)算，但每個(gè)計(jì)算都可以非常快速地執(zhí)行，因?yàn)樗簧婕?0個(gè)變量。其結(jié)果是一個(gè)核心集，它保留了大數(shù)據(jù)中存在的重要的數(shù)學(xué)關(guān)系，并且足夠小，可以被各種數(shù)據(jù)分析技術(shù)有效地使用。超循環(huán)技術(shù)的真正核心在于這種品種。該技術(shù)創(chuàng)建了一個(gè)核心集，可以被許多數(shù)據(jù)分析工具使用，這些工具通常應(yīng)用于計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理，神經(jīng)科學(xué)，天氣預(yù)報(bào)，推薦系統(tǒng)等。甚至人們可能認(rèn)為超循環(huán)，都是他們所有規(guī)則的一環(huán)。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專(zhuān)業(yè)媒體平臺(tái)，自1994年品牌成立以來(lái)，一直專(zhuān)注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專(zhuān)業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷(xiāo)服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
