當前神經(jīng)網(wǎng)絡的局限性：無法預測，無法解釋理由，以及暫時的不穩(wěn)定性，因此我們需要一種新的神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡膠囊(Neural Network Capsules)就是解決當前神經(jīng)網(wǎng)絡局限性的一種方法，但我們認為它必須有些額外的特點：
1)視頻幀操作：這很簡單，因為我們需要做的就是讓膠囊路由查看最近時間的多個數(shù)據(jù)點。這相當于在最近的重要數(shù)據(jù)點上建立起關(guān)聯(lián)內(nèi)存。請注意，這些不是最近幀的最新表達，而是它們最新的不同表達。可以通過僅保存與預定義值不同的表達來獲得不同內(nèi)容的不同表達。這個重要的細節(jié)只允許保存最近歷史上的相關(guān)信息，而不是一系列無用的相關(guān)數(shù)據(jù)點。
2)預測神經(jīng)網(wǎng)絡能力：這已經(jīng)是動態(tài)路由的一部分，它迫使各層預測下一層表達。這是一種非常強大的自我學習技巧，在我們看來，它勝過了我們在社區(qū)中發(fā)展的所有其他非監(jiān)督表現(xiàn)學習。膠囊現(xiàn)在需要能夠預測長期的時空關(guān)系，但目前還沒有實現(xiàn)。
持續(xù)學習：這是很重要的，因為神經(jīng)網(wǎng)絡需要不斷地學習新的數(shù)據(jù)點來維持生存。目前的神經(jīng)網(wǎng)絡不能學習新的數(shù)據(jù)，而每次都需要從頭開始重新訓練。神經(jīng)網(wǎng)絡需要能夠自我評估接受重新訓練的必要性，以及它們確實知道某些事情的事實。這也需要在現(xiàn)實生活和強化學習任務中表現(xiàn)出來，我們想讓機器在不忘記舊任務的情況下完成新任務。
轉(zhuǎn)移學習：或者稱我們?nèi)绾巫屵@些算法通過觀看視頻自學，就像我們學習如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對于加強學習也很重要。現(xiàn)在你可以通過舉例子的方式來訓練你的機器去做你想讓它做的事情，就像我們?nèi)祟愐粯印?/p>
強化學習：這是深神經(jīng)網(wǎng)絡研究的“圣杯”，即教機器如何在真實的世界環(huán)境中學習!這需要自學、持續(xù)學習、預測能力，還有很多我們不知道的東西。在強化學習領(lǐng)域有很多東西需要了解，但對作者們來說，這只觸及到問題的表面。
強化學習通常被稱為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓練。但是，我們?nèi)绾尾拍艿玫揭粋€“通用”大腦輕松地解決所有的問題呢?這是個“先有雞還是先有蛋”的問題!今天，要想一個個地解決強化學習的問題，我們需要使用標準神經(jīng)網(wǎng)絡：一個深度的神經(jīng)網(wǎng)絡，它接收大量的數(shù)據(jù)輸入，如視頻或音頻，并將其壓縮成表示;一個序列學習神經(jīng)網(wǎng)絡，如RNN，以便了解任務。
這兩個部分都是問題的明顯解決方案，目前顯然是錯誤的，但這是每個人都在使用的，因為它們是當前可用的構(gòu)建塊。這樣的結(jié)果并不令人印象深刻：我們可以從頭開始學習玩視頻游戲，并且掌握像國際象棋和圍棋這樣完全可觀察的游戲，但無需多言，與在復雜的世界中解決問題相比，這些都是微不足道的。想象下，AI可以比人類更好地玩轉(zhuǎn)《Horizon Zero Dawn》，對此我拭目以待!
但這恰是我們想要看到的，即能像我們?nèi)祟愡@樣運作的機器。我們對強化學習的建議是，使用可以連續(xù)操作的預測神經(jīng)網(wǎng)絡和聯(lián)想存儲器來存儲最近的經(jīng)驗。
不要更多的遞歸神經(jīng)網(wǎng)絡(RNN)：因為它們在并行化方面表現(xiàn)特別糟糕，甚至在特殊的定制機器上也很慢，因為它們的內(nèi)存帶寬使用率很高，內(nèi)存帶寬存在限制。基于注意力的神經(jīng)網(wǎng)絡更高效，可更快速地進行訓練和部署，并且在訓練和部署方面的可伸縮性更少。在神經(jīng)網(wǎng)絡中，注意力有可能使許多架構(gòu)發(fā)生真正的改變，但它并沒有得到應有的認可。聯(lián)想記憶和注意力的結(jié)合是下一波神經(jīng)網(wǎng)絡發(fā)展的核心。我們認識到，基于注意力的神經(jīng)網(wǎng)絡將逐漸取代基于RNN的語音識別，并在強化學習構(gòu)架和通用人工智能中找到它們的方法。
分類神經(jīng)網(wǎng)絡中信息的定位：實際上這是一個已經(jīng)解決的問題，將被嵌入到未來的神經(jīng)網(wǎng)絡架構(gòu)中。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務。
粵公網(wǎng)安備 44030402000264號
