近日,斯坦福大學(xué)李飛飛組的研究者發(fā)表論文《Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation》,提出了Auto-DeepLab,其在圖像語(yǔ)義分割問(wèn)題上超越了很多業(yè)內(nèi)最佳模型,甚至可以在未經(jīng)過(guò)預(yù)訓(xùn)練的情況下達(dá)到預(yù)訓(xùn)練模型的表現(xiàn)。Auto-DeepLab開(kāi)發(fā)出與分層架構(gòu)搜索空間完全匹配的離散架構(gòu)的連續(xù)松弛,能夠顯著提高架構(gòu)搜索的效率,降低算力需求。
據(jù)了解,該論文主要貢獻(xiàn)如下:
?這是首次將 NAS 從圖像分類任務(wù)擴(kuò)展到密集圖像預(yù)測(cè)任務(wù)的嘗試之一。
?該研究提出了一個(gè)網(wǎng)絡(luò)級(jí)架構(gòu)搜索空間,它增強(qiáng)和補(bǔ)充了已經(jīng)得到深入研究的單元級(jí)架構(gòu)搜索,并對(duì)網(wǎng)絡(luò)級(jí)和單元級(jí)架構(gòu)進(jìn)行更具挑戰(zhàn)性的聯(lián)合搜索。
?本研究提出了一種可微的連續(xù)方式,保證高效運(yùn)行兩級(jí)分層架構(gòu)搜索,在一個(gè) GPU 上僅需 3 天。
?在未經(jīng) ImageNet 預(yù)訓(xùn)練的情況下,Auto-DeepLab 模型在 Cityscapes 數(shù)據(jù)集上的性能顯著優(yōu)于 FRRN-B 和 GridNet,同時(shí)也和 ImageNet 預(yù)訓(xùn)練當(dāng)前最佳模型性能相當(dāng)。在 PASCAL VOC 2012 和 ADE20K 數(shù)據(jù)集上,最好的 Auto-DeepLab 模型優(yōu)于多個(gè)當(dāng)前最優(yōu)模型。
據(jù)悉,在回歸斯坦福大學(xué)當(dāng)教授之前,李飛飛曾擔(dān)任谷歌中國(guó)AI負(fù)責(zé)人,并在擔(dān)任谷歌云負(fù)責(zé)人與首席科學(xué)家的兩年間,建立了一個(gè)高效的團(tuán)隊(duì),幫助 Google 加速將人工智能和機(jī)器學(xué)習(xí)引入自己的云服務(wù)中。