據(jù)悉，騰訊優(yōu)圖與廈門大學(xué)聯(lián)合團(tuán)隊(duì)，共同提出了半監(jiān)督對(duì)抗單目深度估計(jì)，有望充分利用海量的無標(biāo)簽數(shù)據(jù)所蘊(yùn)含的信息，結(jié)合少量有標(biāo)簽數(shù)據(jù)以半監(jiān)督的形式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。據(jù)悉，該研究成果已被人工智能領(lǐng)域最頂級(jí)的國(guó)際期刊TPAMI收錄。
長(zhǎng)期以來，基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類、回歸任務(wù)大多依賴大量的有標(biāo)簽數(shù)據(jù)來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。而在實(shí)際的算法部署中，往往只有海量的無標(biāo)簽數(shù)據(jù)以及非常少量的標(biāo)簽數(shù)據(jù)。如何充分利用這些少量的標(biāo)簽數(shù)據(jù)，使其達(dá)到和大量有標(biāo)簽數(shù)據(jù)下訓(xùn)練的模型相近的效果，對(duì)學(xué)術(shù)界和工業(yè)界來說一直都是一個(gè)難題。
據(jù)騰訊優(yōu)圖的研究員介紹，該項(xiàng)研究的核心難點(diǎn)在于，如何從無標(biāo)簽數(shù)據(jù)中獲取監(jiān)督信息。傳統(tǒng)方法一般需要同一場(chǎng)景的圖像序列作為輸入，通過構(gòu)建立體幾何關(guān)系來隱式地對(duì)深度進(jìn)行重建。這種方法要求同一場(chǎng)景至少包含兩張以上的圖像，一般需要雙目攝像頭或視頻序列才可以滿足。騰訊優(yōu)圖與廈門大學(xué)聯(lián)合團(tuán)隊(duì)，提出在一個(gè)對(duì)抗訓(xùn)練的框架中，解除圖像對(duì)判別器對(duì)真假樣本必須為同一圖像的要求，“真樣本對(duì)”采用有標(biāo)簽數(shù)據(jù)的RGB圖像以及對(duì)應(yīng)的真實(shí)深度圖，“偽樣本對(duì)”采用無標(biāo)簽RGB圖像以及用生成器網(wǎng)絡(luò)預(yù)測(cè)出的深度圖，由判別器網(wǎng)絡(luò)區(qū)分預(yù)測(cè)出的深度圖與對(duì)應(yīng)RGB直接是否符合真實(shí)的聯(lián)合概率分布，進(jìn)而從無標(biāo)簽數(shù)據(jù)中收獲監(jiān)督信息。與此同時(shí)，通過添加深度圖判別器，來約束預(yù)測(cè)的深度圖與真實(shí)深度圖的分布一致性。該方法輸入可以為任意無關(guān)聯(lián)圖像，應(yīng)用場(chǎng)景更加廣泛。而從實(shí)驗(yàn)結(jié)果也發(fā)現(xiàn)，當(dāng)主流的深度估計(jì)網(wǎng)絡(luò)作為一個(gè)生成器網(wǎng)絡(luò)安插在半監(jiān)督框架中時(shí)，都可以收獲顯著的效果提升。
在研究的量化指標(biāo)上，利用半監(jiān)督對(duì)抗框架，當(dāng)有標(biāo)簽數(shù)據(jù)很少(500張)的情況下，僅使用250張無標(biāo)簽RGB圖像就可以收獲優(yōu)于其他state-of-the-art方法的效果。當(dāng)固定有標(biāo)簽數(shù)據(jù)量(500張)，持續(xù)增加無標(biāo)簽RGB圖像可以進(jìn)一步對(duì)效果帶來提升，最終當(dāng)利用五萬張無標(biāo)簽RGB圖像后，該方法在各項(xiàng)指標(biāo)上都遠(yuǎn)超當(dāng)前的state-of-the-art方法。
據(jù)騰訊優(yōu)圖的研究員介紹，該研究方法雖然以單目深度預(yù)測(cè)為實(shí)驗(yàn)，但過程中發(fā)現(xiàn)對(duì)于語(yǔ)義分割任務(wù)也有相似的效果提升。與此同時(shí)，當(dāng)模型訓(xùn)練與算法部署的環(huán)境存在差異時(shí)(即存在Domain Shift)，若有標(biāo)簽數(shù)據(jù)為源域中的數(shù)據(jù)，而無標(biāo)簽數(shù)據(jù)為算法部署的目標(biāo)域中的數(shù)據(jù)，該方法還可以起到Domain Adaptation的效果，提升模型在目標(biāo)域的部署效果，該觀察也在非同源場(chǎng)景下的ReID任務(wù)中得到了初步的驗(yàn)證。
總的來說，該項(xiàng)研究的核心在于充分挖掘無標(biāo)簽樣本所蘊(yùn)含的信息，減少對(duì)標(biāo)簽數(shù)據(jù)的依賴，未來有望在場(chǎng)景重建、非同源場(chǎng)景ReID等多個(gè)方案中進(jìn)行應(yīng)用。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
