全球計(jì)算機(jī)視覺(jué)三大頂級(jí)會(huì)議之一 CVPR 2019 將于當(dāng)?shù)貢r(shí)間 6 月 16-20 日在美國(guó)洛杉磯舉辦。屆時(shí)，曠視首席科學(xué)家、研究院院長(zhǎng)孫劍博士將帶領(lǐng)團(tuán)隊(duì)遠(yuǎn)赴盛會(huì)，助力計(jì)算機(jī)視覺(jué)技術(shù)的交流與落地。在此之前，曠視每周都會(huì)介紹一篇被 CVPR 2019 接收的論文，本文是第 6篇，提出了一種新的帶有不確定性的邊界框回歸損失，可用于學(xué)習(xí)更準(zhǔn)確的目標(biāo)定位。

　　導(dǎo)語(yǔ)

　　大規(guī)模目標(biāo)檢測(cè)數(shù)據(jù)集會(huì)盡可能清晰地定義基本 ground truth 邊界框。但是，可以觀察到在標(biāo)記邊界框時(shí)仍會(huì)存在模糊不清的現(xiàn)象。曠視研究院在本文中提出了一種全新的邊界框回歸損失，可用于同時(shí)學(xué)習(xí)邊界框變換和定位方差。這種新?lián)p失能極大地提升多種架構(gòu)的定位準(zhǔn)確度，而且?guī)缀醪粫?huì)有額外的計(jì)算成本。所學(xué)習(xí)到的定位方差也能幫助在非極大值抑制(NMS)期間融合相鄰的邊界框，進(jìn)一步提升定位的效果。實(shí)驗(yàn)結(jié)果表明這種新方法比之前最佳的邊界框優(yōu)化方法更優(yōu)。

　　簡(jiǎn)介

　　ImageNet、MS-COCO 和 CrowdHuman 等大規(guī)模目標(biāo)檢測(cè)數(shù)據(jù)集都會(huì)盡可能清晰地定義基本 ground truth 邊界框。

　　但是，可以觀察到一些案例中的基本 ground truth 邊界框原本就是模糊的，這會(huì)讓邊界框回歸函數(shù)的學(xué)習(xí)更加困難。圖 1 (a)(c) 是 MS-COCO 中兩個(gè)邊界框標(biāo)記不準(zhǔn)確的示例。當(dāng)存在遮擋時(shí)，邊界框的范圍會(huì)更不清晰，比如來(lái)自 YouTube-BoundingBoxes 的圖 1(d)。

　　圖 1：邊界框標(biāo)注模糊的示例。(a,c) 是標(biāo)注不準(zhǔn)確，(b) 是存在遮擋，(d) 則是因?yàn)檎趽鯇?dǎo)致目標(biāo)邊界框本身并不清晰

　　目標(biāo)檢測(cè)是一種多任務(wù)學(xué)習(xí)問(wèn)題，包含目標(biāo)定位和目標(biāo)分類。當(dāng)前最佳的目標(biāo)檢測(cè)器(比如 Faster RCNN、Cascade R-CNN 和 Mask R-CNN)都依靠邊界框回歸來(lái)定位目標(biāo)。

　　但是，傳統(tǒng)的邊界框回歸損失(即平滑 L1 損失)沒(méi)有考慮到基本 ground truth 邊界框的模糊性。此外，人們通常假設(shè)當(dāng)分類分?jǐn)?shù)較高時(shí)，邊界框回歸是準(zhǔn)確的，但事實(shí)并非總是如此，如圖 2 所示。

　　圖 2：VGG-16 Faster RCNN 在 MS-COCO 上的失敗案例。(a) 兩個(gè)邊界框都不準(zhǔn)確;(b)有較高分類分?jǐn)?shù)的邊界框的左邊界是不準(zhǔn)確的。

　　針對(duì)這些問(wèn)題，本文提出了一種全新的邊界框回歸損失——KL 損失，用于同時(shí)學(xué)習(xí)邊界框回歸和定位的不確定性。具體來(lái)說(shuō)，為了獲取邊界框預(yù)測(cè)的不確定性，研究員首先將邊界框預(yù)測(cè)和基本 ground truth 邊界框分別建模為高斯分布(Gaussian distribution)和狄拉克 δ 函數(shù)(Dirac delta function)。而新提出的邊界框回歸損失則被定義為預(yù)測(cè)分布和基本 ground truth 分布之間的 KL 距離。

　　使用 KL 損失進(jìn)行學(xué)習(xí)有三大優(yōu)勢(shì)：

　　可以成功獲取數(shù)據(jù)集中的模糊性。讓邊界框回歸器在模糊邊界框上得到的損失更小。

　　所學(xué)習(xí)到的方差可用于后處理階段。研究者提出了方差投票(variance voting)方法，可在非極大值抑制(NMS)期間使用由預(yù)測(cè)的方差加權(quán)的臨近位置來(lái)投票得到邊界框的位置。

　　所學(xué)習(xí)到的概率分布是可解釋的。因?yàn)槠浞从沉诉吔缈蝾A(yù)測(cè)的不確定性，所以可能有助于自動(dòng)駕駛和機(jī)器人等下游應(yīng)用。

　　方法

　　下面將具體介紹這種新的損失函數(shù)和方差投票方法。

　　邊界框參數(shù)化

　　在介紹新方法之前，先看看邊界框參數(shù)化。本文提出基于 Faster R-CNN 或 Mask R-CNN 等兩級(jí)式目標(biāo)檢測(cè)器(如圖 3)分別回歸邊界框的邊界。研究者將邊界框表示成了一個(gè)四維向量，其中每一維都是框邊界的位置。本文采用的參數(shù)化方案是 (x1, y1, x2, y2) 坐標(biāo)(對(duì)角線)，而非 R-CNN 使用的那種 (x, y, w, h) 坐標(biāo)。

　　圖 3：本文提出的用于估計(jì)定位置信度的網(wǎng)絡(luò)架構(gòu)。不同于兩級(jí)式檢測(cè)網(wǎng)絡(luò)的標(biāo)準(zhǔn) Fast R-CNN head，這個(gè)架構(gòu)是估計(jì)邊界框位置以及標(biāo)準(zhǔn)差，這會(huì)在新提出的 KL 損失得到考慮。

　　該網(wǎng)絡(luò)的目標(biāo)是在估計(jì)位置的同時(shí)估計(jì)定位置信度。形式上講，該網(wǎng)絡(luò)預(yù)測(cè)的是一個(gè)概率分布，而不只是邊界框位置。盡管該分布可能更復(fù)雜，可能是多變量高斯分布或高斯混合分布，但該論文為了簡(jiǎn)單起見假設(shè)坐標(biāo)是相互獨(dú)立的且使用了單變量高斯分布。

　　另外，基本 ground truth 邊界框也被形式化了一個(gè)高斯分布——狄拉克 δ 函數(shù)。

　　使用 KL 損失的邊界框回歸

　　在這里，目標(biāo)定位的目標(biāo)是在樣本上最小化預(yù)測(cè)分布和基本 ground truth 分布之間的 KL 距離。這個(gè) KL 距離即為邊界框回歸的損失函數(shù) L_reg。而分類損失則保持不變。

　　其中，x_g 為基本 ground truth 邊界框位置，x_e 為估計(jì)的邊界框位置，D_KL 是 KL 距離，σ 是標(biāo)準(zhǔn)差，P_D 是基本 ground truth 狄拉克 δ 函數(shù)，P_Θ 是預(yù)測(cè)的高斯分布，Θ 是一組可學(xué)習(xí)的參數(shù)。

　　如圖 4 所示，當(dāng) x_e 不準(zhǔn)確時(shí)，網(wǎng)絡(luò)會(huì)預(yù)測(cè)得到更大的方差 σ2，使 L_reg 更低。

　　圖 4：藍(lán)色和灰色的高斯分布是估計(jì)結(jié)果。橙色表示狄拉克 δ 函數(shù)，是基本 ground truth 邊界框的分布。

　　方差投票

　　在獲得預(yù)測(cè)位置的方差后，可根據(jù)所學(xué)習(xí)到的鄰近邊界框的方差直觀地投票選擇候選邊界框位置。

　　如算法 1 所示，其代碼基于 NMS，但有三行不一樣。

　　本文是在標(biāo)準(zhǔn) NMS 或 soft-NMS 的過(guò)程中投票所選框的位置。在選擇了有最大分?jǐn)?shù)的檢測(cè)結(jié)果后，再根據(jù)它及其鄰近邊界框計(jì)算它本身的新位置。本文受 soft-NMS 的啟發(fā)為更近的以及有更低不確定性的邊界框分配了更高的權(quán)重。

　　在投票期間權(quán)重更低的鄰近邊界框包含兩類：(1)高方差的邊界框;(2)與所選邊界框的 IoU 較小的邊界框。投票不涉及分類分?jǐn)?shù)，因?yàn)楦头謹(jǐn)?shù)的框可能有更高的定位置信度。圖 5 給出了方差投票的圖示。使用方差投票可以避免圖 2 中提到的那兩類檢測(cè)問(wèn)題。

　　圖 5：VGG-16 Faster R-CNN 在 MS-COCO 上的方差投票結(jié)果。每個(gè)邊界框中的綠色文本框?qū)?yīng)于預(yù)測(cè)的標(biāo)準(zhǔn)差 σ。

　　實(shí)驗(yàn)

　　曠視研究員基于 MS-COCO 和 PASCAL VOC 2007 數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)配置細(xì)節(jié)如下：

　　使用了 4 個(gè) GPU

　　訓(xùn)練流程和批大小根據(jù)線性縮放規(guī)則進(jìn)行調(diào)整

　　VGG-CNN-M-1024 和 VGG-16 的實(shí)現(xiàn)基于 Caffe;ResNet-50 FPN 和 Mask R-CNN 的實(shí)現(xiàn)基于 Detectron

　　VGG-16 Faster R-CNN 遵照 py-faster-rcnn(github.com/rbgirshick/py-faster-rcnn)，在 train2014 上訓(xùn)練，在 val2014 上測(cè)試;其它目標(biāo)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試分別在 train2017 和 val2017 上完成

　　σ_t 設(shè)為 0.02

　　除非另有說(shuō)明，否則所有超參數(shù)都是默認(rèn)設(shè)置(github.com/facebookresearch/Detectron)

　　研究者基于 VGG-16 Faster R-CNN 評(píng)估了每個(gè)模塊對(duì)整體結(jié)果的貢獻(xiàn)，包括 KL 損失、soft-NMS 和方差投票。表 1 給出了詳細(xì)結(jié)果。可以看到，每新增一項(xiàng)改進(jìn)，都能實(shí)現(xiàn)結(jié)果的進(jìn)一步提升。

　　表 1：使用 VGG-16 Faster R-CNN 在 MS-COCO 數(shù)據(jù)集上檢驗(yàn)每個(gè)模塊的貢獻(xiàn)

　　準(zhǔn)確的目標(biāo)檢測(cè)

　　表 4 總結(jié)了在 ResNet-50-FPN Mask R-CNN 上不同方法對(duì)準(zhǔn)確目標(biāo)檢測(cè)的效果。使用 KL 損失，網(wǎng)絡(luò)可以在訓(xùn)練階段學(xué)習(xí)調(diào)節(jié)模糊邊界框的梯度。

　　表 4：在 MS-COCO 上，不同方法對(duì)準(zhǔn)確目標(biāo)檢測(cè)的效果

　　曠視研究員還在特征金字塔網(wǎng)絡(luò)(ResNet-50 FPN)上進(jìn)行了評(píng)估，如表 6 所示。

　　表 6：FPN ResNet-50 在 MS-COCO 上的表現(xiàn)對(duì)比

　　在PASCAL VOC 2007上的實(shí)驗(yàn)

　　盡管本文是針對(duì)大規(guī)模目標(biāo)檢測(cè)提出了這一方法，但也可將該方法用于更小型的數(shù)據(jù)集。研究者使用 Faster R-CNN 在 PASCAL VOC 2007 上進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集包含約 5000 張 voc_2007_trainval 圖像和 5000 張 voc_2007_test 測(cè)試圖像，涉及 20 個(gè)目標(biāo)類別。所測(cè)試的骨干網(wǎng)絡(luò)為 VGG-CNN-M-1024 和 VGG-16。

　　結(jié)果見表 5，研究員也額外比較了 soft-NMS 和二次無(wú)約束二元優(yōu)化(QUBO)。QUBO 的結(jié)果包含 greedy 求解器和經(jīng)典的 tabu 求解器(二者的懲罰項(xiàng)都經(jīng)過(guò)了人工調(diào)整，以得到更好的性能)。可以看到，QUBO 比標(biāo)準(zhǔn) NMS 要差得多，盡管有研究認(rèn)為其在行人檢測(cè)上效果更好。研究者猜測(cè) QUBO 更擅長(zhǎng)檢測(cè)行人的原因是此時(shí)邊界框遮擋的情況更多。

　　表 5：不同方法在 PASCAL VOC 2007 上的結(jié)果

　　結(jié)論

　　大規(guī)模目標(biāo)檢測(cè)數(shù)據(jù)集中的不確定性可能有礙當(dāng)前最佳目標(biāo)檢測(cè)器的表現(xiàn)。分類置信度并不總是與定位置信度強(qiáng)烈相關(guān)。這篇論文提出了一種全新的帶有不確定性的邊界框回歸損失，可用于學(xué)習(xí)更準(zhǔn)確的目標(biāo)定位。使用 KL 損失進(jìn)行訓(xùn)練，網(wǎng)絡(luò)可學(xué)習(xí)預(yù)測(cè)每個(gè)坐標(biāo)的定位方差。所得到的方差可實(shí)現(xiàn)方差投票，從而優(yōu)化所選擇的邊界框。實(shí)驗(yàn)結(jié)果也表明了這些新方法的有效性。