低碼率高清攝像機(jī)設(shè)計(jì)與實(shí)現(xiàn)

　　碼率低于512kbps的高清攝像機(jī)可以實(shí)現(xiàn)手機(jī)監(jiān)控的高清應(yīng)用，即使不用高清，低碼率也可以降低手機(jī)監(jiān)控的使用成本。為了使高清攝像機(jī)大幅降低碼率，不僅要采用H.264等先進(jìn)的編碼算法，而且要從系統(tǒng)的角度全面考慮，從攝像機(jī)的各個(gè)環(huán)節(jié)降低碼率。

　　1、選擇低噪聲的圖像傳感器

　　圖像傳感器是獲取視頻信號(hào)的源頭，選擇高信噪比的低噪聲傳感器是必須的，這為后續(xù)處理提供了基礎(chǔ)條件。

　　2、注重降噪的圖像處理過程(ISP)

　　清晰而且低噪聲的圖像是獲得低碼率視頻的首要條件, 圖像噪聲混入到圖像細(xì)節(jié)特征中,會(huì)大大增加后續(xù)編碼過程的信息量，從而增加碼流。所以首先要獲取清晰而且低噪聲的圖像，這對(duì)圖像處理過程(ISP)提出了一些要求。ISP主要包括demosaic、濾波、銳化、白平衡、曝光控制、gamma校正等處理過程，其中濾波和銳化處理對(duì)噪聲影響最大。濾波算法很多，我們需要選擇能保持邊緣信息的濾波算法，這樣才不會(huì)降低清晰度;應(yīng)用3D濾波也是一個(gè)不錯(cuò)的選擇，它可以利用到幀間信息。濾波和銳化共同作用的結(jié)果，才能獲得低噪聲的清晰圖像，然后進(jìn)行下一步的視頻編碼處理。

　　3、選擇高壓縮率的視頻編碼器

　　H.264作為一個(gè)成熟的視頻編碼標(biāo)準(zhǔn)，已經(jīng)廣泛使用在網(wǎng)絡(luò)攝像機(jī)中，而且也被智能手機(jī)普遍支持。基于這個(gè)原因，如同其他攝像機(jī)廠商一樣，我們也同樣選擇H.264視頻編碼器來(lái)進(jìn)行視頻編碼。再進(jìn)一步，我們選擇了Main Profile，理由是可以使用B幀和CABAC編碼。這兩個(gè)功能對(duì)降低碼率有很大的作用，B幀可以進(jìn)行雙向預(yù)測(cè)，使得預(yù)測(cè)更加準(zhǔn)確，可以減少碼流;同時(shí)還可以設(shè)置解碼后的B幀不再做為參考幀，這樣就可以把量化造成的誤差局限在本幀范圍內(nèi)而不繼續(xù)擴(kuò)散，因此可以適當(dāng)增大B幀的量化參數(shù)，減少碼流的同時(shí)而不對(duì)視頻質(zhì)量造成明顯損害。相對(duì)于CAVLC編碼，在相同編碼信息源數(shù)據(jù)的情況下，CABAC編碼可以節(jié)約10%左右的碼流，這個(gè)差距足以令CABAC成為我們的不二的選擇。

　　4、優(yōu)化視頻編碼碼流

　　H.264編碼中存在I幀，P幀和B幀。其中I幀是幀內(nèi)預(yù)測(cè)編碼，盡可能實(shí)現(xiàn)全部幀內(nèi)預(yù)測(cè)方式，這樣可以提高預(yù)測(cè)準(zhǔn)確性，減少殘差數(shù)據(jù)量，從而降低碼流。 在一個(gè)GOP中，P幀和B幀的數(shù)量遠(yuǎn)遠(yuǎn)大于I幀，所以這兩種幀編碼是決定視頻碼流大小的主要因素。對(duì)于P幀和B幀編碼，幀間預(yù)測(cè)的準(zhǔn)確性直接決定了殘差信息量，因此必須盡可能提高預(yù)測(cè)準(zhǔn)確性，手段包括增加參考幀和擴(kuò)大搜索范圍;受硬件資源的制約，在攝像機(jī)中實(shí)現(xiàn)全像素搜索是不現(xiàn)實(shí)的，但是搜索點(diǎn)數(shù)太少會(huì)嚴(yán)重影響搜索精度，因此應(yīng)該盡可能增加搜索點(diǎn)數(shù)，獲得高的搜索精度，最后再用1/2像素和1/4像素匹配最佳位置。

　　5、根據(jù)像素信息重要性分配宏塊QP

　　量化參數(shù)QP直接決定了畫面質(zhì)量，同時(shí)對(duì)碼率大小也有極大影響。增加QP,量化誤差增大，畫面細(xì)節(jié)丟失，碼率變小;減小QP則會(huì)產(chǎn)生相反的影響;這就為選擇合適的QP值帶來(lái)困惑。理想的解決方式是：畫面中包含重要信息的部分需要細(xì)節(jié)，這些部分應(yīng)該使用較小的QP值;畫面的其他部分則不需要過多細(xì)節(jié)，這些地方可以使用相對(duì)較大的QP值。通過這種變化QP的方式，可以大大減少畫面中不關(guān)注細(xì)節(jié)部分的編碼碼流，同時(shí)又不會(huì)危害到畫面中的監(jiān)控對(duì)象畫面，這是降低碼流的一個(gè)重要環(huán)節(jié)。

　　6、實(shí)施智能分析

　　智能分析是指對(duì)圖像進(jìn)行分析，主要有兩個(gè)功能：運(yùn)動(dòng)分析和圖像區(qū)域分析。運(yùn)動(dòng)分析是為了獲得視頻中的運(yùn)動(dòng)物體，如人和車輛等物體，分析結(jié)果可以進(jìn)一步用于入侵檢測(cè)等告警規(guī)則;圖像區(qū)域分析是實(shí)現(xiàn)QP分配的基礎(chǔ)條件，分析結(jié)果是獲得運(yùn)動(dòng)區(qū)域和靜止區(qū)域的分布，通常靜止區(qū)域都是一些背景區(qū)域，這些區(qū)域可以在H.264編碼過程中應(yīng)用較大的QP值，達(dá)到減小碼率的目的。

　　7、應(yīng)用碼率智能自適應(yīng)控制

　　3G網(wǎng)絡(luò)的實(shí)時(shí)有效帶寬處于一個(gè)不斷變化的波動(dòng)狀態(tài)，及時(shí)有效地匹配視頻輸出碼率和實(shí)時(shí)可用帶寬，可以提高網(wǎng)絡(luò)傳輸效率，從而在相同條件下為客戶端提供更好質(zhì)量的視頻碼流。網(wǎng)絡(luò)實(shí)時(shí)帶寬是不可預(yù)知因素，考慮到瞬間的帶寬抖動(dòng)不會(huì)對(duì)通信造成實(shí)質(zhì)影響，我們只需要針對(duì)作用時(shí)間較長(zhǎng)的慢速抖動(dòng)進(jìn)行處理，可以預(yù)設(shè)一個(gè)基本帶寬參數(shù)，然后檢測(cè)碼流發(fā)送過程中的TCP的擁塞狀態(tài)，據(jù)此進(jìn)行修正，作為實(shí)時(shí)帶寬的近似值。

　　場(chǎng)景內(nèi)容(包括環(huán)境光線條件)的變化是引起碼率主動(dòng)變化的主要因素，而碼率適應(yīng)過程則是需要?jiǎng)討B(tài)調(diào)整若干參數(shù)，這些參數(shù)包括：視頻幀率、量化參數(shù)QP、視頻濾波強(qiáng)度、圖像銳化強(qiáng)度和圖像分析靈敏度等，分別分布在ISP、智能分析、H.264編碼等多個(gè)處理環(huán)節(jié)。每個(gè)參數(shù)對(duì)碼率的影響不同，需要調(diào)整哪些參數(shù)，以及調(diào)整的幅度，需要一個(gè)比較復(fù)雜的控制策略來(lái)實(shí)現(xiàn)，這個(gè)過程就是碼率智能自適應(yīng)控制。碼率自適應(yīng)控制需要較高的實(shí)時(shí)性;另外，為了保證碼率變化的平滑過渡，參數(shù)調(diào)整過程也需要進(jìn)行漸變過渡，這樣才能獲得較佳的視覺效果。

　　主芯片的選擇

　　目前，網(wǎng)絡(luò)攝像機(jī)基本上都采用單芯片的解決方案，可供選擇的主要包括ASIC和FPGA,傳統(tǒng)高清攝像機(jī)大多采用ASIC芯片廠商提供的攝像機(jī)解決方案，所以這些攝像機(jī)都不能實(shí)現(xiàn)低碼流高清。為了實(shí)現(xiàn)低碼流高清，可采用FPGA方案，該方案具有并行處理機(jī)制能帶來(lái)實(shí)時(shí)性和高性能，而且設(shè)計(jì)靈活，便于實(shí)現(xiàn)低碼率目標(biāo)所需要的全部處理過程。

　　結(jié)束語(yǔ)

　　通過以上分析, 低碼率高清攝像機(jī)在手機(jī)監(jiān)控應(yīng)用有著現(xiàn)實(shí)的意義，技術(shù)上也完全可行。我們已經(jīng)使用單片altera的CYCLONE IV(EP4CE115)作為主芯片，實(shí)現(xiàn)了低碼率高清攝像機(jī)(GlobalEagle)的最大分辨率和幀率是1280×720×25fps，平均碼率小于512Kbps。隨著FPGA工藝的進(jìn)步，F(xiàn)PGA的資源越來(lái)越多，運(yùn)動(dòng)宏塊的預(yù)測(cè)可以做到越來(lái)越準(zhǔn)確，編碼碼流會(huì)越來(lái)越少，下一步我們準(zhǔn)備用CYCLONE V來(lái)實(shí)現(xiàn)1920×1080×25fps的平均碼率小于1024Kbps的低碼率高清攝像機(jī)。