在前文中,向大家介紹了已經(jīng)發(fā)展成熟的視頻編解碼技術標準,這期,接著介紹目前正在發(fā)展中的視頻編解碼技術標準及其未來的發(fā)展趨勢,希望大家喜歡。
文/董春利
正在發(fā)展的視頻編解碼技術標準
H.264/AVC視頻編解碼技術與標準
H.264/AVC挾著前輩MPEG-4 的余威,打著世界第一的旗號,在近幾年狂掃整個視頻編解碼界,廣泛被 3GPP、DVB、HD-DVD 與 藍光 DVD所接受。
H.264/AVC是ITU-T Video Coding Experts Group (VCEG)與ISO/IEC Moving Picture Experts Group (MPEG)共同組成的Joint Video Team (JVT) 所制定的視頻壓縮標準。
JVT制訂H.264/AVC視頻壓縮標準的主要目標在發(fā)展一套高效能、具有網(wǎng)絡親和性 (network-friendly) 及具有抗誤性 (error resilience) 能力的視頻壓縮技術,并且大幅改進壓縮率,使得相較于MPEG-2、H.263或MPEG-4 Advanced Simple Profile視頻壓縮標準,在相似的視頻壓縮質(zhì)量下可節(jié)省約50%以上的位率 (壓縮率比MPEG-2 高約2.25-2.5倍;比MPEG-4 ASP 高約 1.6-2倍) 。
H.264/AVC 不只相當有效率,將超高質(zhì)量的視頻以較小的檔案儲存,它同時也具有相當?shù)难诱剐?,能夠制作出各式用途的視頻影片,包括手機上使用的 3G 標準以及高分辨率(HD)視頻等等。H.264/AVC 可制作出相當賞心悅目,50-160 Kbps 的 3G 手機影片, 800-1500 Kbps 的標準分辨率(SD)視頻影片,5-7 Mbps 的優(yōu)質(zhì) HD 視頻(1280x720),以及7-9 Mbps 的 full HD 視頻(1920x1080)。以今日以MPEG-2為主的SD DVD 為例,H.264/AVC 可以相對制作出 full HD 的視頻。
雖然H.264/AVC之壓縮效能遠較于先前之視頻壓縮標準為高,但由于其具有相當復雜之編碼技術及模式選擇,使得其運算復雜度也遠高于先前之壓縮標準。根據(jù)JVT會議文件之評估,H.264/AVC相較于MPEG-4 Part 2,其編碼器復雜度約為10倍以上,而譯碼器復雜度則為3倍以上。
如此高之復雜度將使得H.264/AVC難以使用在具有實時需求之應用上。因此如何在不犧牲H.264/AVC之壓縮效能之前提下,降低其運算復雜度使其適于實用化之程度,為目前相當重要之研究方向。此外如何根據(jù)網(wǎng)絡視頻流應用之特點,善加使用
H.264/AVC之各種編碼工具及找出最佳之編碼模式組合,以發(fā)揮其最大效能,也值得加以研究。
在業(yè)界動態(tài)方面,蘋果計算機已將 H.264/AVC 直接整合在 QuickTime播放器中,同時也有數(shù)家公司提供H.264/AVC的芯片,預料不久,就可以看到內(nèi)建 H.264/AVC 的手機、 SET-TOP Box、DVD 播放機等設備了。
AVS視頻編解碼技術與標準
AVS標準簡介
世界各國對重要標準的選擇,都是基于本國或本地區(qū)產(chǎn)業(yè)利益的。對于數(shù)字音視頻,各國對信源編碼標準的選擇是有所不同的。我國在選擇數(shù)字音視頻標準時,更應該發(fā)揮后發(fā)優(yōu)勢,選擇有利于產(chǎn)業(yè)全面發(fā)展、有利于形成具有國際影響的音視頻編碼標準,AVS正是這樣一個標準。
中國作為一個消費電子產(chǎn)品的生產(chǎn)和消費大國,完全應該利用可以自主控制的技術形成自主信源編碼標準。更重要的是,MPEG-2標準完成于1994年,近10年技術不斷進步,MPEG-2技術已經(jīng)落后,新的編碼技術可以提高一倍或更高的壓縮效率。國際上在研究制定新的國際標準MPEG-4AVC/H.264,我國的科研機構積極參與了制定并做出了一定的貢獻。同時,組織制定我國自主知識產(chǎn)權的音視頻編碼壓縮標準AVS。
AVS-視頻當中具有特征性的核心技術包括:8x8整數(shù)變換、量化、幀內(nèi)預測、1/4精度像素插值、特殊的幀間預測運動補償、二維熵編碼、去塊效應環(huán)內(nèi)濾波等。
AVS 的核心技術
1、變換量化:AVS的8x8變換與量化可以在16位處理器上無失配地實現(xiàn),從而克服了MPEG-4 AVC/ H.264之前所有視頻壓縮編碼國際標準中采用的8x8 DCT變換存在失配的固有問題。而MPEG-4 AVC/ H.264所采用的4x4整數(shù)變換在高分辨率的視頻圖像上的去相關性能不及8x8的變換有效。AVS采用了64級量化,可以完全適應不同的應用和業(yè)務對碼率和質(zhì)量的要求。在解決了16位實現(xiàn)的問題后,目前AVS所采用的8x8變換與量化方案,即適合于16位DSP或其他軟件方式的快速實現(xiàn),也適合于ASIC的優(yōu)化實現(xiàn)。
2、幀內(nèi)預測:AVS的幀內(nèi)預測技術沿襲了MPEG-4 AVC/ H.264幀內(nèi)預測的思路,用相鄰塊的像素預測當前塊,采用代表空間域紋理方向的多種預測模式。但AVS亮度和色度幀內(nèi)預測都是以8x8塊為單位的。亮度塊采用5種預測模式,色度塊采用4種預測模式,而這4種模式中又有3種和亮度塊的預測模式相同。在編碼質(zhì)量相當?shù)那疤嵯拢珹VS采用較少的預測模式,使方案更加簡潔、實現(xiàn)的復雜度大為降低。
3、幀間預測:幀間運動補償編碼是混合編碼技術框架中最重要的部分之一。AVS標準采用了16×16,16×8,8×16和8×8的塊模式進行運動補償,而去除了MPEG-4 AVC/ H.264標準中的8×4,4×8,4×4的塊模式,目的是能更好地刻畫物體運動,提高運動搜索的準確性。實驗表明,對于高分辨率視頻,AVS選用的塊模式已經(jīng)能足夠精細地表達物體的運動。較少的塊模式,能降低運動矢量和塊模式傳輸?shù)拈_銷,從而提高壓縮效率、降低編解碼實現(xiàn)的復雜度。
4、1/4精度像素插值:AVS和MPEG-4 AVC/ H.264都采用了1/4像素精度的運動補償技術。MPEG-4 AVC/ H.264采用6抽頭濾波器進行半像素插值并采用雙線性濾波器進行1/4像素插值。而AVS采用了不同的4抽頭濾波器進行半像素插值和1/4像素插值,在不降低性能的情況下減少插值所需要的參考像素點,減小了數(shù)據(jù)存取帶寬需求,這在高分辨率視頻壓縮應用中是非常有意義的。
5、特殊的幀間預測運動補償:在傳統(tǒng)的視頻編碼標準(MPEG-x系列與H.26x系列)中,雙向預測幀B幀都只有一個前向參考幀與一個后向參考幀,而前向預測幀P 幀則只有一個前向參考幀。而新近的MPEG-4 AVC/ H.264充分地利用圖片之間的時域相關性,允許P幀和B幀有多個參考幀,最多可以有31個參考幀。多幀參考技術在提高壓縮效率的同時也將極大地增加存儲空間與數(shù)據(jù)存取的開銷。AVS中P幀可以利用至多2幀的前向參考幀,而B幀采用前后各一個參考幀,P幀與B幀(包括后向參考幀)的參考幀數(shù)相同,其參考幀存儲空間與數(shù)據(jù)存取的開銷并不比傳統(tǒng)視頻編碼的標準大,而恰恰是充分利用了必須預留的資源。
AVS的B幀的雙向預測使用了直接模式(direct mode)、對稱模式(symmetric mode)和跳過模式(skip mode)。使用對稱模式時,碼流只需要傳送前向運動矢量,后向運動矢量可由前向運動矢量導出,從而節(jié)省后向運動矢量的編碼開銷。對于直接模式,當前塊的前、后向運動矢量都是由后向參考圖像相應位置塊的運動矢量導出,無需傳輸運動矢量,因此也可以節(jié)省運動矢量的編碼開銷。跳過模式的運動矢量的導出方法和直接模式的相同,跳過模式編碼的塊,其運動補償?shù)臍埐钜簿鶠榱?,即該模式下宏塊只需要傳輸模式信號,而不需要傳輸運動矢量、補償殘差等附加信息。
6、熵編碼:AVS熵編碼采用自適應變長編碼技術。在AVS熵編碼過程中,所有的語法元素和殘差數(shù)據(jù)都是以指數(shù)哥倫布碼的形式映射成二進制比特流。采用指數(shù)哥倫布碼的優(yōu)勢在于:一方面,它的硬件復雜度比較低,可以根據(jù)閉合公式解析碼字,無需查表;另一方面,它可以根據(jù)編碼元素的概率分布靈活地確定以k階指數(shù)哥倫布碼編碼,如果k選得恰當,則編碼效率可以逼近信息熵。
對預測殘差的塊變換系數(shù),經(jīng)掃描形成(level、run)對串,level、run不是獨立事件,而存在著很強的相關性,在AVS中l(wèi)evel、run采用二維聯(lián)合編碼,并根據(jù)當前l(fā)evel、run的不同概率分布趨勢,自適應改變指數(shù)哥倫布碼的階數(shù)。
AVS的標準名是中國數(shù)字音視頻編解碼技術標準。
Nancy Codec視頻編解碼技術標準
目前視頻領域所采用的壓縮技術大都是屬于類似 MPEG系列的技術。雖然MPEG-4或H.264/AVC已經(jīng)獲得較高的壓縮比,但想在2.5G甚至2G移動通信網(wǎng)路上采用這種壓縮方式實現(xiàn)視頻傳送還是比較困難,所以在一般情況下,移動通信的視頻服務主要是鎖定在3G普及后才會提供的服務。然而若能馬上在2G或2.5G網(wǎng)絡上提供視頻服務,將可為電信業(yè)者帶來巨大的利益,也將使移動用戶享受更多更豐富的移動服務。Nancy Codec技術正是為此目的而開發(fā)。
Nancy Codec 主要是由日本 Office Noa公司所研發(fā)之成果,目前采用該技術的,除日本J-Phone與NTT DoCoMo外,還有中國移動通信公司在內(nèi)的亞洲及歐美各大電信業(yè)者,則尚在測試或研究采用的階段。傳統(tǒng)的視頻壓縮,需要一個高速的 CPU或一個專用的處理芯片,不僅占空間,而且還會增加耗電量。相對來說,像 Nancy Codec 這樣的軟件解決方案,則不必要有高速 CPU或?qū)S锰幚硇酒虼四軌蚪鉀Q移動通訊市場對于具備視頻處理功能之移動化設備的需求。
Nancy Codec 主要系利用 SMSP(Structure Meta Sale Polygon)的觀念所獨立開發(fā)的技術,其原理是將行動影像分割成許多不同形狀和尺寸的模型,然后進行壓縮,因采用全新的簡易四則運算法則,不需要進行移動偵測(Motion Estimation)與離散余弦轉(zhuǎn)換(DCT) ,所以運算量小、傳輸速率快。
Nancy Codec是具有相當優(yōu)勢的一種壓縮技術,因為Nancy Codec是以軟件實現(xiàn)視頻壓縮,所以硬件處理能力只需MPEG4的10%,而運算速度又比MPEG4快1倍,壓縮率又為MPEG4的十分之一,因此利用現(xiàn)有移動通信網(wǎng)路即可傳送視頻。目前已有多家公司推出支持 Nancy Codec的DSP芯片,包括德州儀器、愛普生等。另外背后還有眾多電信業(yè)者的支持,包括日本 J-phone和中國移動等。然而雖然Nancy Codec在發(fā)展應用方面確實具有優(yōu)勢,但它也存在一些問題:由于日本OFFICE NOA公司獨家擁有這項技術,因此在技術上不可能很開放,所以并不利于該技術進一步的發(fā)展,另一方面,有可能因為各方利益沖突而造成推廣應用上的困難。
AAC+視頻編解碼技術標準
由于APPLE iPod的帶動風潮,MP3與MPEG-4 AAC(Advanced Audio Coding)已成為數(shù)字音樂界的天王巨星。這幾年MPEG組織又再接再厲,完成了 MPEG-4 High-Efficiency AAC , 也就是俗稱的AAC+的最終規(guī)格。AAC+大約相當于AAC兩倍的壓縮率,還能夠保證高音質(zhì)呈現(xiàn)。 在AAC +中主要組合了MPEG-4 AAC以及由Coding Technologies所開發(fā)的SBR (Spectral Band Replication)技術。SBR擴大了播放頻寬,能夠以AAC一半的壓縮率重現(xiàn)同等音質(zhì)。例如使用AAC+只要128Kbps就能有5.1多聲道音質(zhì);只要48Kbps就能有相當于CD的音質(zhì);只要32Kbps就能有立體聲音質(zhì)。另外SBR技術可以與多種壓縮技術組合 ,例如SBR技術與MP3組合就形成了所謂的MP3 Pro技術 。在英國,Siemens推出搭配無線音樂下載服務的音樂播放器,稱為DRM Music Player,已支持AAC +作為下載的音樂格式,同時隨機附送了64MB SD 記憶卡,若以 AAC + 作為音樂格式,最多可儲存約 64首歌曲。
未來的視頻編解碼技術趨勢
Scalable Coding視頻編解碼技術標準
在因特網(wǎng)、無線網(wǎng)絡與異質(zhì)網(wǎng)絡的環(huán)境下,頻寬變動往往會造成視頻數(shù)據(jù)無法傳送 (頻寬太小)或頻寬浪費的情況(頻寬大但傳送數(shù)據(jù)少造成畫面質(zhì)量差)。
目前的解決方式是預先備妥各種頻寬速率的數(shù)據(jù),根據(jù)網(wǎng)絡的情況再作動態(tài)的調(diào)整。但因為每一個影片都需要數(shù)個備份,這種方式會造成儲存資源的浪費。新一代的壓縮技術開始考慮采用可調(diào)式壓縮(scalable coding)的方式,希望能有效對抗頻寬變動的問題。 此技術主要特色是達到encode once,decode many times的目標。最高的理想是,只需一種壓縮編碼,就可以應付不同的頻寬使用者,且視頻質(zhì)量則因頻寬不同,而有不同的對應質(zhì)量,使用者在收看網(wǎng)絡視頻節(jié)目時,可擺脫因頻寬變動所造成的畫面暫停、破損、甚至無法收看的窘境。
在MPEG-4 2002 修正版 (ISO/IEC 14496-2:2001/Amd 2:2002)中的Streaming Video Profile 就增加了FGS (Fine Granularity Scalability)的可調(diào)式視頻壓縮標準,F(xiàn)GS采用位平面編碼(Bit-plane Coding),所產(chǎn)生的加強層(enhancement layer)比特流可以在任意位置作切割,具有良好適應頻寬的能力與最細微的可調(diào)分辨率,并能抵抗因特網(wǎng)上封包遺失的問題。不同使用者可依照頻寬與本身譯碼器的運算能力,選擇適當?shù)臄?shù)據(jù)量來譯碼,希望達到有多少頻寬就擁有多少質(zhì)量的目標。
然而這幾年FGS在產(chǎn)業(yè)界的發(fā)展并不十分理想,主要原因是該方法過于強調(diào) 可調(diào)式的彈性卻造成視頻質(zhì)量普遍不佳,因此無法取代現(xiàn)有非 可調(diào)式壓縮標準的地位。然而追求 可調(diào)式壓縮的努力一直持續(xù),只是戰(zhàn)場轉(zhuǎn)到了MPEG-21的標準制定會議中,目前scalable coding 仍在MPEG-21制定中,約在年內(nèi)會完成制定。
Universal Codec視頻編解碼技術標準
從上述的描述可以發(fā)現(xiàn)目前存在的壓縮技術相當多,幾乎到了泛濫的程度 。然而 到目前為止,所有壓縮標準的架構都差不多,在觀念上,應該可以設計一個“universal codec”,能同時支持MPEG-1/2/4、H.264/AVC、WMV-9、AVS等壓縮標準。
因此在MPEG第69次會議(2004/7)明確研擬制定universal codec標準的計劃,希望能設計支持多重壓縮標準的泛型單一編碼,并預留產(chǎn)業(yè)客制化與最佳化的空間,以提供有別于微軟Windows Media Platform的另一解決方案(MPEG真的將微軟視為主要的對手)。該計劃如果施行順利 ,不論對IC設計公司或系統(tǒng)廠商都是一大利多,因為不用再為不同的壓縮方式傷腦筋,而且許多開發(fā)過的組件也都可以重復使用。