文/吳參毅 浙江宇視科技有限公司首席算法架構(gòu)師

　　引言

　　超高清視頻（Ultra High Definition Video/Ultra HDV/UHDV）視頻不同于傳統(tǒng)的高清視頻（High Definition Video /HDV）或全高清視頻（Full High Definition Video/FHDV）。超高清視頻也不同于傳統(tǒng)意義上的在低照度環(huán)境里，通過相機不同時間的多次曝光而實現(xiàn)的高動態(tài)范圍（High Dynamic Range/HDR），雖然超高清視頻領(lǐng)域也使用了高動態(tài)范圍（HDR）這個術(shù)語，但他們的意義有顯著差異。超高清視頻領(lǐng)域的高動態(tài)范圍HDR是對整個圖像的動態(tài)范圍（）進行擴展，而多次曝光實現(xiàn)的高動態(tài)范圍是在整個圖像的動態(tài)范圍仍然是標準動態(tài)范圍（Standard Dynamic Range/SDR）或者低動態(tài)范圍（Low Dynamic Range/LDR）的前提下，對圖像局部區(qū)域（過暗區(qū)域或者過亮區(qū)域）的對比度進行拉伸的一種技術(shù)。在圖像整體動態(tài)范圍沒有發(fā)生變化，進行局部動態(tài)范圍拉伸雖然看清了部分圖像紋理細節(jié)，但是使得圖像的整體效果感覺不真實，局部動態(tài)范圍這一技術(shù)雖然在數(shù)字攝影領(lǐng)域?qū)崿F(xiàn)了一種蒙太奇的夢幻效果，在對重于現(xiàn)實、還原現(xiàn)實視頻監(jiān)控領(lǐng)域來說并不是什么優(yōu)勢。

　　目前的視頻監(jiān)控應用中存在的兩個弊端就是夜間圖像成像質(zhì)量差，以及夜間車輛大燈等燈光引起的圖像過曝問題。超高清視頻技術(shù)的出現(xiàn)為這些弊端的解決提供了技術(shù)手段。

　　超高清視頻原理

　　由全高清視頻過渡高超高清視頻，不像當年的標清視頻過渡到全高清視頻一樣，只是簡單的圖像分辨率增大，由720x576增大到1920x1080。高清相比于標清，只是擴展；但超高清相比于高清，涉及到5大方面的技術(shù)變化，如圖1所示，可以說是一次真正的技術(shù)革新。這次技術(shù)革新，從目前的發(fā)布的技術(shù)標準來看，可以后向兼容于高清，也可以不后向兼容于高清。

　圖1 超高清涉及的5大技術(shù)革新

　　由圖1所示，超高清在5個維度對現(xiàn)有的高清技術(shù)進行革新。首先是空間分辨率繼續(xù)按照全高清的寬高比（16:9）進行一倍和兩倍的擴展，擴展到4K分辨率和8K分辨率，使得采集和顯示畫面的圖像像素分辨率更大。更大分辨率的圖像可以采集更清晰的圖像質(zhì)量，如圖2所示[4]。更大分辨率的圖像不僅僅需要顯示器更多的像素點，同時對視頻監(jiān)控攝像機來講，也需要更大尺寸更大面積的傳感器靶面，同時又不能降低單個像素點的面積，由此需要對現(xiàn)有高清鏡頭進行升級。

　                                          　圖2 分辨率越大，圖像細節(jié)越清晰

　　在看的更大更清晰的前提下，是對運動畫面看的更連貫，這就需要對幀率進一步提高。在高清視頻支持的25fps/30fps和50fps/60fps的基礎(chǔ)上進一步把幀率提高到100fps/120fps。如圖3所示[4]，幀率越高的場景，可以采集到更多時刻的運動狀態(tài)，所以運動更加平滑和自然。

　
　                                                                 圖3 幀率越高運動越平滑

　                                                      　圖4 色域擴展到BT.2020

　　如圖4所示，在色彩空間方面，全高清使用的是ITU Rec.709（或者BT.709）,對全高清視頻來講，使用更寬的ITU Rec.2020（或者BT.2020）色域，或者更有限的DCI-P3色域。BT.2020使用純波長的基色，而傳統(tǒng)的標清視頻和高清視頻仍然使用基于淘汰的陰極攝像管（CRT）熒光粉的光發(fā)射的原始值。

　　在亮度動態(tài)范圍（Dynamic Range）和傳遞函數(shù)（Transfer Function）方面，傳統(tǒng)的標清視頻和高清視頻的動態(tài)范圍只有100:1，一般的顯示器可以顯示的動態(tài)范圍有1000:1。但是人眼視覺的可以感觀的動態(tài)范圍有1012:1，這一個動態(tài)范圍遠遠大于目前攝像機輸出視頻信號的動態(tài)范圍，如圖5所示，但是新的超高清使用高動態(tài)范圍可以達到105:1，甚至更高。

　　所以目前在電視機或者視頻監(jiān)視器上觀看的視頻大都不具有身臨其境的真實感，原因之一就是圖像在采集的時候為了使用傳統(tǒng)的標準動態(tài)范圍或者低動態(tài)范圍，人為的對動態(tài)范圍進行壓縮，失去了真實性。現(xiàn)在隨著視頻圖像顯示和成像處理技術(shù)的發(fā)展，尤其是陰極攝像管顯示器的淘汰，原來基于陰極攝像管顯示而制定的許多顯示成像技術(shù)和標準都需要進行改進。

　                                           　圖5 各種動態(tài)范圍對比

　　這里所說的動態(tài)范圍，對顯示器來說指的是其能夠顯示的最亮亮度和最暗亮度的比值。對成像攝像機來說，可以說是其傳感器或者其ISP輸出的數(shù)字圖像中可以采集到的最高亮度和最暗亮度的比值。由此可見，對于不同的顯示器，即便是具有相同的動態(tài)范圍，由于發(fā)光材料和技術(shù)等原因，其能夠顯示的最亮亮度或者最暗黑色會有差異，隨意具有同樣動態(tài)范圍的一幅圖像顯示效果會有差異。所以說，所謂的動態(tài)范圍，其本質(zhì)是指圖像能夠顯示出來的亮度（或者灰度）的差異能力，如圖6所示[4]。同樣對負責圖像采集的視頻監(jiān)控攝像機也是如此。只有攝像機的圖像傳感器和數(shù)字圖像處理模塊首先能夠采集到高動態(tài)范圍的圖像，才有可能在高動態(tài)范圍的顯示器上顯示出高動態(tài)范圍圖像效果。

　                                                 　圖6 標準動態(tài)范圍和高動態(tài)范圍對比

　　僅僅使用傳統(tǒng)的8比特的數(shù)字圖像像素位寬，已經(jīng)沒有能力量化高動態(tài)范圍亮度和寬色域的顏色空間，所以必須對攝像機內(nèi)部傳感器的模擬數(shù)字轉(zhuǎn)換（ADC）開始，就需要高位寬的數(shù)字化，以及后續(xù)的圖像信號處理（Image Signal Process）或者相機圖像像素處理流水線（Camera Image Pixel Pipeline）中的各個處理模塊以及其輸出給圖像視頻編碼器數(shù)字圖像信號，同時視頻編解碼內(nèi)部，圖像編解碼內(nèi)部，以及視頻圖像解碼器輸出，都必須是高位寬像素值。根據(jù)短木板水桶理論，從采集成像端到顯示端的整個過程中，有一個模塊的處理像素位寬還是采用8比特，將導致整個系統(tǒng)不再是超高清的。

　　采用高位寬對圖像信號進行采集、編解碼和顯示，能夠表示更加豐富的顏色信息以及更高的亮度動態(tài)范圍，如圖7和圖8所示[4]。樣點位寬越高，亮度間的梯度階躍越不明顯，表示的顏色的細節(jié)量越豐富，顏色直接過渡越自然。并且能夠表示更黑的黑色中的紋理細節(jié)以及更亮的亮度中細節(jié)紋理。

　                                        　圖7 高位寬像素點沒有顏色階躍變化

　                                　圖8 8比特、10比特、12比特位寬精度對比

　　伴隨著超高清視頻中的寬動態(tài)和高位寬色域，還必須使用新的傳遞函數(shù)（Transfer Function）。數(shù)字圖像的目標是在顯示器上精確的重構(gòu)場景的相對亮度。場景中的絕對亮度值是不可能重構(gòu)的。人眼只對場景中的相對亮度值比較敏感。所以在舊式的陰極攝像管CRT中，由于熒光粉的發(fā)光特性，熒光粉發(fā)出的亮度值和電壓值的γ（γ≈2.5）次方成正比，所以攝像機被設(shè)計的輸出電壓值正比于場景亮度值的1/γ次方。在現(xiàn)有的標清電視、高清電視，以及適用于標清、高清圖像顯示和圖像采集的流程中仍然使用這樣的伽馬（gamma）以及伽馬校正（gamma correction）。隨著陰極攝像管顯示技術(shù)推出歷史舞臺，相應的技術(shù)以及標準（BT.709）已經(jīng)不再適用于新顯示技術(shù)以及新編解碼和采集技術(shù)的發(fā)展。

　　所以在超高清視頻中采用了新的傳遞函數(shù)曲線。如圖9所示[3]，對超高清顯示有兩種電光轉(zhuǎn)換函數(shù)（EOTF），同樣的對超高清視頻采集，也就有兩種對應的逆電光轉(zhuǎn)換函數(shù)（inverse EOTF），或者成為光電轉(zhuǎn)換函數(shù)（OETF），如圖10和11所示。

　　圖9 三種EOTF對比（gamma、HLG、PQ）

　　圖10 HLG OETF（線性光轉(zhuǎn)換為非線性光）

　　圖 11 PQ OETF（線性光轉(zhuǎn)換為非線性光）

　　BBC建議的混合對數(shù)伽馬（Hybrid Log Gamma /HLG）曲線EOTF被標準化為 ARIB STD-B67，杜比視覺（Dolby Vision）建議的感知量化（Perceptual Quantization）曲線EOTF被標準華為SMPTE ST.2084。由圖9所示，HLG曲線支持后向兼容標準動態(tài)范圍SDR，PQ曲線不能后向兼容標準動態(tài)范圍SDR。HLG曲線能夠?qū)Ρ硎靖蟮牧炼戎?，但是表示的暗度值和標準動態(tài)范圍一樣。PQ曲線表示的最高亮度值比標準動態(tài)范圍和HLG更大，同時能對更黑的暗度值進行編碼。

　　對著兩種傳遞函數(shù)最終視頻監(jiān)控領(lǐng)域最終會采用哪種，還是兩者會并行出現(xiàn)，現(xiàn)在還無法判斷。但可以肯定的是，上下游芯片廠家都已經(jīng)磨刀霍霍了，詳細不久的將來會掀開面紗。

　　圖12 SDR（gamma曲線）和HDR（PQ曲線）亮度動態(tài)范圍以及數(shù)字編碼值對比

　　由圖12可見，傳統(tǒng)的標準動態(tài)范圍使用傳統(tǒng)的gamma曲線，8比特數(shù)字化后的數(shù)字范圍為[16,235]。PQ曲線的寬動態(tài)超高清視頻采用10比特數(shù)字化后的數(shù)字范圍為[64,940]。由圖可見，PQ曲線對更亮的亮度區(qū)域以及更暗的黑度區(qū)域進行數(shù)字編碼，帶來顯著的亮度范圍提升，能夠表示的亮度范圍為[0.0005,10000]尼特（或cd/m2）。

　　超高清視頻顯示

　　由前面的HLG曲線或PQ曲線可知，目前的只支持BT.709的傳統(tǒng)的gamma曲線的EOTF的顯示是無法重構(gòu)真正的超高清視頻圖像的，雖然超高清視頻圖像通過HDR到SDR轉(zhuǎn)換可以在標準動態(tài)范圍SDR的顯示器上顯示，但是已經(jīng)失去了超高清視頻所展示的逼真感以及身臨其境感。所以要想真正的體驗超高清帶來的震撼效果，必須使用新型的支持超高清的電視機或者顯示器，即經(jīng)過超高清聯(lián)盟（UHD Alliance[1]）發(fā)布的超高清超級（Ultra HD PremiumTM）認證的才可以重構(gòu)超高清的效果。

　　超高清顯示屏必須使用LED背光加LCD屏進行組合[4]（比如OLED屏），如圖13所示，得到真正的超高清效果。

　　圖13 超高清顯示（OLED顯示屏）

　　對于傳統(tǒng)的標準動態(tài)范圍的屏幕需要進行色調(diào)映射（tone mapping）創(chuàng)建出低動態(tài)范圍圖像進行顯示。

　　超高清視頻采集

　　對于超高清攝像機成像來說，傳統(tǒng)的傳感器sensor仍然實現(xiàn)線性光照度到線性電壓的轉(zhuǎn)換，但是在相機圖像像素處理流水中（Camera Image Pixel Pipeline）中，至少把其中的gamma校正換成HLG曲線或者PQ映射曲線。同時輸出給編碼器（比如HEVC/H.265或AVC/H.264）的視頻信號必須至少是10比特位寬。

　　浙江宇視科技有限公司的型號為HIC5681-L-U 的4K超高清槍機，型號為HIC6881-X22IR的4K超高清紅外球機，型號為HIC8681F-V 的4K超高清防暴魚眼半球，型號為HIC8681F-VIR的4K超高清紅外防暴魚眼半球，均已經(jīng)支持超高清的4K分辨率如圖14所示，同時也可以輸出高比特位寬的圖像以及高動態(tài)范圍圖像。

　　圖 14浙江宇視科技有限公司的4K系列各種款型IPC

　　超高清視頻編解碼

　　超高清視頻編解碼器最好使用HEVC（又稱為H.265），HEVC標準已經(jīng)為高動態(tài)范圍和寬色域的視頻圖像編解碼，吸納了多種算法，并對標準進行了多項擴展，如圖15所示[5]。要想使用HEVC對超高清視頻進行編碼，首先需要一個預編碼處理過程（pre-encoding processes），如圖16所示。

　　圖15 HEVC中的HDR/WCG Y¢CbCr 4:2:0視頻使用PQ曲線的編碼實踐

　　圖16 預處理過程

　　預處理過程實現(xiàn)把線性光照得到的4:4:4格式的RGB信號轉(zhuǎn)換按照PQ曲線，并線性RGB信號轉(zhuǎn)化為非線性的亮度信號Y’，已經(jīng)兩個色差信號Cb和Cr。其中的色度信號求取公式符合標準ST.2084。求取得到的非線性亮度信號和色度信號的位寬為10比特。

　　圖17 后處理過程

　　后處理過程是預處理過程的反過程。即把非線性亮度信號和色度信號按照ST.2084中的規(guī)定，求出線性的RGB信號。如圖17所示。

　　預處理和后處理過程之間的視頻編碼和解碼過程至少采用HEVC Main 10 Profile,圖片編碼至少采用HEVC Main 10 still Profile。當然視頻編解碼也可以采用AVC高位寬profile，圖片編解碼也可以采用JPEG標準系列中的JPEG XR或者JPEG XT。

　　由于超高清視頻標準有兩種標準，所以除了視頻碼流之外，還需要傳送給解碼和顯示端一些元數(shù)據(jù)（Metadata）信息，關(guān)于metadata信息的傳輸，可以在帶外傳輸，也可以采用HEVC碼流中的SEI語法元素傳輸。

　　上述以ST.2084標準中的PQ曲線為了說明了視頻和圖片的編解碼流程。當然也可以采用HLG曲線進行視頻圖片編解碼。如圖18所示[2]，對同一個超高清源，可以采用PQ曲線進行OETF和EOTF變換（合起來稱為OOTF）以及編解碼，也可以采用HLG曲線進行進行OETF和EOTF變換以及編解碼。

　　圖 18 超高清采用PQ曲線編解碼或HLG曲線編解碼

　　對于采用HLG曲線進行超高清顯示的屏幕，同時視頻圖像采用PQ曲線編碼的超高清視頻碼流，在顯示之前需要進行PQ曲線到HLG曲線的轉(zhuǎn)換，如圖19所示[2]。

　　圖 19 PQ曲線轉(zhuǎn)換為HLG曲線后再顯示

　　對超高清源視頻并使用HLG曲線進行視頻圖像編碼的，同時顯示設(shè)備只兼容傳統(tǒng)的標準動態(tài)范圍，在標準動態(tài)范圍顯示設(shè)備上顯示之前，需要把超高清視頻圖像的動態(tài)范圍按照色調(diào)映射（BT.1886）轉(zhuǎn)換為標準動態(tài)范圍再顯示，如圖20所示[2]。這樣雖然高動態(tài)范圍的顯示器和標準動態(tài)范圍的顯示的動態(tài)范圍雖然不同，但是在主觀感觀上類似，不至于有很大的差異性。

　　但對于輸入源為標準動態(tài)范圍，而編解碼器是HLG曲線或者PQ曲線的情況，在編碼之前，需要按照色調(diào)映射關(guān)系，把標準動態(tài)范圍SDR視頻圖像轉(zhuǎn)換為高動態(tài)范圍HDR視頻圖像。

　　圖20 HDR轉(zhuǎn)換為SDR

　　浙江宇視科技有限公司的大屏顯示控制器系列的A8 視頻綜合平臺分為A8004和A8006兩種型號，均已經(jīng)支持超高清4K（Ultra HD 4k）,如圖21所示，后續(xù)發(fā)布的款型必將支持超高清的高動態(tài)范圍以及寬色域等各種技術(shù)。

　　圖21 浙江宇視科技有限公司的A8系列大屏顯空綜合平臺

　　總結(jié)

　　綜上所述，超高清相關(guān)的各個技術(shù)環(huán)節(jié)，從采集成像、視頻編碼解碼、圖像編碼解碼，傳輸、顯示、高動態(tài)范圍和標準動態(tài)范圍在采集端的相互轉(zhuǎn)換，以及在顯示端的相互轉(zhuǎn)換，這些環(huán)節(jié)的技術(shù)都已經(jīng)有了成熟方案，并逐步形成國際標準，同時超高清產(chǎn)業(yè)聯(lián)盟[1]內(nèi)部（視頻監(jiān)控上游芯片廠家海思也是其成員）的不少廠商都已經(jīng)推出兼容“超高級超級”（Ultra HD Premium™，如圖22

　　所示）的產(chǎn)品。同時美國消費電子協(xié)會（Consumer Electronics Association）也已經(jīng)定義了“高動態(tài)兼容（HDR Compatible）”顯示的技術(shù)標準。所以說超高清技術(shù)，已經(jīng)非常成熟，即將進入各個應用領(lǐng)域，尤其是視頻監(jiān)控領(lǐng)域，超高清大幕即將拉開！

　　圖 22 超高級超級logo

　　參考

　　[1] http://www.uhdalliance.org/

　　[2] Andrew Cotton & Matteo Naccari,BBC R&D, “Hybrid Log-Gamma HDR, Update for MPEG’s HDR/WCG AHG Vancouver Meeting”, January 2016

　　[3] http://www.mysterybox.us/blog/2016/10/18/hdr-video-part-1-what-is-hdr-video

　　[4] https://sites.google.com/site/marclevoylectures/schedule

　　[5] Jonatan Samuelsson，“Conversion and Coding Practices for HDR/WCG Video, Draft 1”, JCTVC-W1017, San Diego, USA, 19–26 February 2016

　　[6] onatan Samuelsson, Chad Fogg , Andrey Norkin, Andrew Segall, Jacob Ström, Gary Sullivan, Pankaj Topiwala, Alexis Tourapis, “Conversion and Coding Practices for HDR/WCG Y′CbCr 4:2:0 Video with PQ Transfer Characteristics (Draft 3)”, JCTVC-Y1017, 25th Meeting: Chengdu, 14–21 October 2016