幀間差分法
    幀間差分法又稱圖像序列差分法。當監(jiān)控場景中出現(xiàn)運動物體時，幀與幀之間會出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像對應像素點亮度值差的絕對值，通過判斷它是否大于閾值，來分析視頻或圖像序列的運動特性，以確定圖像序列中有無物體運動。圖像序列逐幀地差分，相當于對圖像序列進行了時域上的高通濾波。相鄰幀圖像的差分表達式為：

    式中為第i幀的亮度分量；為第i-1幀的亮度分量，d為相鄰兩幀圖像對應像素點亮度差值的絕對值。那相鄰幀差圖為： 

    式中T為相鄰圖像差分比較閾值，為差分圖像中對應像素點的亮度值。

 
    幀間差分法的優(yōu)點主要有：算法實現(xiàn)簡單，程序設計復雜度低；對光線等場景變化不太敏感，能夠適應各種動態(tài)環(huán)境，穩(wěn)定性較好。

    其缺點主要有：不能提取出對象的完整區(qū)域，只能提取出邊界；對快速運動的物體，需要選擇較小的時間間隔，如果選擇不合適，物體在前后兩幀中沒有重迭時，會被檢測為兩個分開的物體；而對慢速運動的物體，應該選擇較大的時間間隔，如果此時選擇不適當，當物體在前后兩幀中幾乎完全重迭，則檢測不到物體。

    除了最簡單的逐像素相減，差分圖像還可以由兩組屬于相鄰圖像幀的像素(如相鄰的四個元素、八個元素)的均值相減得到。

視頻檢測總體流程
    視頻檢測總體流程如圖1所示。

[nextpage]

檢測帶設置
    視頻圖像所包含的路口信息豐富、情況復雜，而對檢測車輛闖紅燈違法行為有用的信息在整個圖像中所占的比例不是很大。因此，沒有必要對整幅圖像進行處理來獲得檢測信息。同時，如果對整幅圖像進行處理所產(chǎn)生較大的計算量，不利于電子警察嵌入式系統(tǒng)的穩(wěn)定運行，不利于滿足系統(tǒng)的實時性要求。本文根據(jù)視頻圖像中實際車輛運行方向，按車道數(shù)目分別截取一定寬度、高度的矩形圖像區(qū)域，作為車輛違法檢測帶，并通過對檢測帶圖像進行處理，對處理結果進行信息提取，最后做出車輛是否為違法行駛的判斷，達到檢測車輛違法行為的目的。檢測帶的位置和大小可以根據(jù)需要調(diào)整，以適應道路路口車輛檢測的實際情況。

1、檢測帶位置
    檢測帶位置的設置應該考慮以下因素：

    由于現(xiàn)有電子警察系統(tǒng)的攝像頭安裝位置及攝像角度等原因（如圖2所示），在視頻圖像中，當車輛停在停車線范圍內(nèi)時，車身會遮擋停車線及停車線前很大一片區(qū)域。同時，由于車輛種類不同，車身高度也不一樣，在視頻中遮擋的區(qū)域大小也不一樣。因此，檢測帶位置的設置必須根據(jù)不同路口、不同的攝像機架設位置及多數(shù)車輛車身高度，來作為設置檢測帶位置的參考，以避免在停車線范圍內(nèi)運動或靜止的車輛出現(xiàn)在檢測帶圖像中。

    檢測帶的設置應該盡量避免人流量較多的區(qū)域，如人行橫道線等，盡量減少因為行人進入檢測帶而造成的對檢測結果的影響。在本文所采用的路口視頻圖像中，有的車輛車身較高，即使該車輛停止在停車線范圍內(nèi)，也會遮擋住人行橫道線區(qū)域。綜合參考以上設置檢測帶位置的條件，并根據(jù)視頻圖像中路口實際情況，我們將檢測帶設置在人行橫道線離攝像頭遠端的位置，如圖3所示。

 
2、檢測帶大小
    檢測帶的寬度是根據(jù)視頻圖像中車道大小而定的，如同一個車輛行駛方向上有多個車道，而每個車道的交通信號控制不盡相同，因此需要按不同車道實行車輛的視頻檢測。在圖3中，同一個車輛行駛方向上有兩個車道，因此需要設置兩條檢測帶。在本視頻圖像中，檢測帶的寬度為70~75個像素點。檢測帶高度的設定，要考慮以下幾方面的因素：
·考慮到圖像處理時系統(tǒng)計算的數(shù)據(jù)量盡量少；
·當一車尾隨另一車雙雙闖紅燈時，檢測帶盡量能夠檢測出兩車之間的無車區(qū)域，從而判別出是兩輛車有違法行為，對兩輛車進行抓拍取證；
·如檢測帶高度太小，對車輛特征包含不夠，會造成車輛駛?cè)霗z測帶后，相鄰兩幅圖像差分無明顯結果，而無法判斷車輛是否還在檢測帶中的情況。

 
    綜合上面的因素，并做了大量的觀察和實驗，本文設定檢測帶的高度為1520個像素。

[nextpage]
圖像差分法
    幀間差分法就是將輸入連續(xù)的相鄰兩幀圖像在空域中進行差分，它是當前圖像中的像素的灰度值減去前一幀圖像對應像素的灰度值，若差值少于某一個閾值就判定為背景，若差值大于該閾值就判定為前景信息。但在實際的檢測系統(tǒng)中，由于攝像頭受風等因素而產(chǎn)生的抖動等，會對這種直接差分結果產(chǎn)生巨大影響。因此，在幀間差分時，提出了改進的幀間差分方法——鄰域比較法，其具體方法是：

    1、取當前幀的圖像像素為，則相應的前一幀圖像的一個3×3的模板為：

    2、將當前幀的像素與模版中像素的灰度相比較，若它們的差值小于閾值，則判定為背景點，將其灰度置為0，就不再做鄰域比較。否則，再與前一幀其余的8個鄰域點相比較，只要有一差值小于閾值，就將其判定為背景點，不再比較。若當前幀與模板中所有點的灰度比較的結果都大于閾值，則判定該點為前景圖像點，則將其灰度置為1。

    通過此種鄰域比較法在實現(xiàn)了背景圖像與前景圖像分離的同時，也實現(xiàn)了圖像的二值化，從而提高了檢測效率。本文即采用此方法來實現(xiàn)視頻流中兩幅圖像的差分運算。本文實驗所用的視頻圖像為道路路口場景，即使在綠燈情況下，車輛的行駛速度也不快。視頻圖像為25幀/秒，即每兩幀圖像的時間間隔為40毫秒。在40毫秒的時間里，車輛的運動距離很小，使得視頻序列中前后兩幀圖像變化不大，加上圖像分辨率為352×288像素點，圖像的清晰度不高。如果直接將相鄰兩幀圖像進行差分，所得到的差分圖像結果并不明顯，不能夠很好判斷圖像中是否有車輛運動。經(jīng)過反復試驗，本文采用時間間隔120毫秒的圖像進行鄰域差分，這樣得出的差分圖像效果較好。鄰域比較相鄰兩幅圖像（本文以下所涉及到的相鄰兩幅圖像都是指時間間隔為120毫秒的兩幅圖像）對應像素點差分所選閾值也極為重要。閾值偏大時，會出現(xiàn)差分圖像中車輛信息丟失過多的情況；閾值較小時，會出現(xiàn)差分圖像中干擾信息多，而無法判別車輛信息的情況。因此，本文選取閾值為15。

提取差分圖像特征信息及分析
    相鄰兩幅圖像通過差分所得到的圖像，僅僅反映了圖像中物體運動位置的變化，要從差分圖像中分別判斷出車輛進入檢測帶、在檢測帶中行駛以及離開檢測帶的過程情況，必須要提取相關的差分圖像信息，并進行相應分析。需要提取的特征信息包括：差分圖像中前景圖像像素點數(shù)量及前景圖像的形心位置。

1、前景圖像像素點數(shù)量
    檢測帶設置的位置，要盡量避免有除車輛以外的其它運動物體的干擾，但偶爾也會出現(xiàn)行人進入檢測帶等干擾情況的發(fā)生。行人在檢測帶中所占面積較小，且在大多數(shù)情況下運動速度相對車輛速度較慢，前后兩幅圖像人的運動造成的圖像差異不大，因此在差分圖像中呈現(xiàn)的干擾像素點的數(shù)量較少，而車輛在檢測帶中的面積較大且運動速度相對較快，前后兩幅圖像中車輛運動造成的圖像差異較大，因此在差分圖像中反映出的像素點數(shù)量較多。本文采用計算差分圖像中像素點數(shù)量的方法，來實現(xiàn)對車輛進入檢測帶的判斷。當差分圖像中的前景像素點數(shù)量不少于閾值 時，判定有車進入檢測帶，屬于違法闖紅燈行為；反之，則判定為其它非車輛的干擾情況。經(jīng)過大量實驗和統(tǒng)計，本文設定閾值為30。 [nextpage]

 2、前景圖像的形心位置
    當目標車輛表面存在大面積的灰度均勻區(qū)域時，相鄰兩幅圖像差分后，會在前景車輛圖像中出現(xiàn)“空洞”，從而使前景圖像被分割成多個區(qū)域。

    本文曾試圖采用數(shù)學形態(tài)學中的腐蝕與膨脹來實現(xiàn)去除空洞，然后通過記錄圖像中前景圖像像素點位置來判斷車輛的行駛狀況。然而，由于差分圖像中常常會出現(xiàn)較大的“空洞”，因此使用該方法效果并不明顯，且計算數(shù)據(jù)量較大，對系統(tǒng)實時性要求不利。經(jīng)過對大量差分圖像的觀察及實驗，本文發(fā)現(xiàn)，雖然在差分圖像中存在“空洞”現(xiàn)象，導致前景圖像被分割，然而所有被分割的前景圖像大致可以反映出車輛的形狀輪廓，特別是車輛左右兩側(cè)的輪廓。因此，本文采用形心算法來計算差分后的前景圖像的形心。形心算法是通過對二維圖像的處理和計算來確定目標中心位置的算法。從二值化圖像中可以得出目標的形心位置： 

    其中g(x,y)為差分圖像中(x,y)處的灰度值，為目標形心位置，N，M為分別為圖像長、寬方向的像素點數(shù)。

    這樣，形心算法的計算簡單，計算量較小，在較短時間內(nèi)就可以完成計算，輸出差分前景圖像形心的位置。在本文差分圖像這種簡單背景模式下，形心算法比較有效。因此本文采用形心算法實現(xiàn)檢測帶中車輛運動的跟蹤。通過對大量差分圖像中前景車輛圖像形心的計算可以得出以下結論。
·對于單輛車通過檢測帶時，形心的水平坐標(x方向坐標)變化不大，在0~5個像素點間擺動；
·在反映車輛在進入檢測帶的初始幾幀的圖像中，形心的豎直坐標(y方向坐標)在檢測帶偏下位置接近檢測帶下邊沿的位置；而當車輛將駛出檢測帶的最后幾幀圖像中，形心的豎直坐標則接近檢測帶上邊沿的位置；車輛在檢測帶中其它運動狀態(tài)時，形心的豎直坐標處于上下擺動中，擺動狀況取決于差分圖像中車輛自身特征信息的多少；
·當檢測帶中沒有運動物體時，相鄰兩幅圖像的差分圖像中，沒有前景圖像的像素點，因此沒有圖像的形心存在。

車輛違法行為的判斷
    根據(jù)以上對差分圖像特征信息的提取和分析，本文提出對車輛進入檢測帶區(qū)域、離開檢測帶區(qū)域及車輛在檢測帶中運動等情況的判斷：

1、車輛進入檢測帶
    當差分圖像的前景像素點的數(shù)量不少于閾值 (30個像素點)時，判定有車輛入檢測帶，系統(tǒng)判斷有車輛闖紅燈的違法行為，于是啟動抓拍裝置，對違法車輛進行違法取證；反之，當前景像素點數(shù)量不足 時，則判定是非車輛的干擾物體，如行人的干擾情況等。當判定有車輛進入檢測帶后，系統(tǒng)便開始計算并記錄差分前景圖像的形心的水平坐標位置；同時，系統(tǒng)啟動圖像抓拍裝置，對車輛違法行為進行拍攝。

2、車輛離開檢測帶
    當車輛離開檢測帶時，若該車輛后方無車輛尾隨駛?cè)霗z測帶中，差分前景圖像中的像素點會逐漸減少，形心的豎直坐標 會逐漸靠近圖像的上邊沿。當車輛完全離開檢測帶時，差分前景圖像像素點為0，則形心不存在。因此，當判斷到形心不存在時，則判定車輛已經(jīng)駛出了檢測帶。

3、車輛行駛在檢測帶中
     當車輛行駛在檢測帶中時，差分圖像序列中前后兩幅差分圖像的像素點數(shù)量不會有劇烈的變化，但像素點數(shù)量變化會有一定波動。在考察差分前景圖像形心的水平坐標時，發(fā)現(xiàn) 的變化在左右5個像素點的范圍內(nèi)；而只有當該車輛在檢測帶中行駛時，另有車輛從其旁邊駛?cè)霗z測帶中，會造成差分前景圖像的 發(fā)生劇烈變化，超過5個像素點的變化范圍。另外一種情況也會造成圖像 的劇烈變化：當兩輛車并行在檢測帶中行駛時，一輛車率先駛出檢測帶，差分前景圖像的 也會發(fā)生劇烈變化， 會移動到還沒有駛離檢測帶的車輛差分圖像中。

[nextpage]
    因此，本文判定當差分圖像形心的水平坐標位置 變化在左右5個像素點范圍內(nèi)時，差分圖像所反映的前景圖像是同一輛車或同幾輛車同時在檢測帶中行駛；否則，當 的變化超出5個像素范圍時，判定另外有車輛從旁邊駛?cè)牖蜍囕v并行情況下有車率先駛出檢測帶，即檢測帶中行駛車輛數(shù)量發(fā)生變化的情況。

幾種特殊情況的判斷
    下面是對路口現(xiàn)場的幾種特殊的車輛闖紅燈違法行為的分析與判斷。

1、多輛車尾隨闖紅燈的情況
    當一輛車輛還沒有完全駛離檢測帶時，有另一輛車輛尾隨其駛?cè)霗z測帶中。此時在差分圖像中顯示的前景圖像形心的水平位置 的變化仍在5個像素點的范圍內(nèi)，因此很難用 的變化來判斷有新車闖紅燈。在對路口實際情況及視頻圖像作了詳細統(tǒng)計后發(fā)現(xiàn)，反映車輛經(jīng)過檢測帶過程的序列圖像的數(shù)量有一定范圍。按照統(tǒng)計結果顯示，車輛根據(jù)其車身長度和行駛速度不同，在檢測帶中留下的圖像數(shù)量一般在1320幅之間(每幅圖像相120ms)。當 未超過變化范圍的情況下，連續(xù)差分圖像數(shù)量超過20幅時，則判定為另外有車輛尾隨前車進入檢測帶中。此時便需要啟動抓拍裝置，拍攝車輛闖紅燈行為。

2、并行車輛出現(xiàn)檢測帶區(qū)域
    車輛行駛在檢測帶過程中，另有車輛從其旁邊闖入檢測帶；或兩車并行駛?cè)霗z測帶中，一車率先駛出檢測帶的情況(即檢測帶水平方向上出現(xiàn)車輛數(shù)量變化的情況。

    以上兩種情況都會造成差分前景圖像的 發(fā)生劇烈變化。當 發(fā)生超出5個像素范圍變化時，系統(tǒng)將計算此時差分前景圖像像素點的數(shù)量，使其與前一差分圖像像素點數(shù)量作比較。如果像素點數(shù)量發(fā)生增多的現(xiàn)象，則判定此時是另外有車輛從現(xiàn)有車輛一側(cè)闖入檢測帶中，則需要啟動抓拍裝置；如果像素點數(shù)量發(fā)生減少的現(xiàn)象，則判定在檢測帶中原有兩輛車并行，此時有一輛車率先駛出了檢測帶，系統(tǒng)對此不作抓拍處理。

結語
    本文對采用幀間差分法這一視頻檢測技術來實現(xiàn)車輛闖紅燈違法行為的檢測進行了初步研究，還需進行大量的實踐驗證，并在實際驗證的應用中不斷改進和完善。此外，針對不同的違法行為特點，可對算法進行改進和調(diào)整，使這種視頻檢測算法技術可對超速、逆行、禁停、壓黃線、搶占公交車道等一系列違法行為進行檢測。