基于改進局部一致性約束的立體匹配算法

雙目立體視覺模擬人的視覺系統(tǒng)，通過對同一場景下不同角度的兩張圖像進行圖像處理重建三維結(jié)構(gòu)［1］，而立體匹配是其中最為核心的技術(shù)。立體視覺是指在同一場景中不同位置的兩個相機獲得左右兩張圖像，通過計算視圖中同名像素點的視差獲得深度信息［2］。近年來，研究者盡管對立體匹配進行了深入的研究，但在復雜環(huán)境下（如噪聲腐蝕，光度畸變等）仍然難以獲得精確匹配［3］。立體匹配在三維重建、目標檢測［4］等領(lǐng)域的廣泛應用［5］使之成為研究熱點。目前立體匹配算法主要分為傳統(tǒng)算法［6］和深度學習算法［7-8］。

傳統(tǒng)方法一般分為代價計算、代價聚合、視差計算、視差優(yōu)化4個步驟［9］，主要分為全局方法和局部方法［10］。全局方法采用全局優(yōu)化理論建立一個全局能量函數(shù)，函數(shù)最小值即最優(yōu)的視差值。主要方法有信念傳播［11］和動態(tài)規(guī)劃［12-13］。全局方法準確率較高，但是計算量大，不適合實時應用［14］。相比之下，局部方法的目標函數(shù)只包含測量部分，其計算量較少，匹配速度快。常見的有Census變換［15-16］、SAD、PatchMatch等算法。此外，Hirschmüller提出半全局立體匹配算法（Semi-Global Matching，SGM） ［17］，該算法在計算函數(shù)能量最小化時使用一維最優(yōu)近似二維最優(yōu)，使算法效率得到極大提升。

基于深度學習［18］的立體匹配算法將推導視差圖的過程視為分類問題或回歸問題。例如，Zbontar［8］使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）估計圖像塊的相似性，Nahar［19］提出了無監(jiān)督的預訓練網(wǎng)絡估計分層特征。雖然深度學習方法準確度較高，但是目前的大多數(shù)方案使用的監(jiān)督學習方法均是假設真實的視差值已知，而該假設在一些情況下是不成立的［20］。此外，深度學習方法在訓練時需要大量的數(shù)據(jù)和時間，對算力要求較高，對于沒有被訓練過的陌生環(huán)境效果較差，并且不能很好地被移植到機器人和嵌入式系統(tǒng)中［21］。

與深度學習方法相比，傳統(tǒng)方法遇到這類問題時的匹配效果更好。文獻［22-23］等的算法均在與深度學習算法的比較中取得了優(yōu)勢。傳統(tǒng)算法不用進行訓練，計算開銷較低。因此，本文對傳統(tǒng)算法進行了改進。PMS［24］作為經(jīng)典的傳統(tǒng)算法使用隨機初始化生成任意的平面參數(shù)來實現(xiàn)傾斜平面。雖然可以處理實際傾斜表面，但是該處理方法需要多次迭代，導致計算量極大且誤匹配率較高。為解決這一問題，首先，本文通過稀疏匹配得到支撐點。其次，利用三角剖分劃分支撐點為每個像素找到逼近正確解的平面參數(shù)。最后，為了得到更準確的視差，在代價聚合階段采用迭代傳播的方式構(gòu)建出局部一致性平行窗口模型，減少了迭代次數(shù)同時降低了誤匹配率。

2 算法描述

2.1　算法流程

本文算法流程圖如圖1所示。

圖1  本文算法流程圖

Fig.1  Algorithm flow chart of this paper

下載: 原圖 | 高精圖 | 低精圖

詳細步驟如下：

Step1：將輸入的左圖像等步長選取特征點進行稀疏匹配得到魯棒性高的支撐點集。

Step2：對點集進行三角剖分，為每個像素點找到一個平面，將平面參數(shù)賦給該像素點。

Step3：將像素點及平面參數(shù)多次進行代價聚合即迭代傳播，找到更加準確的平面參數(shù)。

Step4：通過像素點的平面參數(shù)以及橫縱坐標求該點的視差值。

Step5：對視差圖進行視差后處理。

2.2　算法思路及主要公式

本文算法采用傾斜窗口代替固定式窗口。對任意像素p，算法會尋找一個平面fp，該像素的視差值dp計算公式如式（1）所示：

dp=afppx+bfppy+cfp

 ， （1）

式中：afp、bfp和cfp為fp的平面參數(shù)，px與py為像素p的橫縱坐標。匹配過程轉(zhuǎn)換為尋找每個像素的最優(yōu)平面參數(shù)，每個像素對應的最小聚合代價的平面為：

fp=argminf∈Fm(p,f)

 ， （2）

式中：F表示一個無邊界的平面集合，m(p,f)為像素p對應平面f的聚合代價。m（p，f）表達式為：

m(p,f)=∑q∈Wpw(p,q)?ρ(q,q?(afqx+bfqy+cy)) ,

（3）

式中：Wp是中心像素為p的正方形匹配窗口，q為窗口內(nèi)一像素點。采用自適應權(quán)重函數(shù)w(p,q)克服邊緣擴脹（Edge-Dilated）問題，該點色彩相似度越高，則權(quán)重值也越大，計算公式如式（4）所示：

w(p,q)=e?∥Ip?Iq∥γ

 ’ （4）

式中：γ為自定義參數(shù)；∥IP?Iq∥定義為RGB彩色空間中p點與q點的距離，即|r?r|+|g?g|+|b?b|。公式（3）中ρ(q,q')為度量q點與q'點間差異性的函數(shù)，結(jié)合公式（1）可得q'=q?d，即參考圖的點q在目標圖上偏移d個像素單位后對應的像素點記為q'，其計算公式如式（5）所示：

ρ(q,q')=(1?α)?min(∥Iq?Iq'∥,τcol)+α?min(∥Iq?Iq'∥,τgrad) ,

（5）

式中：∥Iq?Iq'∥為q點與q'點間灰度梯度值差的絕對值；α為平衡顏色代價和梯度代價的自定義參數(shù)；τcol和τgrad為截斷函數(shù)，使遮擋區(qū)域代價值在一個合理局部范圍。

傾斜窗口的匹配算法雖然優(yōu)于傳統(tǒng)立體匹配算法，但是如果不能為像素找到一個正確的傾斜窗口，不僅導致后續(xù)步驟存在大量的迭代，還會導致得到的視差值不準確。本文從這一問題出發(fā)，通過稀疏匹配得到強魯棒性支撐點，再利用三角剖分使每個像素得到一個接近真實值的平面參數(shù)，最后通過改進后的迭代傳播構(gòu)建出局部一致性平行窗口模型。

3 本文方法

3.1　稀疏匹配特征點

PMS算法為每個像素都計算一個視差平面，這一做法忽略了立體匹配中連續(xù)性約束的重要假設，而且逐個像素計算也會增加計算量。為了解決這一問題，本文算法采用精匹配獲得特征點，并通過這些特征點求得其他像素的視差平面。本文所用方法不僅符合連續(xù)性約束的假設，而且能快速準確地找到正確解。

首先通過稀疏匹配，在左圖像中以步長為5獲取候選特征點，得到特征點后根據(jù)視差范圍(Dmin~Dmax)在右圖中搜索每個視差值對應的點，再計算曼哈頓距離獲得匹配代價，計算公式如式（6）所示：

c=|x1?x2|+|y1?y2|

 ， （6）

式中：c為曼哈頓距離，x1、x2為2個點的橫坐標，y1、y2為2個點的縱坐標。通過式（6）這一公式找到在視差范圍內(nèi)最小匹配代價對應的點，然后以其周圍4個點的匹配代價的均值代替其代價值，將左右圖像調(diào)換位置重復上述步驟。最后執(zhí)行左右一致性檢驗，將剩下的點作為本次稀疏匹配的特征點。通過這樣的特征點求得的視差平面更接近于正確解。

3.2　通過三角剖分構(gòu)建局部一致性

在計算平面參數(shù)階段，PMS算法采用隨機初始化的方法。使用隨機函數(shù)得到一個在視差范圍內(nèi)的隨機視差d，記為z0，與當前像素的橫縱坐標組成三維點P=(x0,y0,z0)，再用隨機函數(shù)生成單位法向量n? =(nx,ny,nz)，最后根據(jù)點法式平面方程計算出平面參數(shù)。

這種方法無法保證每個像素得到正確（或近似正確）的平面參數(shù)，從而需要多次迭代以確保正確的平面參數(shù)傳遞到其他像素。如果鄰域像素的平面參數(shù)都與真實值偏差過大，則無論迭代多少次都無法回歸到正確的平面。

針對上文提到的PMS算法的缺陷，本文算法采用三角剖分劃分特征點的方法來為像素點找到一個視差平面。這樣得到的平面接近正確解。本文對3.1節(jié)中得到的特征點執(zhí)行三角剖分得到三角平面集合，根據(jù)連續(xù)性約束認為每個三角平面中的像素視差是一致或者近似的，構(gòu)建局部一致性窗口，計算每個三角平面參數(shù)并分配給其中的像素。由于支撐點是通過精匹配得到的強魯棒點，其視差置信度高，因此計算得到的平面參數(shù)最接近真實值，為后續(xù)的迭代傳播過程提供了良好的初始依據(jù)，使其經(jīng)過更少的迭代次數(shù)便能回歸到精確解。

本文算法使用的是分治法三角剖分，以10點垂直分割法為例，流程如下：

Step1：將10個點按x坐標作升序排序，當x坐標相同時，按y坐標排序。如圖2（i）所示。

圖2  三角剖分步驟

Fig.2  Triangulation step

下載: 原圖 | 高精圖 | 低精圖

Step2：用遞歸方法將排序后的點劃分為數(shù)量近似的兩個子集，直到點數(shù)≤3，最后得到4個二級子集，如圖2（ii）所示。

Step3：將4個二級子集合并成兩個一級子集，如圖2（iii）所示。

Step4：通過三角剖分的空圓特性及最大化最小角原則將2個一級子集進行合并，如圖2（iv）所示。

最終圖像中的像素點會分成若干三角平面，再通過每個三角平面的3個頂點計算平面參數(shù)并分給該三角形內(nèi)其余點。

本文具體步驟如下：

Step1：等步長選取候選特征點；

Step2：稀疏匹配候選特征點，并執(zhí)行左右一致性校驗，將剩余點作為強魯棒性的支撐點集S={s1,s2,…,sM}，支撐點sM=[um,vm,dm]T；

Step3：對支撐點集S執(zhí)行三角剖分，獲得三角平面集合T；

Step4：根據(jù)三角平面集合T計算當前平面的平面參數(shù)，如T的3個頂點坐標分別為s1={u1, v1,d1}T、s4={u4,v4,d4}T和s9={u9,v9,d9}T，則平面參數(shù)為：

?????d1=afu1+bfv1+cfd4=afu4+bfv4+cfd9=afu9+bfv9+cf??????afbfcf

 . （7）

Step5：令T平面內(nèi)像素的平面都等于（af，bf,cf)，重復步驟4、5，直至T內(nèi)最后一個三角平面。

3.3　迭代傳播

3.3.1　局部一致性平行窗口模型

迭代傳播指的是圖像重復進行代價聚合過程，目的是把隨機視差平面中正確的視差平面?zhèn)鞑ブ镣灰暡钇矫鎯?nèi)的其他像素。本文算法對迭代傳播進行了優(yōu)化，將迭代次數(shù)減少為兩次，并舍棄了平面?zhèn)鞑ズ蜁r序傳播兩個傳播過程。為了驗證優(yōu)化的正確性，本文提出了兩種模型。因為PMS算法使用的是傾斜窗口，本文為與原算法保持一致，將包含平面?zhèn)鞑ゲ襟E的模型稱為局部一致性傾斜窗口模型，將缺少平面?zhèn)鞑ゲ襟E的模型稱為局部一致性平行窗口模型即本文算法。

本文用一張概念圖來表示本文的局部一致性窗口與隨機傾斜窗口的區(qū)別，如圖3所示。其中Ω1、Ω2和Ω3平面為局部一致性窗口，Ω4空間和Ω5空間為隨機傾斜窗口。在Ω1、Ω2和Ω3平面中，處于同一平面的像素具有相同的平面參數(shù)，保證了立體匹配的連續(xù)性約束條件。而在Ω4空間和Ω5空間中，每個像素的平面參數(shù)各異，不滿足連續(xù)性約束條件，需多次迭代傳播才能回歸到正確值。

圖3  局部一致性與隨機傾斜窗口對比

Fig.3  Comparison of local consistency and random window

下載: 原圖 | 高精圖 | 低精圖

3.3.2　空間傳播

空間傳播假設空間上鄰近點的像素很有可能處于同一平面內(nèi)。本文通過空間傳播使當前像素得到鄰域像素中代價最小的平面參數(shù)，具體步驟如下：

Step1：對于當前像素p(x,y)，其鄰近像素分別記為q'(x?1,y)與q''(x,y?1)，其平面分別記為fp、fq'和fq''；

Step2：基于平面計算匹配代價值m(p,fp)、m(p,fq')與m(p,fq'')，分別記為p、p'和p''；

Step3：選取最小匹配代價min{m,m',m''}代替像素p(x,y)點原匹配代價，并將平面參數(shù)更新為最小匹配代價的平面參數(shù)。

在左右視圖的每個像素點逐次重復上述4步，直至圖像最后一個像素點?？臻g傳播是將鄰域內(nèi)可能正確的平面參數(shù)傳遞給空間鄰近的像素，因此需要多次迭代才能將正確的平面參數(shù)賦給鄰域內(nèi)的所有像素。

3.3.3　視圖傳播

視圖傳播假設雙目視圖的左右圖像上的同名點不僅具有相同的視差值，而且匹配點間可能具有相似的視差平面。對于所有參考圖像素點p，比較其與目標圖上同名點的平面的代價值。本文算法通過視圖傳播使像素獲得同名點間最優(yōu)平面參數(shù)。

Step1：取參考圖像素p(xl,yl)，其平面方程為：

d=apxl+bpyl+cp

 . （8）

Step2：若p點視差為dp則目標圖上同名點坐標為p'(xl?dp,yl)，將其帶入式（8）中，則有：

dp'=?apxl?bpyl?(cp+apdp)

 . （9）

Step3：通過公式（9）可得目標圖上同名點p'的平面參數(shù)為(?ap',?bp',?(cp+apdp))。

Step4：計算p點在2個平面下的匹配代價，若m(p,fp')<m(p,fp)，則更新匹配代價，并令fp= fp'。反之，則保持原平面不變。

在這個過程中，通過計算得到的目標圖同名點p'坐標如果不是整數(shù)則需要四舍五入映射到最鄰近的圖像坐標，這也是同名點間的平面相似而非相同的原因。

3.3.4　視差后處理

在經(jīng)過迭代傳播后，通過像素點的平面參數(shù)計算其視差值，可表示為：

dp=afppx+bfppy+cfp

 ， （10）

式中：afp，bfp和cfp為fp的平面參數(shù)，px與py為像素p的橫縱坐標。

在視差優(yōu)化階段，本文算法采取左右一致性校驗、視差填充和濾波等后處理步驟來提高視差圖的精度。

首先，通過左右一致性校驗剔除誤匹配點。分別求出左右視差圖，對參考圖上的像素點p與目標圖上匹配的像素點p'，執(zhí)行|dp?dp'|≤1的條件檢驗，剔除不滿足條件的點。

然后，對于被剔除的異常點p，在其鄰域內(nèi)搜索最鄰近像素點q，將q點的坐標和它在左右視圖上的平面flq、frq分別帶入公式（1）得到兩個視差值，取較小的視差值作為p點的視差。這種處理方法更符合實際情況，且當處理的圖像為視頻流的一幀時，該方案能為遮擋區(qū)域的像素分配更合理的平面參數(shù)，使其能有效應用于下一幀圖像。

最后，為削弱視差填充的負面影響，使用加權(quán)中值濾波來結(jié)合多方向視差信息。其中強魯棒點在濾波時會被直接跳過，算法轉(zhuǎn)而繼續(xù)尋找下一個誤匹配點執(zhí)行濾波操作。

4 測量實驗與結(jié)果

本文采用Middlebury測試［25］平臺提供的第三版標準測試數(shù)據(jù)集進行實驗。其中樣本包括15組雙目視覺圖像對。編程語言為C++，硬件環(huán)境為Intel（R）Core（TM）i7-9750 CPU，16 GB內(nèi)存，系統(tǒng)為Windows 10。實驗參數(shù)設置為γ=10.0，α=0.9，τcol=10.0，τgrad=2.0。其中γ為自適應權(quán)重函數(shù)w(p,q)中自定義參數(shù)；α為ρ(q,q')中平衡顏色代價和梯度代價的自定義參數(shù)；τcol和τgrad為ρ(q,q')中截斷函數(shù)，使遮擋區(qū)域代價值在一個合理局部范圍。

客觀評價標準采用誤匹配率（bad，Ebad）與絕對值均差（avgErr，Eavg）。評價指標bad的含義是當真值圖和視差圖結(jié)果相差1 pixel以上時，判定為誤匹配點，表達式如式（11）所示：

Ebad=nN×100%

 ， （11）

式中：N為有效點總和，n為超出誤差線的匹配點總和。本文中non表示非遮擋區(qū)域，all表示全部區(qū)域。

評價指標avgErr是計算非遮擋區(qū)域的真值圖的值gt與匹配點視差d（包含誤匹配點）的差的絕對值，最后統(tǒng)計絕對值與有效點的百分比，表達式如式（12）所示：

Eavg=∑i∣∣di?gti∣∣N?Inf×100%

 ， （12）

式中：Inf為無效點總和。

4.1　算法對比

4.1.1　本文算法與PMS算法對比

圖4為PMS算法與本文算法主觀效果圖，紅框內(nèi)區(qū)域為效果提升明顯區(qū)域。其中，PMS算法在Adirondack、Piano等圖像中出現(xiàn)零值區(qū)域，在ArtL、Playtable圖像中出現(xiàn)不連續(xù)區(qū)域、輪廓變形現(xiàn)象。相比而言，本文算法處理后的效果圖如Artl，PlaytableP，Adirondack等在邊緣、紋理、輪廓方面均有顯著提升。

圖4  不同算法在Middlebury 3.0圖像對上的實驗結(jié)果。（a）參考圖像；（b）真實視差圖；（c）PMS算法；（d）本文算法。

Fig.4  Lifting effect comparison charts of different algorthms on Middlebry 3.0 image pairs. （a） Reference image； （b） Truth graph； （c） PMS algorithm； （d） Proposed algorithm.

下載: 原圖 | 高精圖 | 低精圖

表1為本文算法與PMS算法在非遮擋區(qū)域、全部區(qū)域誤匹配率以及絕對值均差的對比結(jié)果，表中數(shù)據(jù)為第3次迭代結(jié)果。其中PMS、Prop-sla和Prop-par分別表示PMS算法、局部一致性傾斜窗口和局部一致性平行窗口即本文算法，加粗數(shù)據(jù)為對同一圖像處理效果的最優(yōu)數(shù)據(jù)。

表1  本文算法與PMS算法結(jié)果對比

Tab.1  Comparison of the results of the algorithm in this paper and the PMS algorithm

Data name non/% all/% Eavg/%

PMS Prop-sla Prop-Par PMS Prop-sla Prop-Par PMS Prop-sla Prop-Par

Adirondack 22.09 21.27 6.669 24.68 23.61 10.41 1.93 1.9 0.63

ArtL 15.48 14.14 13.25 25.42 24.82 27.23 1.36 1.23 1.19

Jadeplant 24.95 24.93 45.66 39.85 39.32 55.79 4.08 4.34 15.36

Motorcycle 14.49 13.73 11.67 21.68 21.09 18.6 1.12 1.09 1.01

MotorcycleE 19.93 17.51 13.92 27.22 24.64 20.84 1.4 1.29 1.18

Piano 27.03 25.95 25.67 34.95 33.52 33.16 1.59 1.46 1.45

PianoL 43.56 43.82 34.13 50 48.8 41.95 3.18 3.11 2.33

Pipes 17.76 16.94 15.39 30.97 30.1 28.55 2.03 1.88 2.01

Playroom 31.99 30.75 27.15 42.77 41.46 39.04 2.91 2.82 2

Playtable 19.53 19.8 17.54 25.94 26.46 24.89 1.19 1.25 1.13

PlaytableP 12.48 11.9 10.7 18.7 18.25 17.05 0.65 0.64 0.54

Recycle 21.42 21.3 16.65 25.11 25.4 19.72 1.57 1.59 1.01

Shelves 49.86 49.76 46.63 56.34 56.11 52.82 4.59 4.55 3.23

Teddy 6.809 7.609 6.037 14.81 14.46 13.91 0.64 0.65 0.48

Vintage 29.7 29.51 40.26 34.67 34.05 44.05 2.15 2.11 4.67

下載: 導出CSV

實驗結(jié)果顯示，與PMS算法相比，在非遮擋區(qū)域，本文提出的局部一致性平行窗口和局部一致性傾斜窗口分別能取得13、12組的優(yōu)勢結(jié)果；在全部區(qū)域，能取得12組的優(yōu)勢結(jié)果；對于avgErr指標，分別能取得14、11組的優(yōu)勢結(jié)果。同時，在非遮擋區(qū)域，本文算法有13組的最優(yōu)數(shù)據(jù)，這13組數(shù)據(jù)與PMS算法相比，總的誤匹配率降低了57%，平均誤匹配率降低4.39%，其中對單張圖像誤匹配率降低最多可達到15.42%（Adirondack）。在全部區(qū)域，本文算法有12組的最優(yōu)數(shù)據(jù)，這12組數(shù)據(jù)與PMS算法相比，總的誤匹配率降低了52%，平均誤匹配率降低4.33%，其中對單張圖像誤匹配率降低最多可達到14.27%，說明本文算法在降低誤匹配率方面效果顯著。

4.1.2　本文所提兩種模型對比

為說明本文算法舍棄平面?zhèn)鞑サ脑?，本文對局部一致性平行窗口模型和局部一致性傾斜窗口模型進行了對比，結(jié)果如圖5所示。實線為不包括平面?zhèn)鞑サ木植恳恢滦云叫写翱谀Ｐ图幢疚乃惴?，虛線為包括平面?zhèn)鞑サ木植恳恢滦詢A斜窗口模型。

圖5  本文提出的兩種模型對比

Fig.5  Comparison of the two models proposed in this paper

下載: 原圖 | 高精圖 | 低精圖

結(jié)合圖5和表1的數(shù)據(jù)可以看出，本文提出的局部一致性平行窗口模型在與包含平面?zhèn)鞑サ膬A斜窗口的對比中優(yōu)勢明顯。其原因是三角剖分使用的點集是由魯棒性高的支撐點組成，所以根據(jù)這些點進行三角剖分得到的平面參數(shù)接近于正確解。而本文舍棄的平面?zhèn)鞑ナ峭ㄟ^設置視差和法向量變化范圍并隨機生成增量的方式來找一個代價更小的平面。這時平面?zhèn)鞑ハ喈斢谝粋€噪聲敏感模型，既當前像素及其周圍像素的平面參數(shù)與正確解偏離極小，平面?zhèn)鞑ブ须S機獲取視差增量及法向量增量的過程相當于噪聲擾動，當鄰域內(nèi)都是“正確”解時，擾動極易在圖像內(nèi)傳播，導致誤匹配率偏高。而且在相同迭代傳播次數(shù)的前提下，平行窗口因缺少平面?zhèn)鞑ミ^程，其效率比傾斜窗口更高。因此局部一致性平行窗口模型性能更優(yōu)。

4.1.3　本文算法與其他算法對比

為驗證本文算法的優(yōu)越性，本文將實驗結(jié)果與傳統(tǒng)算法和新穎算法做對比，其中GA-Net［26］（Guided aggregation net）為基于CNN的新穎立體匹配算法，ELASF［22］為基于ELAS的新穎立體匹配算法，而傳統(tǒng)算法使用的是將局部立體匹配算法和半全局立體匹配算法相結(jié)合的AD-Census［27］算法。相同情況下，圖6、圖7、圖8和表2是相同情況下本文算法與對比算法的主觀效果和客觀效果對比圖。

圖6  不同算法在Middlebury3.0圖像對上的實驗結(jié)果。（a） 參考圖像；（b） 真實視差圖；（c） AD-Census算法；（d） ELASF算法；（e） GA-Net算法；（f） 本文算法。

Fig.6  Experimental results of different algorithms on Middlebury 3.0 image pairs. （a） Reference image； （b） Real disparity map； （c） AD-Census algorithm； （d） ELASF algorithm； （e） GA-Net algorithm； （f） Algorithm in this paper.

下載: 原圖 | 高精圖 | 低精圖

圖7  本文方法與對比算法在非遮擋區(qū)域的對比

Fig.7  Comparison of the method in this paper and the comparison algorithm in the non-occluded area

下載: 原圖 | 高精圖 | 低精圖

圖8  本文方法與對比算法在全部區(qū)域的對比

Fig.8  Comparison of the method in this paper and the comparison algorithm in all areas

下載: 原圖 | 高精圖 | 低精圖

表2  對比算法在不同區(qū)域的平均誤匹配率

Tab.2  Average mismatch rates of algorithms in different regions( % )

Ebad/% AD-census ELASF GA-net Proposed

non 26.19 22.23 26.91 21.89

all 34.59 30.53 30.17 29.71

下載: 導出CSV

圖6為不同算法的主觀效果圖，紅框內(nèi)區(qū)域為效果提升明顯區(qū)域。其中AD-Census算法的整體表現(xiàn)較差，如Artl、PlaytableP等出現(xiàn)紋理模糊、邊緣效果差的問題。而ELASF算法對輪廓處理效果較差，如Pinao紋理不清晰，Vintage陰影處理較差。GA-Net算法視差圖視差值偏小導致整體亮度較暗，對紋理邊緣處理效果較差，如Japeplant。

圖7和圖8為本文算法與3種對比算法的對比圖，如圖所示，與對比算法相比，本文算法在大部分圖像中都能取得優(yōu)勢。其中，本文算法在非遮擋區(qū)域與全部區(qū)域與GA-Net算法對比分別在13、10組數(shù)據(jù)上取得優(yōu)勢，平均值如表2所示，分別提高約5.02%、0.46%。分析認為，雖然GA-Net使用訓練好的模型，但是當應用本文使用的數(shù)據(jù)集時，由于缺少特征信息導致切換場景時匹配效果下降，深度學習算法在陌生場景效果較差。而本文算法不需要進行訓練且能取得較好效果。

另外，本文算法與AD-Census與ELAF兩個傳統(tǒng)算法相比同樣能取得顯著優(yōu)勢。本文算法在非遮擋區(qū)域與全部區(qū)域與AD-Census算法相比都能在12組數(shù)據(jù)上取得優(yōu)勢，經(jīng)對15組數(shù)據(jù)計算，誤匹配率總降低分別為68.15%、73.11%，平均降低分別為4.3%、4.9%。對于ELASF算法，本文算法在非遮擋區(qū)域與全部區(qū)域分別能取得9、10組優(yōu)勢數(shù)據(jù)，經(jīng)對全部的15組數(shù)據(jù)計算，誤匹配率總降低分別為5.23%、12.22%。

4.2　不同迭代次數(shù)對比

為說明本文算法效率上的提升，圖9給出了本文算法與PMS算法迭代11次的結(jié)果，其中紅色表示本文算法逐次迭代結(jié)果，其他顏色表示PMS算法的逐次迭代結(jié)果。兩種方法采用堆疊的方式顯示，直觀上當條形柱全都被紅色覆蓋時，表示本文算法誤匹配率高于PMS的誤匹配率；反之，則低于PMS的誤匹配率。

圖9  本文算法與PMS算法的11次迭代結(jié)果

Fig.9  Results of 11 iterations of the algorithm in this paper and the PMS algorithm

下載: 原圖 | 高精圖 | 低精圖

由圖9可知，本文算法在多次迭代過程中不僅與PMS算法同樣保證了收斂性，而且效果更優(yōu)。對于多數(shù)圖像對，局部一致性平行窗口模型在完成第一次迭代時誤匹配率就已經(jīng)低于PMS的誤匹配率，這表明本文算法在更少的計算開銷下，達到了更優(yōu)于PMS算法的性能。

表3對比了本文算法與PMS算法前3次迭代結(jié)果，加粗數(shù)據(jù)項表示該次迭代最優(yōu)值。由表可知，無論使用PMS算法還是本文算法，第二次迭代傳播的誤匹配率會顯著降低。而在第二次迭代傳播的結(jié)果中，與PMS算法相比，局部一致性平行窗口取得了13組的優(yōu)勢（與第三次迭代結(jié)果相同），局部一致性傾斜窗口取得了12組的優(yōu)勢；同時局部一致性平行窗口有11組最優(yōu)數(shù)據(jù)（與第三次迭代結(jié)果相同），局部一致性傾斜窗口只有兩組最優(yōu)。通過第三次迭代結(jié)果減去第二次迭代結(jié)果可知，本文算法誤匹配率在MotorcycleE組升高最多為0.35%，在ArtL組降低最多為0.29%，誤匹配率平均降低0.1%；PMS算法在Adirondack組升高最多為0.74%，在MotorcycleE組降低最多為0.37%，誤匹配率平均上升0.01%。既PMS算法迭代3次時，其誤匹配率不會明顯升高，而局部一致性平行窗口也未有明顯變化。因此，相對于PMS算法提出的3次迭代達到最好的效果，本文算法則提出進行2次迭代效果最好，且減少迭代次數(shù)能夠減少計算量從而提高算法效率。

表3  不同迭代次數(shù)的誤匹配率

Tab.3  Mismatch rate for different iterations( % )

Data name 第一次迭代 第2次迭代 第3次迭代

PMS Prop-sla Prop-par PMS Prop-sla Prop-par PMS Prop-sla Prop-par

Adirondack 20.08 16.43 9.820 21.35 20.37 6.574 22.09 21.27 6.669

ArtL 18.35 15.48 22.03 15.42 14.43 13.54 15.48 14.14 13.25

Jadeplant 28.23 27.58 49.50 25.25 24.84 46.54 24.95 24.93 45.66

Motorcycle 15.82 14.19 13.72 14.68 13.78 11.44 14.49 13.73 11.67

MotorcycleE 21.26 17.59 16.08 20.30 17.41 13.57 19.93 17.51 13.92

Piano 28.43 26.92 28.41 27.19 25.95 25.88 27.03 25.95 25.67

PianoL 43.32 40.45 37.01 43.79 42.37 34.41 43.56 43.82 34.13

Pipes 18.51 16.82 19.55 17.79 16.84 15.58 17.76 16.94 15.39

Playroom 33.01 30.22 31.27 32.12 30.48 27.07 31.99 30.75 27.15

Playtable 17.99 18.45 22.34 19.03 19.52 17.59 19.53 19.80 17.54

PlaytableP 12.45 11.75 14.65 12.43 12.07 10.90 12.48 11.90 10.70

Recycle 21.66 20.45 18.85 20.76 20.87 16.54 21.42 21.30 16.65

Shelves 50.53 50.10 46.20 50.09 49.76 46.29 49.86 49.76 46.63

Teddy 7.471 7.015 9.251 6.83 7.632 6.013 6.809 7.609 6.097

Vintage 31.64 30.20 45.19 29.78 29.12 41.14 29.70 29.51 40.26

下載: 導出CSV

5 結(jié)論

本文提出的基于局部一致性約束的立體匹配算法不僅能降低誤匹配率，而且減少了迭代次數(shù)，使算法效率得到提高。針對PMS算法忽略視差連續(xù)性約束這一重要假設的問題，本文通過稀疏匹配得到魯棒性高的支撐點集，使后面求得的平面參數(shù)更加接近于正確解。通過三角剖分劃分點集為圖像中的像素點找到接近于正確解的平面，求出每個平面的平面參數(shù)并賦值給平面內(nèi)的點，在保證連續(xù)性約束的同時減少了后續(xù)迭代次數(shù)。另外，本文根據(jù)自身算法優(yōu)化迭代傳播過程，通過迭代傳播為每個像素點找到更準確的平面，求出視差值并進行視差后處理。在Middlebury數(shù)據(jù)集上的實驗結(jié)果表明：本文算法與PMS算法相比，平均誤匹配率降低了4.39%，其中對單個圖像誤匹配率最高降低15.42%。本文算法通過在初始階段為像素點找到接近于正確解的平面，解決了需要多次迭代找到正確解的問題，在降低誤匹配率的同時減少了迭代次數(shù)，進而減少了計算量。