本文內容來源於《測繪學報》2022年第12期（審圖號GS京（2022）1419號）
結合棋盤格與旋轉攝影的多鏡頭全景攝像機組合標定
黃明益
桂林電子科技大學電子工程與自動化學院,廣西 桂林 541004
基金項目：國家自然科學基金(41761087);浙江寧波市「科技創新2025」重大專項(2020Z019);廣西研究生教育創新項目(2018YJCXB62)
摘要：針對多鏡頭全景攝像機MPC組合標定依賴於高精度3D控制信息的應用限制, 本文提出一種結合旋轉攝影的MPC棋盤格標定方法, 將MPC置於二維轉台對棋盤格進行旋轉攝影並將標定過程分為兩個階段:①側視攝像機旋轉序列影像標定。結合棋盤格與轉台坐標系設置建立旋轉攝影嚴格方程並以之為基礎給出側視攝像機外參初值, 進而以棋盤格影像角點及相鄰側視攝像機間的連接點為觀測值, 對側視攝像機外參及棋盤格外部參數整體進行平差優化求解。②中心攝像機多視幾何標定。將轉台旋轉坐標系原點平移至全部側視攝像機攝影中心幾何重心建立MPC空間坐標系, 以此為基礎利用中心攝像機與側視攝像機間的多視幾何關係及通過旋轉攝影獲得的大量連接點為觀測值, 對中心攝像機外參實施光束法平差優化求解。試驗結果表明, 本文方法僅使用普通二維數控轉台和單個棋盤格即可實現MPC攝像機外參的高精度標定, 成本低、操作簡單且對實時環境要求低, 成功擺脫對3D標定場的依賴, 具有良好的應用價值。
關鍵詞：多鏡頭全景攝像機 全景攝像機標定 球面全景成像 棋盤格標定 旋轉攝影
引文格式：黃明益, 吳軍, 彭智勇. 結合棋盤格與旋轉攝影的多鏡頭全景攝像機組合標定[J]. 測繪學報，2022，51(12)：2541-2556. DOI: 10.11947/j.AGCS.2022.20210337
HUANG Mingyi, WU Jun, PENG Zhiyong. Calibration of multi-head panoramic camera using 2D checkerboard under rotation photography[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(12): 2541-2556. DOI: 10.11947/j.AGCS.2022.20210337
閱讀全文：http://xb.chinasmp.com/article/2022/1001-1595/20221216.htm
引 言
作為有效的監控手段，攝像機早已在社會公共安全、管理調度及生產控制中發揮了不可替代的作用。多鏡頭全景攝像機(multi-head panoramic camera, MPC)[1]，由若干不同視角、物理獨立的傳統監控攝像機封裝而成並通過實時拼接子畫面獲得180°(或360°)視野範圍且各方向基本一致的高解析度全景視頻，能夠精確獲得MPC子攝像機內、外參數並將其多路輸出視頻重投影到設定球面(或柱面)[2-3]，在安防監控及虛擬實境、實景地圖生成和低空遙感等眾多領域具有廣闊市場前景[4-8]。
旨在獲取子攝像機內外參數的MPC標定過程涉及單相機標定、組合標定兩部分內容。MPC子攝像機一般為傳統針孔攝像機，前者研究開展已較深入[9-10]，困難在於如何通過組合標定獲得子攝像機間的相對外參。為節約硬體成本，MPC通常利用較少數目的攝像機及低成本光學鏡頭來獲得180°或360°視角[1, 11]，其相鄰子攝像機重疊視角小，難以有效利用影像內在約束優化求解相機外參，不得不在大型標定場內完成。文獻[12]需按預設參數在三維標定場內獲取全景相機不同方向標定影像，通過空間後方交會解算得到單影像初始方位元素後再進行區域網光束法平差以獲取精確的全景相機參數。為確保標定影像上具有可靠控制信息，文獻[3]在室內標定場四周牆壁、頂部及地面不同景深位置密集布設多達1000個人工標誌點，且需不同位置多次攝影以獲得符合重疊度要求的全景相機標定影像。為擺脫對高精度三維控制場的依賴，文獻[13]提出一種基於可控旋轉的主動視覺標定方法，將電子經緯儀改造為旋轉平台並對2D參照物進行觀測以獲得三維控制信息，其優點在於能將待標定相機的等效焦距與其他參數分離開來，但需控制像機圍繞光心(或光心附近)做旋轉運動，使用條件過於苛刻。文獻[14]以照射到室內四面牆壁的三維雷射點取代三維控制點對線陣CCD旋轉全景攝影系統進行高精度標定，除依賴於昂貴的三維掃描設備外，標定影像上雷射腳點的自動檢測也是個潛在問題。文獻[15]提出了一種基於圓形標誌點平面靶的全景相機高精度標定方法，但需利用全站儀測量靶標上特徵點相對世界坐標系原點的位置，同時要結合相機視場範圍在平面靶標前多距離、多基站、多姿態、多角度成像。針對具有非重疊圖的攝像機組，文獻[16]提出了一種基於平面反射鏡的組合標定技術，其基本思想是移動、轉動平面反射鏡使得所有攝像機能通過該鏡子「看」到一個公共校準對象，關鍵在於真實相機與其鏡像相機姿勢間的幾何關係解算。考慮到以2D棋盤格作為標定參照物時，MPC所有攝像機觀測到完整棋盤格極其困難，文獻[17]提出採集大量包含平面圖案的圖像並藉助於三角測量對圖像相對信息(平面中的距離和角度)的有效利用來解決控制點不能被同時觀測的局限性。文獻[18]則提出了一種基於連通性和梯度直方圖分析的棋盤格角點檢測技術以消除非網格特徵干擾，從而確保能獲得高精度角點特徵用於標定目的。顧及全景視頻融合生成的MPC標定相關研究還包括：文獻[1]建立視頻配准框架對MPC參數進行整體優化，但需交互給出相機初始參數並要求各子相機攝影中心基本重合；文獻[10]就相機數目、物理尺寸參數以及圓投影下的視差變化建立數學模型，對獲取3D全景視頻的OMS設計方案進行仿真解析；文獻[2]假定物方點與虛擬空間中心點距離固定，利用標定參數值將子攝像機視頻像素對應的虛擬物方點球面投影到設定球面以生成全景影像；文獻[8]利用標定參數推斷重疊區域的景深，並將重疊區域投影到帶深度信息的3D曲面上以消除視差偽影。
無論是建立大型標定場，還是聯合利用小型空間測量設備與2D參照物，其目的均在於提供高精度3D控制信息用於MPC子相機絕對空間位置、姿態解算，進而推導出子相機間的相對外參，這種依賴於3D控制信息的標定方式不僅實施成本高且需專業人員操作，無疑對MPC應用開展形成限制。受單相機旋轉全景成像[19]啟發，本文提出一種結合棋盤格與旋轉攝影的MPC組合標定方法，將MPC置於普通二維轉台並按固定轉角間隔旋轉一周對LCD棋盤格進行攝影，即可實現MPC攝像機外參精確估計，其創新之處在於兩方面：一是結合棋盤格與旋轉平台坐標系設置建立旋轉攝影嚴格方程，以之為基礎給出側視攝像機外參初值並通過可控的旋轉攝影擴大單個2D棋盤格參照物對MPC的標定控制範圍，從而實現側視攝像機及LCD棋盤格影像外部參數光束法平差優化求解；二是將轉台旋轉坐標系原點平移至側視攝像機攝影中心幾何重心建立MPC空間坐標系，以之為基礎通過旋轉攝影增加中心攝像機與側視攝像機間的連接點作為冗餘觀測值，從而利用與側視攝像機間的多視幾何關係對中心攝像機外參實施光束法平差優化求解。
1 MPC球面全景成像模型
採用吊裝(或壁裝)方式的MPC監控視角可覆蓋整個半球，其幾何結構設計多採用「1+N」模式[1, 11]：「1」代表 1個中心攝像機，其主光軸設計為(近似)垂直於安裝底座(平面)；「N」代表N個側視攝像機，呈環狀等間隔分布於中心攝像機周圍。假設MPC側視攝像機解析度保持不變，其像幅寬為W，則側視攝像機焦距值f設定與N大小有關，兩者關係為[20]：
圖 1 MPC幾何結構Fig. 1 Geometry of MPC
圖選項
MPC各子攝像機一般為傳統針孔攝像機，通過對各子攝像機視頻進行球面透視重投影而獲得大於(或等於)180°的視場(圖 2)。如圖 2所示，令Ci(i=0, 1, 2, 3, 4)表示MPC子攝像機攝影中心，I為球面全景圖像，O和r分別為投影球面中心、半徑並假定世界坐標系XYZ原點與球面投影中心重合，則MPC視野內任一空間點PW到球面全景圖像像素p′的空間變換可描述為以下3階段過程：
圖 2 MPC球面全景成像模型Fig. 2 Panoramic imaging model of MPC
圖選項
(1) 單攝像機針孔成像, 即MPC某一子相機Ci對世界坐標系下的空間點PW(X,Y,Z)進行透視成像獲得像點p(x,y)，該幾何成像關係可由經典的攝影測量共線方程[21]描述，有
(1)
式中，(X,Y,Z)為點PW空間坐標；(u,v)為PW投影點p的實際像素坐標；(XS,YS,ZS)為攝像機攝影中心在世界坐標系中的位置；(aj,bj,cj)(j=1, 2, 3)為攝像機主光軸姿態角(ϕ,ω,κ)給出的旋轉矩陣元素；(XS,YS,ZS)與(ϕ,ω,κ)合稱相機外部參數；(u0,v0)為相機主點坐標；f為相機等效焦距；(Δx, Δy)為攝像機鏡頭光學畸變誤差，可認為主要由徑向畸變係數k1、k2決定，有
以上(f,u0,v0,k1,k2)合稱相機內部參數，若對像點p進行光學畸變修正並以相機主點為坐標原點(這裡稱理想像點，下同)，式(1)也可表示為以下空間變換
(2a)
或
(2b)
式中，λP為像點p的縮放係數；R為旋轉矩陣；[x,y, －f]T表示理想像點p的攝影測量像空間坐標[21]，該像空間坐標與攝影中心S構成的矢量反映了理想像點p的入射光線(方向)。
(2) 球面重映射，即將MPC子相機Ci透視成像獲得的理想像點p，逆光線PWCi映射到設定投影球面獲得空間點PO(XO,YO,ZO)，該空間點應同時滿足投影球面方程及其入射光線所在空間直線方程，即有
(4)
式中，(XO,YO,ZO)為點PW在世界坐標系下的球面空間點坐標；[VX,VY,VZ]T為點PW入射光線所在空間直線方向矢量，可由理想像點p的像空間坐標旋轉得到；LP為點PW入射光線所在空間直線參數方程參數，這裡點PW入射光線所在空間直線定義為以子相機Ci攝影中心為起點、過理想像點p的射線，參數LP計算公式如下[2]
(5)
(3) 球面全景圖像合成，即將球面空間點PO按選定模型投影至全景圖像所在平面。現有球面投影模型分為4種[22]：等距投影、等立體角投影、體視投影、正交投影。考慮到正交投影模型計算簡單且可建立空間點與球面全景圖像點的可逆變換關係，本文選用該投影模型，如圖 2所示，將點PO正投影到一個與Z軸垂直的全景影像平面以獲得像素坐標p′(x′,y′)，兩者坐標變換關係如下
(6)
由於難以嚴格滿足各子攝像機攝影中心與投影球面中心重合這一設計條件，MPC子攝像機重疊區域同名像素投影到全景圖像平面將存在位置誤差，該誤差大小與球面投影參數(中心位置、半徑大小)選取有關，通常取全部子相機攝影中心的幾何重心為球面投影中心，球面投影半徑為與景深範圍有關的經驗值[2]，本文球面投影參數採用上述文獻設置方式。
由以上球面全景成像過程可以看出，採用「1+N」設計模式的MPC完整參數標定應包括兩部分內容：5(1+N)個攝像機內部參數IOPs，6(1+N)個攝像機外部參數EOPs。目前，單個攝像機內、外部參數利用2D棋盤格多視圖可方便進行求解[23]，困難在於如何簡單、快速獲得MPC子攝像機相對外參。其原因在於兩方面：一是普通棋盤格很難被MPC相鄰子攝像機同時「看」到而不能形成有效的標定控制；二是MPC各子攝像機重疊視角小而難以提供大量冗餘觀測(同名特徵)用於外參優化求解。針對上述問題，這裡假定MPC各子攝像機內參已知，將MPC置於二維轉台對單個棋盤格進行旋轉攝影來進行組合標定，並結合MPC結構設計特點及其旋轉攝影幾何特性，將MPC組合標定分為側視攝像機旋轉序列影像標定和中心攝像機多視幾何標定兩個階段依次實施。
2 側視攝像機旋轉序列影像標定
2.1 旋轉攝影與坐標系設置
如圖 3(a)所示，將MPC置於電腦控制的水平旋轉平台上，按固定角度間隔β旋轉平台一周並同步拍攝顯示在LCD上的棋盤格圖案，可獲得序列影像
圖 3 MPC旋轉攝影
Fig. 3 MPC rotation photography
圖選項
式中，i表示MPC第i個子攝像機Ci；j表示子攝像機Ci在旋轉角度為j×β時採集的第j張影像，這裡N=360/β。
如圖 3(b)所示，本文首先建立世界坐標系OW-XWYWZW與棋盤格對象坐標系OP-XPYPZP，定義如下：世界坐標系原點OW位於轉台平面旋轉中心，ZW軸與轉軸重合(垂直於轉台平面、方向向上)，XW軸位於轉台平面並近似平行於中心攝像機影像水平方向，YW軸根據右手法則給出；棋盤格對象坐標系原點OP位於棋盤格左下角，棋盤格平面定義為OP-XPYP平面，XP軸和YP軸分別平行於棋盤格水平、垂直方向，ZP軸根據右手法則給出。
考慮到實際拍攝條件及參數初始化，這裡安放LCD棋盤格時使其水平方向近似平行於中心攝像機影像水平方向(即XP軸與XW軸近似平行)，則轉台靜止狀態時棋盤格角點(XP,YP)在世界坐標系中的空間坐標(XW,YW,ZW)可表示為
(7)
式中，(XP,YP, 0)為棋盤格角點在OP-XPYPZP中的空間坐標；R(Φ,Ω,Κ)和T分別為棋盤格對象坐標繫到世界坐標系的旋轉矩陣與平移矢量T=[X0,Y0,Z0]T。不難理解，轉台轉動時MPC拍攝靜止棋盤格與轉台靜止時MPC拍攝繞ZW軸旋轉的棋盤格等效(圖 4)。若將世界坐標系水平面OW-XWYWZW沿ZW軸抬高(或降低)以使棋盤格左下角落在水平面上，則式(7)可改寫為
(8)
圖 4 旋轉攝影下的MPC攝影中心運動軌跡俯視
Fig. 4 MPC motion trajectory under rotating photography and top view
圖選項
式中，(XWj,YWj,ZWj)為轉台轉動角度j×β時，棋盤格角點在世界坐標系中的空間坐標；RZT(j×β)=RZ(－j×β)表示棋盤格繞轉台Z軸的旋轉矩陣。
不失一般性，令Si(XSi,YSi,ZSi,ϕi,ωi,κi)表示MPC子攝像機Ci在世界坐標系中的外方位元素，若棋盤格在轉台轉動角度j×β後可由Ci完整觀測，則Ci棋盤格影像角點與其空間點間的坐標映射關係為
(9)
式中，[x,y, －f]T定義同式(2)；Ri為相機Ci在世界坐標系中的外方位轉角矩陣。聯合式(8)和式(9)可得
(10)
式(10)即為本文MPC關於棋盤格參照物的統一旋轉攝影方程。MPC靜止條件下，由於視角問題，同一棋盤格難以被MPC相鄰側視相機同時拍攝，故無法提供控制信息用於側視相機間的相對姿態參數標定計算，而式(10)給出的MPC統一旋轉攝影方程可視為通過平台旋轉將固定視角下的棋盤格控制信息「擴展」到了360°空間範圍，從而為後續MPC不同側視相機外參初始化及其整體優化估計奠定了基礎。
2.2 參數初始化與光束法平差
MPC側視攝像機在世界坐標系下(即轉台靜止時)的外參標定通過最小化棋盤格角點重投影誤差及相鄰側視攝像機重疊區域同名像素重投影誤差得到，關鍵在於給出理想的外參初值。為簡化計算與說明，這裡規定側視攝像機影像像素為理想像點，由攝像機內參計算得到。
攝像機內參已知條件下，利用直接線性變換DLT[24]及棋盤格角點信息可估計得到該攝像機標定影像在棋盤格對象坐標系下的外參，該參數與MPC統一旋轉攝影方程相結合即可給出側視攝像機在世界坐標系下的外參初值。由MPC坐標系設置可知，若棋盤格平面近似垂直於轉台平面，即取(Φ,Ω,Κ)=(0, π/2, 0)，式(10)可簡化為
(11)
當平台旋轉角度為j×β時，若MPC某一側視相機影像Iij可觀測到棋盤格角點空間點(XP, YP, 0)且對應像點為(x,y)，則根據式(11)可得
(12)
式中，Ri,j為MPC側視攝像機Ci棋盤格影像Iij姿態角構成的旋轉矩陣，Ri,j=RZ(j×β)Ri；Ti,j為棋盤格影像Iij的平移向量
兩者即為張正有標定算法輸出的、棋盤格對象坐標下的影像外部參數，則利用式(12)可導出側視相機Ci攝像機在轉台靜止時的外參初值。轉角j×β已知條件下，對於Ci的姿態角元素(ϕi,ωi,κi), 可由Ri,j和RZT(j×β)乘積結果分解得到[21]，並取不同棋盤格影像分解結果的均值；對於攝影中心(XSi,YSi,ZSi)，則由Ti,j、棋盤格對象坐標系相對於世界坐標系的平移矢量T(X0,Y0, 0)聯合給出，具體計算公式為
(13)
式(13)為線性方程，對於單個側視相機，至少2張影像在棋盤格對象坐標系下的攝影中心及對應轉角已知，即可線性求解(XSi,YSi,ZSi,X0,Y0)；對於全部4個側視相機而言，每個相機提供至少1張影像在棋盤格坐標系下的攝影中心及對應轉角可同時線性求解出各側視相機的攝影中心外參初值及平移矢量T。考慮到MPC旋轉攝影時任一側視攝像機可獲得相當數量的棋盤格影像，這裡通過最小二乘估計得到側視相機攝影中心外參及棋盤格平移矢量T的理想初值。
令VF表示棋盤格空間點在序列影像上的重投影誤差，VG表示相鄰側視相機影像重疊區域同名像點的重投影誤差，本文對上述側視相機外參及棋盤格平移矢量初值進行全局優化的目標方程數學表示如下
(14)
式中, ζi={ϕi,ωi,κi,XSi,YSi,ZSi}為側視相機Ci外方位元素；pi,j為棋盤格第s個角點(XPs,YPs, 0)在相機Ci序列影像j上的像點坐標；M為空間點個數；N為子攝像機Ci序列影像數；p′i,j為根據標定參數得到棋盤格角點在相機Ci序列影像j上重投影坐標；ki,j表示相鄰相機第j張影像對應同名像點序號；Mij表示相鄰相機Ci和Ci+1在轉角為j×β時像對Iji和Iji+1同名像點個數；G(ζi,ζi+1)表示相鄰相機同名像點共面方程殘差；VF和VG分別由攝影測量共線方程、同名像點與攝影基線間的共麵條件[21]給出。按間接平差原理[25]最小化式(14)并迭代至預設收斂條件，即可獲得MPC側視相機全部外參及棋盤格對象坐標系與旋轉平台世界坐標系間的旋轉、平移參數最優估計。
3 中心攝像機多視幾何標定
由1.1節給出的旋轉攝影過程可知，MPC中心攝像機將無法拍攝到棋盤格；另外，MPC中心攝像機與全部側視攝像機均存在重疊，故在側視攝像機內外參精確標定前提下，可利用全部側視攝像機與中心攝像機間的多視幾何約束來優化求解中心攝像機外參，潛在問題在於兩者重疊區域偏小而難以提供有效的同名特徵(像點)作為冗餘觀測，幸運的是，該問題可通過定義新MPC世界坐標系及該坐標系下的旋轉攝影過程得到有效解決。不失一般性，令(x0,y0)和(xi,yi)表示MPC中心攝像機C0與某一側視攝像機Ci(i=1, 2, 3, 4)在世界坐標系下(轉台靜止時)影像重疊區域內的同名(理想)像點，則該同名像點與攝影基線滿足共麵條件，應有
(15)
式中
進一步地，當轉台旋轉角度j×β時，C0與Ci的同名(理想)像點同樣滿足共麵條件，應有
(16)
式中，
整理式(16)可得
(17)
因|RZT(j×β)|≠0，由式(17)可知，轉台旋轉時C0與Ci間的共麵條件僅與同名像點坐標及兩者靜止狀態時的攝影基線(外參)有關，這就意味著，可通過旋轉攝影來獲得更多的同名特徵(像點)作為觀測值用於該共面約束下的中心攝像機參數估計目的。式(17)為非線性方程，按泰勒級數展開並取一此項可得誤差方程
(18)
4 試驗與分析
本文在PC機(英特爾E5-1620處理器 & Win10作業系統 & VS2010編譯環境)下實現上述標定算法。算法驗證採用兩種方式：①模擬成像仿真測試。在計算機OpenGL環境及設定虛擬三維場景(含棋盤格)下，按「1+4」設計模式、旋轉攝影要求進行MPC模擬成像以獲得算法所需的旋轉序列影像，該測試條件下MPC攝像機內外參、棋盤格方位參數及旋轉角度βj均精確已知，標定計算時除MPC攝像機內參外其餘參數均作為未知數求解並與其設計(真)值對比以評估算法精度。②實際相機測試。選用某公司五鏡頭攝像機PanoCam及普通數控轉台(角度重定位誤差：[-0.5°, +0.5°])，在室內環境下對繪製在LCD上的棋盤格進行旋轉攝影以獲得算法處理所需的旋轉序列影像，該測試條件下MPC攝像機內外參、棋盤格方位參數及轉台轉角βj均為未知參數，但MPC子攝像機內參由張正有算法計算得到並視為已知值，全部標定參數將用於輸出實際場景的MPC球面全景視頻並與相機自帶軟體輸出視頻對比。上述旋轉攝影時，MPC近似置於(虛擬)轉台中央，轉台旋轉一周MPC各子攝像機拍攝40張影像Iij(i=0, 1, 2, 3, 4;j=0, 1, 2, …, 39)，每旋轉9°β=360°/40)拍攝一張，通過轉速控制使同一側視子攝像機40張序列影像中相鄰影像重疊度不小於60%，側視攝像機完整觀測棋盤格的影像數為5，中心攝像機完整觀測棋盤格的影像數為0；MPC相鄰側視攝像機視頻影像重疊度約10%，側視攝像機與中心攝像機視頻影像重疊度約10%。
4.1 模擬成像仿真測試
本節旨在攝像機內參精確已知條件下考查算法外參標定性能。結合成像設計要求，本文虛擬MPC參數設置如下：全部攝像機像幅大小相同(1280×960像素)、內參相同(焦距f=600像素, 主點位於圖像中心，無光學畸變)；取世界坐標系與中心攝像機C0相機坐標系重合，側視攝像機外部參數ζi={ϕi,ωi,κi,XSi,YSi,ZSi}(i=1, 2, 3, 4)中姿態角ϕ均設為66°，κ均設為0°，ωi依次設為0°、90°、180°和270°；考慮到實際攝影時MPC子攝像機攝影中心不重合，本文將虛擬MPC側視攝像機攝影中心到坐標原點距離設為0.1 m，此條件下參數(XSi,YSi)在坐標軸X、Y附近隨機取值但要求側視相機(C1,C3)的參數(XSi,YSi)關於坐標原點對稱、側視相機(C2,C4)的參數(XSi,YSi)關於坐標原點對稱。用於模擬成像的三維場景為按實際尺寸製作的某廣場模型，如圖 5(a)所示，廣場模型地面高度設為-5m，地面上包括台階、草坪、鋪地等具有深度變化的對象。用於旋轉攝影的虛擬轉台平面與世界坐標系水平面重合，旋轉中心與世界坐標原點重合，水平面上近似垂直放置一塊11×11的虛擬棋盤格。上述設置條件下，虛擬MPC將在地面5 m高度豎直向下對廣場模型及棋盤格進行旋轉攝影，表 1列出了用於仿真測試的虛擬MPC參數及棋盤格方位參數，圖 5(b)給出了轉台靜止時刻的MPC仿真成像結果，圖 5(c)為轉台旋轉一周時MPC各子攝像機仿真成像獲得的部分序列影像Iij。考慮到轉台角度重定位誤差並與實際測試條件保持一致，這裡對每個轉角βj=j×β添加隨機誤差([-0.4°, +0.4°]範圍內隨機數)；為便於優化計算，MPC仿真成像的同時還記錄了棋盤格角點及若干不同深度場景空間點在旋轉序列影像上的投影(像點)坐標，考慮到實際影像觀測值含有誤差，這裡對棋盤格角點的像點坐標引入服從正態分布(均值0、方差δ)的隨機誤差用於評估算法的可靠性，其中δ分別取0、0.2、0.5、1.0和1.5像素。
圖 5 某廣場虛擬三維場景下的MPC仿真成像
Fig. 5 MPC simulation imaging of a virtual 3D scene
圖選項
表 1 用於仿真測試的虛擬MPC外參及棋盤格方位參數設置
Tab. 1 Setting of MPC external parameters and checkerboard orientation parameters for simulation test
表選項
首先對MPC側視攝像機進行標定。根據第1節，初始化轉角βj=j×9並在攝像機內參已知條件下，利用棋盤格對象坐標系下的側視攝像機外參給出其在世界坐標系下的外參及棋盤格方位參數初值，見表 2，進而以棋盤格角點影像投影坐標及相鄰攝像機同名像點坐標為觀測值對初始參數進行優化，表 3列出了棋盤格角點像點坐標引入不同隨機誤差δ下的參數優化(標定)結果。由表 3可以看出，當服從正態分布的隨機誤差函數方差δ增大時，標定模型精度隨之下降，但當δ小於1.5像素時，模型均方根誤差均小於1個像素且對應標定參數與表 1中設定(真)值高度一致(接近)，證明了本文側視攝像機旋轉序列標定算法的有效性與可靠性。圖 6進一步給出了虛擬MPC側視攝像機旋轉標定在不同隨機誤差下的殘差變化曲線，經9~10次疊代即可收斂至預設條件，表明算法具有較高的計算效率。
表 2 虛擬MPC側視攝像機外參及棋盤格方位參數初值
Tab. 2 Initial value of external parameters and checkerboard orientation parameters of virtual MPC side-view camera
表選項
表 3 虛擬MPC側視攝像機外參及棋盤格方位參數標定結果Tab. 3 Calibration results of external parameters and checkerboard orientation parameters of virtual MPC side-view camera
表選項
圖 6 虛擬MPC側視攝像機旋轉標定殘差變化
Fig. 6 Rotation calibration residual variation of virtual MPC side-view camera
圖選項
側視攝像機內、外參已知的前提下，MPC中心攝像機外參初始化、標定計算依據第2節過程實施，表 4列出了MPC中心攝像機外參初值及其在棋盤格角點像點坐標引入不同隨機誤差下的外參標定結果。由表 4可以看出，中心攝像機標定模型精度隨方差δ增大而下降，但模型均方根誤差均小於1個像素且對應標定參數與表 1中設定(真)值高度一致(接近)，證明了本文中心攝像機多視幾何標定算法的有效性與可靠性；對於相同方差δ，中心攝像機標定精度均高於任一側視攝像機，體現出MPC全體側視攝像機與中心攝像機間強烈多視幾何約束在中心攝像機高精度標定方面的優勢。
表 4 不同隨機誤差下虛擬MPC中心攝像機外參標定結果
Tab. 4 Calibration results of virtual MPC center camera under different random errors
表選項
4.2 實際全景相機測試
旨在低精度轉台旋轉攝影條件下，利用本文算法對實際全景攝像機PanoCam的外參進行標定。PanoCam各子攝像機採用同一模組(內參大小接近)，影像幅面大小相同(1280×960像素)，算法所需標定影像由放置轉台上的PanoCam對LCD棋盤格(格網大小11×11，格網間距20.32 mm)旋轉攝影獲取，如圖 7所示，其中圖 7(a)為拍攝場景示意；圖 7(b)為轉台靜止時PanoCam輸出的視頻影像。LCD棋盤格對象坐標系及世界坐標系均按第1.1節所述設置，優化計算所需的棋盤格角點影像坐標利用OPenCV庫[26]中角點算子檢測得到，標定影像重疊區域同名像點(非棋盤格角點)則利用SIFT算子[27]自動匹配得到並採用RANSANC算法剔除野點。表 5列出了由張正有算法給出的PanoCam攝像機內參，表 6同時列出了各側視攝像機標定影像在棋盤格對象坐標系下的外參及該參數下的棋盤格角點平均重投影誤差RMSE_0。
圖 7 PanoCam棋盤格標定影像獲取
Fig. 7 Acquisition of calibration image of checkerboard grid of PanoCam
圖選項
表 5 PanoCam攝像機內參統計
Tab. 5 Statistics of PanoCam IOPs
表選項
表 6 棋盤格對象坐標系下的PanoCam側視攝像機標定影像外參及角點平均重投影誤差統計
Tab. 6 Statistics of External parameters of calibration image of PanoCam side-view camera and average re-projection error of image corners in checkerboard object coordinate system
表選項
與仿真測試過程類似，PanoCam標定首先初始化轉角βj=j×9°並結合表 5中側視攝像機內參、表 6中棋盤格對象坐標系下的標定影像外參，給出側視攝像機在世界坐標系下的外參及棋盤格方位參數初值，見表 7。表 7同時給出了棋盤格角點在該參數下的重投影誤差RMSE_0及相鄰側視攝像機同名像點共面誤差(這裡稱相對定向誤差)RMSE_1。由表 7可以看出，在轉台精度不高及難以滿足棋盤格對象坐標系設置條件(棋盤格平面垂直於轉台平面、棋盤格對象坐標系X軸平行與世界坐標系X軸)而引起的旋轉矩陣R(Φ,Ω,Κ)初始化誤差影響下，利用式(12)—式(13)給出的側視攝像機外參及棋盤格方位參數值無可避免存在誤差，體現為其RMSE_0(約1.7個像素)明顯高於表 6中各側視攝像機標定影像棋盤格角點平均重投影誤差，約9個像素的高誤差RMSE_1則從側面強調了利用標定影像同名像點約束進行攝像機標定的必要性。
表 7 優化前的側視攝像機外參及棋盤格方位參數初值及精度統計
Tab. 7 Accuracy statistics of initial external parameters of side-view camera and checkerboard orientation before optimization
表選項
以棋盤格角點影像投影坐標與相鄰攝像機同名像點坐標為觀測值，表 8給出了本文算法對表 7中初始外參優化結果，可以看出，優化參數下的總體誤差RMSE為0.39，約1/3個像素，已達到高標定精度要求，其中：棋盤格角點重投影誤差RMSE_0為0.30，與表 6中各側視攝像機標定影像棋盤格角點平均重投影誤差相接近，相鄰側視攝像機同名像點相對定向誤差RMSE_1大幅下降至1.38個。圖 8給出了PanoCam全部側視攝像機棋盤格影像(共4×5=20張)轉角標定值與其旋轉攝影設計角度間的誤差，全部影像轉角均方根誤差約0.004 rad，最大誤差約0.006 rad(約等於0.35°)，與轉台自身的角度重複定位精度相符，從側面驗證了標定算法的有效性；圖 9進一步給出了PanoCam側視攝像機旋轉標定的殘差變化曲線，與模擬成像仿真測試效率一致，經9~10次疊代即可收斂至預設條件。
表 8 優化後的側視攝像機外參及棋盤格方位參數及精度統計
Tab. 8 Statistics of initial value and accuracy statistics of external parameters of side view camera and checkerboard orientation after optimization
表選項
圖 8 轉台設定轉角與標定值誤差
Fig. 8 Rotation angle error between setting value and value calibration
圖選項
圖 9 PanoCam側視攝像機旋轉標定殘差變化
Fig. 9 Calibration residual variation of PanoCam side-view camera under rotation
圖選項
表 9分別列出了PanoCam中心攝像機外參初值及其在多視幾何約束下的參數優化結果，圖 10則給出了具體參數及殘差優化計算過程，同樣經9~10次疊代即可收斂至預設條件，具有良好的計算效率。由表 9可以看出，參數優化收斂時的中心攝像機與側視攝像機影像同名像點間的相對定向誤差RMSE_1小於1個像素，具有較高的標定精度並優於表 8中側視攝像機旋轉標定RMSE_1，獲得了與模擬成像仿真測試一致的結論。
表 9 PanoCam's中心攝像機外參初值及優化結果
Tab. 9 Statistics of Initial values and optimization results of external parameters of PanoCam central camera
表選項
圖 10 PanoCam中心攝像機外參優化計算
Fig. 10 EOPs optimization calculation of PanoCam central camera
圖選項
PanoCam設備出廠時其攝像機內、外參數已通過高精度三維標定場檢校得到，並以加密文件方式保存於自帶商業軟體內部用於實時輸出全景視頻，因無法直接進行參數比較，這裡對標定參數輸出的全景視頻進行對比分析。本文全景視頻按文獻[2]方式生成且未進行平滑處理[28]，PanoCam自帶軟體輸出全景視頻進行了平滑處理，如圖 11所示，其中圖 11(a)—(b)分別為PanoCam在兩個不同場景(室內、室外)某時刻採集的視頻影像，圖 11(c)—(d)為PanoCam商業軟體輸出結果，圖 11(e)—(f)為本文標定參數輸出結果，圖 11(g)—(h)分別為本文標定參數及PanoCam商業軟體對圖 7(b)中標定影像輸出結果。對比圖 11(c)和11(e)、圖 11(d)和11(f)可以看出，兩者輸出全景視頻質量整體接近，表明本文方法參數標定精度在球面全景視頻輸出質量上媲美高精度三維標定場；對比圖 11(g)和11(h)可看出，本文標定參數輸出全景視頻質量更優，後者視頻重疊區域視差偽影[29]更明顯(矩形框標記), 其原因在於，MPC全景視頻輸出質量受攝像機攝影中心不重合、場景深度變化及潛在的攝像機標定誤差三方面影響, 本文MPC外參優化依據之一就是最小化反映場景深度變化的、相鄰攝像機同名像素重投影誤差，故能有效克服視頻重疊區域視差偽影，而PanoCam商業軟體攝像機參數是在特定場景深度的標定環境下獲得，MPC攝像機攝影中心不重合使得該參數不能很好適應新的場景深度變化，這也從側面證明了本文標定參數的準確性。
圖 11 不同標定參數下的PanoCam球面全景視頻輸出對比
Fig. 11 Comparison of spherical panoramic video outputted by PanoCam under different calibration parameters
圖選項
需要指出的是，本文選用的PanoCam主要用於深度變化有限的室內應用場景，其子攝像機為短焦(2.8 mm鏡頭)，標定計算時僅以普通LCD(24×15 inch)顯示棋盤格作為標定參照物且轉台中心距LCD垂直距離不大(約0.37 m)情況下即可獲得令人滿意的精度；但對於存在較大深度變化的室外場景，需增大MPC攝像機焦距長度以保證其輸出視頻的應用解析度，此時為獲得清晰、完整的棋盤格影像用於標定計算，可選用更大幅面LCD進行棋盤格繪製並增大LCD與轉台中心距離，相應地，參與標定計算的棋盤格標定影像數有所增加，但本文方法仍可適用。為避免MPC旋轉攝影產生運動模糊，進而影響影像特徵提取及後續標定計算精度，本文方法要求MPC按設定角度間隔旋轉後靜止2~3 s再進行攝影，故不受旋轉平台轉速影響，但旋轉角度間隔需綜合考慮LCD幅面、LCD與轉台中心距離及MPC攝像機焦距大小進行設計，以確保MPC旋轉一周時其同一側視子攝像機獲取的序列影像相鄰重疊度不小於60%，連續完整觀測棋盤格的影像數不少於5張；此外，本文方法要求MPC側視攝像機與中心攝像機視頻影像重疊度應不少於10%，以確保能自動匹配獲得一定數目的同名像點用於MPC中心攝像機多視幾何標定計算。本文研究結果表明：
(1) 綜合考慮棋盤格對象坐標系與轉台世界坐標系設置建立的旋轉攝影嚴格方程是合理的，不僅能擴大單棋盤格標定控制範圍還可給出良好的側視攝像機外參初值，從而確保MPC側視攝像機外參的穩定、可靠求解。
(2) 利用MPC多視幾何關係求解中心攝像機外參是有效的，同時旋轉攝影也解決了中心攝像機與單個側視攝像機因重疊視野小而無法提供有效同名像點作為觀測值之不足，從而確保MPC中心攝像機外參的穩定、高精度求解。
(3) 結合普通二維轉台與棋盤格標定參照物對MPC外參進行組合標定是可行的，成功擺脫傳統MPC外參估計依賴於3D標定場之應用限制，且全景視頻輸出效果媲美高精度三維標定場標定參數。
5 總結
攝像機參數的精確獲取是MPC輸出高質量全景視頻的前提，但傳統MPC組合標定依賴於高精度3D控制信息，實施成本高且需專業人員操作，對MPC應用開展形成限制。據此本文以LCD棋盤格作為標定參照物，提出一種結合旋轉攝影的MPC棋盤格組合標定方法，通過可控的旋轉攝影擴大單個2D棋盤格參照物對MPC的標定控制範圍並增加MPC子攝像機間的連接點作為冗餘觀測值，將MPC置於普通二維轉台僅需一周旋轉成像即可實現MPC外參嚴格解算，成本低、精度高、操作簡單、對實施條件依賴小，全景視頻輸出效果媲美高精度三維標定場標定參數，是一種較理想的MPC組合標定方法。本文標定過程中MPC子攝像機內參利用張正有標定算法給並作為已知值，但通過合理的拍照控制設計(如增加轉台旋轉周數並改變LCD相對於轉台平面的角度)可獲得滿足張正友標定算法要求的多視角棋盤格標定影像，從這一角度而言，本文方法可實現MPC攝像機內、外參數的完整標定。本文方法並未考慮棋盤格角點提取精度問題，下一步工作將引入更準確的角點檢測算法並採用不同大小標定板進行精度驗證，同時也將結合更多實際場景對本文方法進行測試並不斷優化標定方案、流程，以使之實用化。
作者簡介
第一作者簡介：黃明益(1989—),男,博士生,主要研究方向為攝像機標定、影像地理配准、視頻融合等。E-mail：1240409615@qq.com
通信作者：吳軍, E-mail：wujun93161@163.com
初審：張艷玲
覆審：宋啟凡
終審：金 君
資訊