[科普中國(guó)]-全景鏡頭

簡(jiǎn)介

全景技術(shù)是目前迅速發(fā)展的一種新型視覺(jué)技術(shù)，利用特殊的全景成像裝置可以獲得水平方 向上全360°，在垂直方向一定 角度 的視 場(chǎng)。這 種 成像方式能實(shí)時(shí)提供對(duì)象和環(huán)境的全方位信息，為后續(xù)的圖像處理和分析爭(zhēng)取時(shí)間。全景鏡頭技術(shù)在機(jī)器視覺(jué)、管道探測(cè)、醫(yī)學(xué)內(nèi)窺檢查、周視監(jiān)測(cè)等方面有著非常重要的意義，在航空、國(guó) 防、民用、醫(yī)學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。1

早期為了獲得大視場(chǎng)成像，通常采用魚(yú)眼透鏡和旋轉(zhuǎn)拼接技術(shù)，利用魚(yú)眼透鏡能獲得接近半球的視場(chǎng)，但其 畸 變 較大，且結(jié)構(gòu)復(fù)雜，造價(jià)昂貴；旋轉(zhuǎn)拼接技術(shù)缺點(diǎn)是視場(chǎng)拼接復(fù)雜，不易小型化，且不能對(duì)環(huán)境瞬時(shí)成像，實(shí)時(shí)性較差。為獲得360°全景像，人們提出了平面圓柱投影法（flat cylinder perspective，F(xiàn)CP），將一個(gè)柱面視場(chǎng)投影到二維像平面。繼 Mangin在1878年采用這種方法設(shè)計(jì)了觀察天空的全景望遠(yuǎn) 鏡 后，世界各地 都出現(xiàn)了采用平面圓柱投影法的全景光 學(xué)系統(tǒng)專(zhuān)利，按反射次數(shù)分類(lèi)可分為兩類(lèi)：?jiǎn)畏瓷涿嬲鄯瓷淙俺上裣到y(tǒng)和多次反射面折反射全景成像系統(tǒng)前 者 特點(diǎn)是：成像視場(chǎng)大，結(jié)構(gòu)簡(jiǎn)單，成本低廉，且單個(gè)反射面易于設(shè)計(jì)和加工，缺點(diǎn)是大視場(chǎng)情況下反射面比較龐大，系統(tǒng)很難小型化；后者采用多次反射獲得大視場(chǎng)，系統(tǒng)較小，結(jié)構(gòu)緊湊。其中應(yīng)用較廣泛的是 P．Greguess在1986年提出的全景環(huán)形鏡頭，其將反射面和折射面集成在同一透鏡上，結(jié)構(gòu)較緊湊。2

全景環(huán)形鏡頭工作原理全景環(huán)形鏡頭的核心元件是前端的凹凸反射鏡結(jié)構(gòu)，它是實(shí)現(xiàn)大視場(chǎng)成像的基礎(chǔ)，其結(jié)構(gòu)如圖所示。凹凸反射鏡結(jié)構(gòu)包括2個(gè)折射面（3，4）和2個(gè)反射面（1，2），軸上光線(xiàn)及小角度入射光線(xiàn)被反射鏡1阻擋，無(wú)法進(jìn)入全景鏡頭成像，形成中央盲區(qū)。物空間 AB 區(qū)域內(nèi) 發(fā) 出的光 線(xiàn) 從 折 射面 3入射，經(jīng)過(guò)反射面2反射后，再經(jīng)過(guò)反射面1，最后通過(guò)折射面4出射，其先在兩鏡結(jié)構(gòu)內(nèi)成一虛像，中間虛像經(jīng)過(guò)中續(xù)系統(tǒng)轉(zhuǎn)接后再成像在像面探測(cè)器上形成環(huán)帶像。入射光線(xiàn)從折射面3入射時(shí)，光軸下半部分光線(xiàn)入射到反射面2上半部分，光軸上半部分光線(xiàn)入射到反射面2下半部分，這樣大大提高了系統(tǒng)的視場(chǎng)范圍，使得整個(gè) 系 統(tǒng)成 為 具有大視場(chǎng)角的光學(xué)系統(tǒng)。全景環(huán) 形 鏡 頭 在 探 測(cè) 器 上 所 成 的 像 為 環(huán) 帶像，同一視場(chǎng)角下的景物在像面上位于同一個(gè)圓，該圓的半徑就是像高。環(huán)狀像面的內(nèi)半徑由環(huán)帶鏡頭視場(chǎng)上邊緣對(duì)應(yīng)的視場(chǎng) 角 決 定，外 半 徑由 環(huán)帶鏡頭的下邊緣對(duì)應(yīng)的視場(chǎng)角決定。

P. Greguss提出的全景環(huán)形鏡頭模型,成像原理為由兩個(gè)折射面和兩個(gè)反射面構(gòu)成前面的模塊,以一定角度入射的光束經(jīng)全景環(huán)形成像模塊的兩次折射和兩次反射后在全景環(huán)形模塊的內(nèi)部或后面形成一虛像,中繼系統(tǒng)轉(zhuǎn)接中間虛像,并將最后的像成在像面?zhèn)鞲衅魃?。全景環(huán)形結(jié)構(gòu)的兩次反射都發(fā)生在全景環(huán)形模塊的內(nèi)部,其特殊的結(jié)構(gòu)和成像模式使其對(duì)光線(xiàn)的走向有嚴(yán)格的限制,入射的全口徑光束中僅有一部分能通過(guò)全景環(huán)形鏡頭成像,所以入射光束的寬度相對(duì)較小,且不同角度入射的光束從第一個(gè)折射面的不同位置入射,相當(dāng)于掃描成像系統(tǒng)中的角度掃描,整體系統(tǒng)近似滿(mǎn)足f-θ成像,像高h(yuǎn)= fθ。

應(yīng)用圓柱投影法的全景鏡頭期以來(lái),人們一直對(duì)于全景成像技術(shù)的實(shí)現(xiàn)方式有濃厚的興趣,傳統(tǒng)的成像設(shè)備基于中心投影法,是人眼觀察外部世界的方式,也是針孔相機(jī)的成像方式,為了獲得360°的全景圖像,需要一個(gè)無(wú)限大的像平面,物理上很難實(shí)現(xiàn)。3隨著計(jì)算機(jī)技術(shù)和數(shù)字圖像傳感器的發(fā)展,對(duì)數(shù)字相機(jī)繞其光軸旋轉(zhuǎn)所拍得的序列圖像進(jìn)行無(wú)縫拼接,既可以獲得人工合成的全景圖像,也可以采取圍繞一個(gè)固定點(diǎn)安裝多個(gè)攝像機(jī),使得攝像機(jī)的全部視場(chǎng)加起來(lái)形成全景視場(chǎng),所得到的圖像仍然需要拼接,成像機(jī)理仍然是中心投影法。為了克服中心投影法的缺陷,人們提出了平面圓柱投影法,在三維空間視場(chǎng)和有限的二維像平面建立了一種新的投影關(guān)系,即將三維圓柱區(qū)域通過(guò)特殊的系統(tǒng)投影到二維平面的圓環(huán)區(qū)域,如圖所示。環(huán)形像的寬度對(duì)應(yīng)圓柱視場(chǎng)上與光軸形成的視場(chǎng)角,相面上的每個(gè)同心圓代表物空間與光軸成一定夾角的圓柱面的投影,滅點(diǎn)在圓心,其中張角T所對(duì)應(yīng)的圓柱面是視場(chǎng)區(qū)域,2U角所圍成的區(qū)域?yàn)橐晥?chǎng)的盲區(qū),T和U隨系統(tǒng)的不同大小有差別。

基于魚(yú)眼透鏡的全景鏡頭一種有效的實(shí)現(xiàn)大視場(chǎng)方式的方式是基于魚(yú)眼透鏡的成像系統(tǒng),魚(yú)眼透鏡實(shí)際上是超廣角物鏡,超廣角物鏡由于有非常短的焦距,通常焦距小于16mm,因此能獲得接近半球或者大于半球的全景視場(chǎng),圖2為一種結(jié)構(gòu)的魚(yú)眼透鏡,在獲得大視場(chǎng)的同時(shí),魚(yú)眼透鏡的設(shè)計(jì)者必須做出犧牲,即允許桶形畸變的存在,結(jié)果是除了圖像中心的景物保持不變,其它本應(yīng)水平和垂直的景物沿各個(gè)方向從中心向外輻射。目前該技術(shù)發(fā)展已經(jīng)比較成熟,很難再增大視場(chǎng)。雖然理論上物像關(guān)系是一一對(duì)應(yīng),但是因?yàn)榻Y(jié)構(gòu)復(fù)雜,故校正起來(lái)比較困難。另外,為了獲得大于半球的視場(chǎng),高質(zhì)量的魚(yú)眼透鏡通常要采用10片以上的透鏡和高質(zhì)量的光學(xué)材料,系統(tǒng)復(fù)雜,造價(jià)昂貴。4

旋轉(zhuǎn)拼接式全景成像系統(tǒng)隨著計(jì)算機(jī)和數(shù)字圖像處理技術(shù)的發(fā)展,采用常規(guī)光學(xué)鏡頭,繞與光軸垂直的固定軸旋轉(zhuǎn),或者圍繞垂直光軸的固定點(diǎn)安裝多個(gè)常規(guī)成像系統(tǒng),將得到的序列圖像進(jìn)行拼接,得到人工制造的全景圖像,這是一種硬件和軟件相結(jié)合的方法。國(guó)內(nèi)一些機(jī)構(gòu)在80年代就研制出旋轉(zhuǎn)式全景相機(jī)并投入使用。其中硬件部分必須有精確的轉(zhuǎn)動(dòng)機(jī)構(gòu),常規(guī)相機(jī)可以是普通透鏡相機(jī)也可以是魚(yú)眼透鏡的相機(jī),采用后者的好處在于它本身已經(jīng)有很大的視場(chǎng),所以一般只需要2～ 3幅圖像就可以獲得全景,但是圖像需要校正。圖為旋轉(zhuǎn)拼接式全景成像的模型,攝像機(jī)通過(guò)圍繞固定點(diǎn)旋轉(zhuǎn)掃描得到全景視場(chǎng)。由硬件部分得到的序列圖像必須通過(guò)軟件進(jìn)行無(wú)縫拼接,目前有大量的商業(yè)和免費(fèi)的圖像拼接軟件,例如Pixround公司PixMaker Value軟件可以將不同方向視場(chǎng)的圖像進(jìn)行無(wú)縫拼接,得到一幅全景圖像,。

該系統(tǒng)的缺點(diǎn)在于由于系統(tǒng)中存在轉(zhuǎn)動(dòng)機(jī)構(gòu),故系統(tǒng)的實(shí)時(shí)性很難得到滿(mǎn)足,在實(shí)時(shí)性要求較高的場(chǎng)合無(wú)法應(yīng)用。由于每一幅要拼接的圖像是用常規(guī)相機(jī)獲得,可以得到很高的分辨力,因此拼接后的整個(gè)全景圖像的分辨力也很高,前面提到了“勇氣”號(hào)火星探測(cè)的全景相機(jī)就是采用常規(guī)相機(jī)旋轉(zhuǎn)構(gòu)成。在計(jì)算機(jī)視覺(jué)和一些實(shí)時(shí)性要求不高的場(chǎng)合,尤其是全景3D的重建,該技術(shù)得到了廣泛的應(yīng)用。

折反射全景成像系統(tǒng)折反射全景成像遵循平面圓柱投影法,圖像的滅點(diǎn)不再是一條直線(xiàn),而是一個(gè)點(diǎn),系統(tǒng)是在常規(guī)成像系統(tǒng)的前面加入反射面達(dá)到圓柱投影的目的,經(jīng)過(guò)精心設(shè)計(jì),可以使它的成像范圍大大超過(guò)遵循中心投影法的純折射式系統(tǒng),且容易構(gòu)成f-θ系統(tǒng)。最簡(jiǎn)單的折反射全景成像系統(tǒng)由一個(gè)常規(guī)的相機(jī)和一個(gè)反射面構(gòu)成,如圖5所示。折反射全景光學(xué)系統(tǒng)按照其是否滿(mǎn)足單視點(diǎn)約束可以分為單視點(diǎn)成像系統(tǒng)和非單視點(diǎn)成像系統(tǒng)。單視點(diǎn)滿(mǎn)足針孔成像模型,也是目前計(jì)算機(jī)視覺(jué)所采用的基本模型,但是單視點(diǎn)物像關(guān)系對(duì)應(yīng)復(fù)雜,透視全景成像的校正算法復(fù)雜,計(jì)算量大;非單視點(diǎn)全景成像系統(tǒng)由于視點(diǎn)不是固定點(diǎn),而是在一個(gè)比較小的區(qū)域,因此物像關(guān)系可以線(xiàn)性的對(duì)應(yīng),使得全景投影算法簡(jiǎn)單。5

按照反射次數(shù)的多少,折反射全景成像系統(tǒng)可以分為單反射面全景成像系統(tǒng)和多反射面全景成像系統(tǒng)(一般反射兩次)。單反射全景成像系統(tǒng)采用現(xiàn)成的成像設(shè)備,結(jié)構(gòu)簡(jiǎn)單,成本低廉,單個(gè)反射面易于設(shè)計(jì)加工,但缺點(diǎn)是不利于系統(tǒng)的小型化,要獲得大視場(chǎng),反射面設(shè)計(jì)的比較龐大,系統(tǒng)很難集成;多反射面全景成像系統(tǒng)采用多次反射,獲得大視場(chǎng),將反射面和折射面集成在一起,系統(tǒng)較小,結(jié)構(gòu)緊湊,缺點(diǎn)是光學(xué)結(jié)構(gòu)設(shè)計(jì)復(fù)雜。