當光學(xué)“邂逅”AI，成就5G、6G的“殺手級應(yīng)用”？

計算光學(xué)可以理解為信息編碼的光學(xué)成像方法，"其本質(zhì)是光場信息的獲取和解譯，是在幾何光學(xué)成像的基礎(chǔ)上引入物理光學(xué)信息，以信息傳遞為準則，通過信息獲取更高維度的信息"。計算光學(xué)成像是下一代光電成像技術(shù)，是光電成像技術(shù)步入信息時代的必然產(chǎn)物。

背景篇——光電成像的原理

光電成像的本質(zhì)是光場信息的獲取與解譯。所謂的光場解譯是指對傳統(tǒng)光電成像系統(tǒng)中所捕捉到的圖像信息進行更深入的分析和解讀。傳統(tǒng)光電成像系統(tǒng)只能記錄二維空間上的光強度分布，類似于人眼視覺。然而，實際上，成像系統(tǒng)中所包含的信息要比我們所看到的圖像更多。光場解譯則是通過對這些信息的分析和解讀，來獲取更多有用的信息。通過光場解譯，我們可以對一些隱含在圖像中的信息進行提取和解讀，因而引出了計算光學(xué)成像。

圖1 光場包含的信息

什么是計算光學(xué)成像

計算光學(xué)成像在傳統(tǒng)幾何光學(xué)的基礎(chǔ)上，有機融入了物理光學(xué)的信息，如偏振、相位、軌道角動量等物理量，以信息傳遞為準則，多維度獲取光場信息，并結(jié)合數(shù)學(xué)和信號處理知識，深度挖掘光場信息，通過物理過程解譯獲取更高維度的信息，是下一代的光電成像技術(shù)。

和傳統(tǒng)成像的比較

傳統(tǒng)光學(xué)成像系統(tǒng)采用的是“先成像，后處理”的成像方式，即當成像效果不佳時，需要使用Photoshop、“美圖秀秀”等工具對圖像進一步的加工。這時圖像處理算法被認為是后處理過程，并不納入成像系統(tǒng)設(shè)計的考慮之中。

計算光學(xué)成像采用的“先調(diào)制，再拍攝，最后解調(diào)”的成像方式。將光學(xué)系統(tǒng) (照明、光學(xué)器件、光探測器)與數(shù)字圖像處理算法作為一個整體考慮，前端成像元件與后端數(shù)據(jù)處理二者相輔相成，成為有機的整體。

圖2 計算光學(xué)成像系統(tǒng)的成像過程

計算光學(xué)成像通過對照明與成像系統(tǒng)引入可控的編碼，如照明編碼、波前編碼、孔徑編碼等，將更多的光場信息調(diào)制到傳感器拍攝到的原始圖像中，這個圖像又被稱作中間像（Intermediate image），因為這個圖像調(diào)制了很多額外的光場信息，因此往往無法直接使用和觀測。然后在解調(diào)階段，將上述調(diào)制拍攝階段建立的基于幾何光學(xué)、波動光學(xué)的數(shù)學(xué)模型進行“逆向求解”，用計算重構(gòu)的方式來獲取更多的光場信息。也就是說“計算成像”中的圖像不是直接拍攝到的，而是通過“編解碼”的方式計算得到的，光學(xué)編碼有孔徑編碼、探測器編碼等多種方式，這也就是計算成像中計算的含義。?????????

發(fā)展簡述

“計算成像”思想最早應(yīng)用在光電探測系統(tǒng)的合成孔徑雷達中，美國科羅拉多大學(xué)在1984年提出真正意義上采用“計算成像”思想聯(lián)合設(shè)計光學(xué)，1995年Dowski和 Cathey提出了波前編碼技術(shù)，是計算光學(xué)成像技術(shù)從理論走向?qū)嶋H應(yīng)用的轉(zhuǎn)折點。2004 年，Levoy課題組構(gòu)建了多相機陣列系統(tǒng)，將計算光學(xué)成像應(yīng)用于合成孔徑成像、高速攝影、HDR成像。2006年Lytro 公司，先后推出了Lytro I、Lytro II兩款商業(yè)級手持式微透鏡型光場相機，可實現(xiàn)先拍照后對焦的全景深拍攝，光場成像從此進入了大眾的視野。

國內(nèi)計算光學(xué)成像研究也在和國際同步進行。中國科學(xué)院光電研究院計算光學(xué)成像技術(shù)實驗室在計算光譜、光場和主動三維成像等方面進行了大量研究；清華大學(xué)國家信息實驗室、光電工程研究所在計算光場成像、顯微成像等方面做出重要貢獻；西安電子科技大學(xué)計算成像重點實驗室開展了基于散射成像、偏振成像、廣域高分辨率計算成像等技術(shù)的研究；北京理工大學(xué)光學(xué)成像與計算實驗室、測量與成像實驗室也針對計算顯示、計算光譜成像等提出了優(yōu)化的解決方案；南京理工大學(xué)智能計算成像實驗室在定量相位成像、數(shù)字全息成像和計算三維成像等方面取得優(yōu)秀成果。

技術(shù)篇

計算光學(xué)成像技術(shù)的出現(xiàn)延伸并擴展了人眼的視覺特性，創(chuàng)新地將傳統(tǒng)光電成像流程中末端的信息處理和計算拓展到成像過程中，將一些傳統(tǒng)部分物理上難以突破的光學(xué)問題轉(zhuǎn)換為數(shù)學(xué)和信息處理問題，將硬件設(shè)計與軟件計算相結(jié)合。充分挖掘光信號的信息處理的潛力，解決傳統(tǒng)光電成像技術(shù)中“看不見”、“看不清”、“看不全”的問題，朝著更高的分辨率，更遠的作用距離，更廣的視場，更小的光學(xué)成像體系，更強的環(huán)境適應(yīng)性發(fā)展。

圖3 光學(xué)成像技術(shù)的五方面發(fā)展目標

與鏈路單一計算、獨立優(yōu)化的傳統(tǒng)光電成像不同，計算成像通過引入全鏈路一體化全局優(yōu)化思想，將傳輸介質(zhì)（如大氣、水體等）也并入成像模型中，可帶來作用距離提升、環(huán)境適應(yīng)性提升等，突破傳統(tǒng)成像的極限。其全鏈路包括光源（Light source）、成像目標（Target）、傳輸介質(zhì)（Transmission media）、光學(xué)系統(tǒng)（optical system）、感光電子元器件（CCD）、外部電路（External circuitry）、計算機（Computer）等。

圖4 全鏈路光路成像模型

本文著重從光場采集及三維顯示兩個方面對光場技術(shù)進行介紹。

光場采集現(xiàn)有的光場采集方法可分為三個類型：時序采集、多傳感器采集和多路復(fù)用采集。采集光場的多視點信息可以用于光場的顯示。

時序采集

時序采集一般將傳統(tǒng)單體相機安裝到機械移動裝置上，通過調(diào)節(jié)機械裝置來對目標場景進行不同視角圖像采集。然而這種方式，在移動機械裝置時需要耗費一定時間，所以僅能拍攝靜態(tài)物體，為了解決這個問題，多傳感器采集法應(yīng)運而生。

多傳感器采集

多傳感器采集一般指基于相機陣列（Camera Array）的光場相機。多相機組合法采用多個傳統(tǒng)相機組成相機陣列，形成有多個鏡頭投影中心組成虛擬投影參考平面，以及多個CCD(或CMOS)組成的虛擬成像平面。通過多個相機同時來獲取目標場景中同一個點處不同視角的光線輻射強度，每個相機拍攝的圖像可以看作是光場在不同角度的采樣圖像。

調(diào)整相機陣列里各個子相機間的距離，可以實現(xiàn)整個相機陣列的不同用途。當所有相機間的距離比較小時，整個相機陣列可以看做一個單目相機；當所有的相機之間的距離為中等尺度時，整個相機陣列可以看作是一個擁有合成孔徑的相機；當所有的相機之間距離很大時，整個相機陣列可以看成一個多目相機，此時可以得到物體的多視角信息，從而利用多視角信息構(gòu)建全景照片。

比較有代表性有Jason Yang于2002年在MIT搭建出的全世界第一套8x8個相機組成的實時相機陣列，可同時獲取目標場景64個視角的圖像。Bennett Wilburn在2005年進一步增加相機數(shù)量到約100個能力更強，但是成本高體積大，Pelican公司2013年通過優(yōu)化光學(xué)設(shè)計和應(yīng)用光場超分辨算法制造了小巧的4x4相機陣列，并且是獨立的光場相機模塊，整個設(shè)備比硬幣還小，可集成到手機中。

圖5 Bennett Wilburn于2005年設(shè)計的大規(guī)模光場相機陣列

多路復(fù)用成像

多傳感器采集光場缺點是只能用于特定區(qū)域采集靜止或緩慢移動的場景。而多路復(fù)用成像方法可以解決這個問題。多路復(fù)用成像分為空間復(fù)用和頻率復(fù)用。

空間復(fù)用：采用在圖像傳感器上安裝微透鏡陣列來實現(xiàn)。例如全光相機，也稱為光場相機，其形狀、體積、操作和普通相機相似，通過將角域（角度信息）復(fù)用到空間(或頻率)域中來將四維光場編碼到二維傳感器平面。

下面講一下光場相機的原理?，F(xiàn)實生活中的物體表面一般為漫反射，譬如下圖中A點，如果為理想漫反射表面，會向半球180度范圍內(nèi)發(fā)出光線，采用透鏡小孔成像，物體表面A點在一定角度范圍內(nèi)發(fā)出的所有光線經(jīng)過透鏡聚焦在成像傳感器A’點，并對該角度范圍內(nèi)所有光線進行積分，積分結(jié)果作為A點像素值。這大大增加了成像的信噪比，但同時也將A點在該角度范圍內(nèi)各方向的光線耦合在一起。

圖6 透鏡小孔成像原理

全光函數(shù)是指在空間和時間上描述光場變化的函數(shù)，為獲取全光函數(shù)中的角度信息，1992年Adelson提出了全光相機（也叫光場相機）模型，在傳統(tǒng)相機基礎(chǔ)上加入了微透鏡陣列，物體表面光線首先經(jīng)過主鏡頭，然后經(jīng)過微透鏡，最后到達成像傳感器，每個微透鏡捕獲光線在主透鏡處的所有角度分布。如圖7所示，物體表面A點在FOP（Field Of Parallax，視差范圍）角度范圍內(nèi)發(fā)出的光線（同一點的不同角度光線用不同顏色表示）進入相機主鏡頭并聚焦于微透鏡，微透鏡將光線分成4x4束，并被成像傳感器上對應(yīng)的16個像素記錄。類似的，空間中其它發(fā)光點，例如B點和C點，在其FOP角度范圍內(nèi)的光線都被分成4x4束并被分別記錄。

圖 7 透鏡陣列4D光場的圖像分辨率和角度分辨率

2011年Lytro公司根據(jù)全光相機原理發(fā)售了世界上第一款消費級光場相機Lytro。

圖 8 Raytrix 基于微透鏡陣列的光場相機

空間復(fù)用是采集光場最廣泛使用的方法，但也存在問題，就是圖像分辨率和角度分辨率兩者相互制約，此消彼長。另外由于微透鏡直接距離很小，所以采集光場的視差角度較小，只能在較小的角度范圍內(nèi)變換視點。

頻率復(fù)用：近年來隨著壓縮感知等信息論技術(shù)的發(fā)展，為了解決空間復(fù)用方法必須對圖像分辨率和角度分辨率進行折中的問題，也產(chǎn)生了一些例如基于掩膜（Mask）的頻率復(fù)用方法。 基于掩膜的方案可以通過事先對光場的學(xué)習(xí)得到光場字典，從而去掉光場的冗余性實現(xiàn)了采集更少的數(shù)據(jù)量便可重建出完整的光場。如圖9所示，在傳統(tǒng)相機的成像光路中加入一片半透明的編碼掩膜，掩膜上每個像素點的光線透過率都不一樣，進入光圈的光線在到達成像傳感器之前會被掩膜調(diào)制，經(jīng)過掩膜調(diào)制后的光線到達成像傳感器。通過事先學(xué)習(xí)的完備光場字典，從單幅采集編碼的2D調(diào)制圖像就可以重建出完整的光場。

圖 9 掩膜光場相機原理

基于編碼掩膜的光場采集方案雖然可以解決圖像分辨率和角度分辨率的矛盾，但是，透光率不能達到100%，因此會造成光線信號強度損失，導(dǎo)致成像信噪比低；同時所重建的最終光場圖像是通過從被調(diào)制的圖像中進行解調(diào)制得到，而不是直接通過成像傳感器采集得到，因此會依賴已學(xué)習(xí)光場字典的正確性。

綜上所述，現(xiàn)有的光場采集方式主要是通過多傳感器采集的相機陣列方式或空間多路復(fù)用成像的基于微透鏡的全光相機或頻域多路復(fù)用的基于掩膜的全光相機對光線進行多角度采樣來記錄光場。不同的光場采集設(shè)備通過不同的技術(shù)方案各自解決了一定的問題，按照不同的場景需求，不斷的對軟硬件方面進行突破，隨著技術(shù)的不斷進步，相信在光場采集方面會有更好更輕量的解決方案。

三維顯示

真實世界的景物是三維立體的，傳統(tǒng)的二維顯示只能獲取空間物體某一截面的二維圖像信息，缺乏深度信息，存在信息量缺失和真實性不足的問題。因此，具有更好沉浸感的三維顯示技術(shù)是新型顯示技術(shù)的重要發(fā)展方向。

三維深度線索

三維深度線索泛指一切可以為使用者提供深度感知的特征信息，是三維顯示效果的關(guān)鍵，分為心理學(xué)和生理學(xué)兩類。

心理學(xué)深度線索是指二維畫面誘發(fā)三維感知的特征信息，主要包括線性透視、遮擋、陰影、紋理和先驗知識等。生理學(xué)深度線索指的是通過三維場景空間位置關(guān)系誘發(fā)的三維感知特征信息，可進一步分為雙目深度線索和單目深度線索兩類。

對于三維顯示而言，心理學(xué)深度線索更容易實現(xiàn)，傳統(tǒng)的超高清通過細致紋理和陰影等效果也可以實現(xiàn)一定的立體感，例如戶外大屏裸眼3D效果和手機裸眼3D彩鈴等。生理學(xué)線索實現(xiàn)難度相對較大，隨著技術(shù)發(fā)展，雙目立體視覺已經(jīng)相對成熟，通過VR設(shè)備、裸眼3D設(shè)備等漸入大眾視野，而單目深度線索相對更難實現(xiàn)。

三維顯示技術(shù)分類

根據(jù)實現(xiàn)立體效果的機制不同，三維顯示可分為：觀看者佩戴眼鏡等助視設(shè)備的助視3D顯示，如紅藍眼鏡等；此外還有向左右眼投射不同的圖像來產(chǎn)生立體感的雙目視差3D顯示；以及真3D顯示，提供近乎真實的3D圖像信息和真正的物理景深，包含光場顯示、體顯示、全息顯示等。助視3D技術(shù)效果差比較陳舊，在此不細述，下面擇要介紹雙目視差 3D 顯示、光場顯示、體顯示和全息顯示。

圖 10 3D顯示分類

雙目視差3D

雙目視差3D有傳統(tǒng)基于狹縫光柵、柱狀透鏡方法，也有基于指向背光的視差型三維顯示，維持了觀看者在觀看區(qū)域內(nèi)左眼或右眼所感知的面板分辨率。其利用時空復(fù)用3D顯示技術(shù)，基于控制光線出射方向的指向型背光結(jié)構(gòu)設(shè)計，結(jié)合高速刷新的LCD 顯示技術(shù)，利用時間復(fù)用的方法實現(xiàn)全分辨率的3D顯示效果。

圖 11 指向背光顯示原理

光場顯示

視差型三維顯示在某一時刻視顯示呈現(xiàn)的是幾個分立的視點圖像，而光場顯示呈現(xiàn)的是在一定角度范圍內(nèi)連續(xù)或準連續(xù)的視點圖像。光場顯示技術(shù)按實現(xiàn)原理可劃分為壓縮光場顯示、指向光場顯示和集成成像顯示等。

壓縮光場顯示

也稱為層疊光場顯示，因其采用多層結(jié)構(gòu)，利用層疊的顯示層實現(xiàn)對一定角度范圍內(nèi)的光線強度的調(diào)制。因具有多層屏幕結(jié)構(gòu)，其可以實現(xiàn)高動態(tài)范圍或者超分辨率的2D圖像顯示。壓縮光場顯示利用了三維場景視點圖像之間的強相關(guān)性，將一定觀看角度的目標光場“壓縮”到多張二維圖案中。但是也因如此，其在顯示不相關(guān)的多視點圖像時會有很大的串擾。壓縮光場顯示視場角有限，通過增加顯示器的層數(shù)或提高刷新率可以擴大視角，但是增加顯示器層數(shù)將增加硬件和計算復(fù)雜度，光學(xué)效率也會以指數(shù)形式降低。

指向光場顯示

可以一定程度解決以上問題。2012年，G. Wetzstein 等人通過在多層 LCD 后部添加一塊指向型背光板，提出了一項新的“張量”顯示技術(shù)。這種結(jié)構(gòu)通過多層 LCD 屏幕和多幀率的光場分解，達到了擴大視場角的目的，視場角由原先的 10°×10°提高為 50°×20°。

還有集成成像顯示，基于柱透鏡陣列的 3D 顯示技術(shù)只能提供水平視差，而基于球面微透鏡陣列的集成顯示可提供全視差圖像。其原理如圖12所示， 圖像記錄時，使用微透鏡陣列或者針孔陣列將不同視角的圖像“集成”地記錄在一張膠片上。圖像再現(xiàn)時，多視角圖像元的出射光線在微透鏡陣列前方再現(xiàn)出來，將顯示面板上的元素圖像成像到不同的視點位置，形成完整的 3D 圖像。集成成像顯示的優(yōu)點是結(jié)構(gòu)緊湊簡單，能夠再現(xiàn)全視差3D圖像，并可提供運動視差信息。但是其分辨率下降嚴重、視場角比較受限。

圖 12 集成攝影與集成成像

體顯示

光場顯示可以提供所有種類的心理學(xué)線索和雙目深度線索，并可以提供運動視差和遮擋變化等單目深度線索。但是，傳統(tǒng)的光場顯示難以完整提供聚焦線索。而體三維顯示通過點亮空間中的發(fā)光物質(zhì)或者“體素”可在一定體積的空間內(nèi)完成顯示過程，通過人眼暫留效應(yīng)可以提供聚焦線索，但是需要復(fù)雜的機械掃描裝置，可移動性差。

圖 13 旋轉(zhuǎn)掃描式立體顯示原理

全息顯示

理論上，全息顯示可以提供所有種類的深度線索，被認為是三維顯示的終極實現(xiàn)方式。全息術(shù)，又稱全息照相術(shù)，指在照相膠片或干板上通過記錄光波的振幅和位相分布并再現(xiàn)物體三維圖像的技術(shù)，按其物理意義可分為波前記錄和波前重建兩部分。在波前記錄過程中，物光波與參考光波在全息圖平面發(fā)生干涉，干涉條紋的強度被記錄下來。由于已知參考光波的振幅和相位，全息術(shù)就是把物光波的復(fù)振幅信號轉(zhuǎn)換為強度信號，從而記錄了物光波的全部信息。在波前重建過程中，用一束重建光波對全息圖進行照射，重建光波經(jīng)過全息圖的衍射光波在特定的位置上可以重建出物光波的振幅與相位信息。

圖 14 全息記錄與全息重建

綜上所述，隨著三維顯示技術(shù)的發(fā)展，三維顯示的效果得到了顯著的提升。傳統(tǒng)的基于心理線索和生理線索中雙目視差的裸眼3D，由于其原理簡單，成本低的有點得到了廣泛應(yīng)用，但是由于僅提供有限的視角，目前在體驗上還有較大的上升空間。為了提供更多的生理學(xué)、心理學(xué)深度線索，光場顯示技術(shù)、體顯示技術(shù)、全息顯示技術(shù)都得到了飛速的發(fā)展，但是這些技術(shù)往往實現(xiàn)成本較高，大多還處于研究階段，距離真正的消費級應(yīng)用還有一定距離。

應(yīng)用篇

計算光學(xué)成像技術(shù)在各個領(lǐng)域的應(yīng)用非常廣泛，前期主要在醫(yī)學(xué)、天文、軍事、工業(yè)檢測等領(lǐng)域。近幾年隨著虛擬/增強現(xiàn)實、裸眼3D等業(yè)務(wù)的發(fā)展，計算光學(xué)成像技術(shù)逐漸應(yīng)用到生活，走進大眾視野。通過光學(xué)成像技術(shù)，可以幫助人們更好地理解和掌握周圍環(huán)境的信息，提高工作效率，提升生活質(zhì)量，推動科學(xué)技術(shù)的發(fā)展。在當今社會中，光學(xué)成像技術(shù)的應(yīng)用已經(jīng)成為各個領(lǐng)域中不可或缺的關(guān)鍵技術(shù)之一。

虛擬/增強現(xiàn)實

通過傳統(tǒng)的結(jié)構(gòu)光技術(shù)可以快速進行物體三維模型制作，而結(jié)合深度學(xué)習(xí)技術(shù)，通過多角度圖像/視頻，可以快速生成三維模型。 例如清華大學(xué)的研究團隊開發(fā)了一種新型的多攝像頭大空間密集光場捕獲系統(tǒng)——Den-SOFT，是目前公共領(lǐng)域內(nèi)質(zhì)量和視點密度領(lǐng)先的數(shù)據(jù)集，有望激發(fā)以空間為中心的光場重建研究，為沉浸式虛擬/增強現(xiàn)實體驗提供更高質(zhì)量的三維場景。

圖 15 清華Den-SOFT

可以僅借助消費級RGB-D攝像頭，實現(xiàn)多人實時三維人體重建，人體模型可用于實時AR展示，在線教育和游戲等。 可參考清華大學(xué)論文《Function4D: Real-time Human Volumetric Capture fromVery Sparse Consumer RGBD Sensors》等。

圖16 清華大學(xué)RGB-D實時三維重建

在專業(yè)級動作捕捉驅(qū)動方面，光學(xué)動捕通過對目標特定光點的監(jiān)視和跟蹤來完成運動捕捉。可使用高分辨率光學(xué)紅外相機進行捕捉。譬如凌云光的FZMotion AI多模態(tài)運動捕捉系統(tǒng)可實現(xiàn)高精度高速AI人體動作識別的多模態(tài)運動捕捉。

圖 17 FZMotion AI多模態(tài)運動捕捉系統(tǒng)

在消費級驅(qū)動方面，結(jié)合深度學(xué)習(xí)，可使用少量的消費級RGB-D攝像機便可實現(xiàn)實時多人運動捕捉。

裸眼3D

消費級的裸眼3D發(fā)展迅速，2023.3 中興在巴展發(fā)布 LCD Nubia Pad 3D（與美國Leia公司合作），采用的為可切換指向光源模組方式，顯示分辨率2K，支持2D/3D顯示實時切換，售價約1300歐。在內(nèi)容上，nubia和中國移動咪咕公司深度合作，共同為用戶帶來了多維交互沉浸式的全新游戲、視頻、直播、音樂體驗，為數(shù)智娛樂行業(yè)帶來了更為廣闊的發(fā)展空間。

圖 18 中興nubia Pad 3D

而在光場顯示領(lǐng)域，looking glass等可以實現(xiàn)多視點光場顯示。

圖 19 清華大學(xué)光場顯示研究

影視制作

Light Stage光場采集系統(tǒng)被廣泛用于好萊塢電影制作。Light Stage是由美國南加州大學(xué)ICT Graphic Lab的保羅?德貝維奇（Paul Debevec）所領(lǐng)導(dǎo)開發(fā)的一個高保真的三維采集重建平臺系統(tǒng)。該系統(tǒng)以高逼真度的3D人臉重建為主，并已經(jīng)應(yīng)用于好萊塢電影渲染中。從第一代系統(tǒng)Light Stage 1于2000年誕生，至今已經(jīng)升級到Light Stage 6，最新的一代系統(tǒng)命名為Light Stage X。

圖 20 Light Stage 6 采集系統(tǒng)樣機

在國內(nèi)凌云光、影眸科技等企業(yè)也建設(shè)有自研的類似Light Stage的采集系統(tǒng)。譬如凌云光的LuStage數(shù)字人光場建模系統(tǒng)，可以實現(xiàn)0.1mm毛孔級重建。 該系統(tǒng)包括自主設(shè)計研發(fā)并獨立完成生產(chǎn)制造的756臺6色LED(RGBWCA)、直徑6.6m的375面體支架、嵌入式控制平臺、100臺4K相機組成。每個光源包含97顆LED燈珠，每顆燈珠的亮度、發(fā)光時間、頻率可控。整個系統(tǒng)可以模擬出輸入圖像或視頻中的環(huán)境光照，也可以逐一時刻點亮某個方向的光源，還可以實現(xiàn)XYZ三個軸像的梯度光照，利用球面上的相機同步光源采集圖像，從面實現(xiàn)影視照明、AI訓(xùn)練數(shù)據(jù)采集等用途。

圖 21 LuStage數(shù)字人光場建模系統(tǒng)

醫(yī)療

在醫(yī)療領(lǐng)域，中國工程院院士、清華大學(xué)成像與智能技術(shù)實驗室主任戴瓊海團隊實現(xiàn)了可以在手機中配備高分辨率集成顯微鏡，無需額外的電子設(shè)備即可刺激皮膚健康的新的便攜式診斷。其他皮膚病，如痤瘡、天皰瘡和牛皮癬，也可以通過集成顯微鏡和相應(yīng)的智能算法一次性輕松診斷。

圖 22 手機中配備的集成顯微鏡

天文

在天文領(lǐng)域，清華大學(xué)戴瓊海院士團隊研發(fā)的數(shù)字自適應(yīng)光學(xué)地月觀測系統(tǒng)，在國家天文臺興隆觀測站實現(xiàn)40萬公里地對月成像測試，可直接對接現(xiàn)有光學(xué)系統(tǒng);降低了現(xiàn)有大口徑光學(xué)系統(tǒng)體積，將成本降低三個數(shù)量級以上;實現(xiàn)了大視場多區(qū)域內(nèi)空間非一致的環(huán)境湍流像差矯正，重建高分辨圖像。

圖 23 數(shù)字自適應(yīng)地月觀測

計算光學(xué)成像目前在各個領(lǐng)域都得到了相關(guān)應(yīng)用，計算光學(xué)成像的市場發(fā)展迅速，隨著元宇宙的發(fā)展，計算光學(xué)成像在內(nèi)容生產(chǎn)，顯示等方面越來越重要。隨著技術(shù)的發(fā)展，計算光學(xué)成像所涉及的軟件及硬件的市場前景也越來越廣闊。

展望篇

傳統(tǒng)光電成像技術(shù)因為受工業(yè)化設(shè)計思想限制，性能已經(jīng)接近極限，計算成像技術(shù)是信息時代發(fā)展的必然。

光場采集有望拓展元宇宙新的輸入方式

傳統(tǒng)的光電成像只能獲得二維數(shù)據(jù)，而人眼能夠感知到比傳統(tǒng)相機更大的數(shù)據(jù)密度、維度的信息。人眼具有精密的結(jié)構(gòu)，可以實時捕捉現(xiàn)實場景中多維光場信息，再結(jié)合大腦的運算，人眼+大腦就是一個天然的精密的計算光學(xué)成像系統(tǒng)。而目前使用的傳統(tǒng)拍攝方式會丟失大量的高維數(shù)據(jù)信息，導(dǎo)致采集的效率大大下降。而如果設(shè)計一套像人眼+大腦一樣的計算光學(xué)系統(tǒng)，就可以實現(xiàn)對現(xiàn)實場景的高效實時采集，通過4D的光場數(shù)據(jù)可以解決目前二維圖像中很多無法解決的難題，最終實現(xiàn)真正的智能機器視覺。

全息顯示是未來3D顯示的終極形態(tài)

通過光場技術(shù)，重現(xiàn)一個真實的三維世界，這是人類多年的夢想。目前的三維顯示技術(shù)無法提供全部的深度線索，會帶來各種頭暈、圖像不真實等問題。而全息顯示將在現(xiàn)實世界中展示三維物體，使得虛擬和現(xiàn)實完美融合，現(xiàn)實和虛擬世界之間的邊界不再明顯。

圖24 電影《阿凡達》中描繪的全息三維軍事沙盤

光場+AI是計算光學(xué)成像的必由之路

深度學(xué)習(xí)已逐步深入多個光學(xué)技術(shù)領(lǐng)域，推動了諸多光學(xué)技術(shù)的發(fā)展。深度學(xué)習(xí)具有強大的運算、數(shù)據(jù)演化和非線性逆問題求解能力，為更復(fù)雜的光學(xué)系統(tǒng)設(shè)計優(yōu)化求解提供了新思路、新方法。同時如何基于深度學(xué)習(xí)來簡化光學(xué)系統(tǒng)，降低光學(xué)系統(tǒng)成本，提高光場采集效果也是一個重大難題。目前基于神經(jīng)輻射場的三維重建技術(shù)日新月異，這背后是人們對輕量級光場三維重建的無限期望。

計算光學(xué)成像技術(shù)有望成就5G、6G殺手級應(yīng)用

隨著圖像編解碼及顯示硬件技術(shù)的發(fā)展，傳統(tǒng)的二維視頻的分辨率已經(jīng)從2K發(fā)展到4K、8K、16K，已經(jīng)超越了普通人眼的分辨極限。再向上提高圖像分辨率帶來的收益已經(jīng)很小。但是隨著元宇宙技術(shù)的發(fā)展，內(nèi)容從二維走向三維，隨之而來的是信息量的指數(shù)級上升。

傳統(tǒng)的在二維平面中已經(jīng)接近人眼極限的高分辨率信息在三維顯示中則顯得捉襟見肘。

后5G乃至6G時代，以微納光場調(diào)控及超表面光學(xué)技術(shù)為代表的手機裸眼3D顯示應(yīng)用,有可能帶動移動通信網(wǎng)絡(luò)實 現(xiàn)跨越式發(fā)展,成為5G乃至6G網(wǎng)絡(luò)的“殺手級”應(yīng)用。毫米波、太赫茲和泛光通信(屬于6G光子學(xué)的范疇)等技術(shù)能夠讓通信峰值帶寬、連續(xù)頻譜帶寬、網(wǎng)絡(luò)時延和流量密度等網(wǎng)絡(luò)承載能力指標得到飛躍性的提升。

后5G乃至6G生命期有可能是數(shù)據(jù)“大爆炸”的時代。例如為了給用戶呈現(xiàn)逼真的顯示效果，每秒3D 高清視頻可能需要Gbit級以上的端到端流量，而不需要眼鏡輔助的全息3D立體圖像需要3~30億像素,所產(chǎn)生的龐大的Tbit級數(shù)據(jù)對移動網(wǎng)絡(luò)帶來前所未有的壓力。首先對3D對象數(shù)據(jù)壓縮成為第一個面臨的挑戰(zhàn)，龐大的數(shù)據(jù)必然要求高的壓縮比。其次海量3D對象數(shù)據(jù)存儲也是一個難題，3D對象攜帶的信息量十分巨大，在存儲和讀寫方面可能也會突破現(xiàn)在的極限。最后對3D數(shù)據(jù)的傳輸與計算也是關(guān)鍵的問題，如此龐大的數(shù)據(jù)如何保證實時的傳輸與計算，邊緣算力的升級改造似乎也是必然。

此外計算光學(xué)成像從生產(chǎn)到體驗相關(guān)標準仍然是空白，隨著技術(shù)進步和產(chǎn)業(yè)落地也需要補足。隨著計算成像技術(shù)的不斷發(fā)展和理論的不斷完善，計算成像體系也將更加豐富、立體、有效，使計算成像能夠真正實現(xiàn)更高(成像分辨率)、更遠(探測距離)、更大 (成像視場)、更小(功耗和體積)的目標。

【參考資料】[1] SHAO Xiaopeng，SU Yun，LIU Jinpeng，et al. Connotation and System of Computational Imaging（Invited）［J］. Acta Photonica Sinica，2021，50（5）：0511001

[2]CHENLiang,YUShao-hua. Research on the Impact of Holographic 3D Display on the Capacity of the Post-5G/6G Network

[3] Qiao Wen，Zhou Fengbin，Chen Linsen.Towards application of mobile devices: the status and future of glasses-free 3D display

[4] WANG Cheng, ZHU Xiang-bing.Research Development of Stereoscopic Display Technology

[5] Gao Chen, Li Ziyin, Wu Rengmao, Li Haifeng, Liu Xu.Development and Prospect of Portable Three-Dimensional Displays

[6] Cao Liangcai，He Zehao，Liu Kexuan，Sui Xiaomeng.Progress and challenges in dynamic holographic 3D display for the metaverse (Invited)

[7] KANG Jiaxin， WANG Wenwen， PENG Yuyan， ZHANG Jiazhen， ZHOU Xiongtu，YAN Qun， GUO Tailiang， ZHANG Yongai.Research Status and Trends of Light Field Display Technology

[8] 方璐, 戴瓊海. 計算光場成像[J]. 光學(xué)學(xué)報, 2020, 40(1): 1-11.

[9] Zuo Chao，Chen Qian.Computational optical imaging: An overview

[10] 高金銘，郭勁英，戴安麗，司徒國海.光學(xué)系統(tǒng)設(shè)計：從迭代優(yōu)化到人工智能

[11] 邵曉鵬.計算光學(xué)成像[OL].西電科大廣電成像工程中心(公眾號)

作者：柳建龍 畢蕾

單位：中國移動通信集團咪咕公司