學術探奇

逼真‧亂真

黃田津光影瀉地的圖像技術

計算機科學家黃田津教授剛開始研究電腦圖像時,電子遊戲開發者連火焰和波浪都畫不好,圖案閃爍不定,由三角網格拼湊而成,且製作需時。那時的電子遊戲是對真實世界硬生生的模仿。

黃教授刻下重塑的靜態圖片和視頻片段,可以捕捉我們在真實世界所見的複雜細節。他研發的影像比超高清內容更進一步,令觀者更能感受景物的深度,例如刻於古廟上的希臘文字,看來與石頭上的浮凸字體無異,甚至每個字母的陰影部分都效果逼真。

陽光和水的繪製最能顯現此技術的優勝之處。普通的製圖術不會令我們覺得畫面能媲美現實的震撼。黃教授融合兩幅輕微差異的影像,提升影像合成效果:陽光穿透茂密的樹葉,既璀璨耀目,光線又能呈現深度。透過盡顯細節和光線的層次,此技術令我們可以看到光線穿透層層樹葉或雲朵的耀眼感覺,與肉眼所見無異。

我們的大腦會進行名為「雙眼視覺協調」的過程,自然把左眼和右眼所見、輕微差異的影像無縫合併為一。透過把左右眼所見的影像融合,便會產生深度,我們便可看到三維影像。

黃教授正是受這種本能啟發,把其中原理融入自己的研究,藉融合兩幅輕微差異的影像提升效果。我們的大腦不但可以融合影像在定位上的差異,還可融合輪廓、密度和色彩的分別,箇中原理並非只是合成影像而已。

黃教授借鏡大腦處理同一影像不同效果的原理,給畫面加工。簡單來說,他從一個畫面產生兩幅圖像,一幅顏色對比度高,另一幅紋理細節豐富。現時電視屏幕看到的影像,調高對比度時,便會失去細節;保留了細節,影像又會失去立體感。

黃教授融合的影像集兩家之長,既顏色、光暗層次分明,也有豐富細節,如建築物上的字體、牆壁上的裂縫也一覽無遺。這種效果所產生的影像逼真,近乎肉眼所見的三維世界。

這種技術也可為各類觀者帶來不同體驗,例如為色盲人士提升視頻影像效果。

全球近4%的人口、約2.5億人有不同程度的色覺辨認障礙,包括色盲。現時甚少電子遊戲或電影等娛樂產品照顧他們的需要,他們連Candy Crush這類流行遊戲也玩不了。市面上的視頻硬件也沒有顧及這方面的需要。

黃教授和其門生沈務耀博士的研究已見成果,透過雙目視覺增強系統,色盲人士只要戴上眼鏡,便可看到更高質影像內容。沈博士的論文正是圍繞這個題材。

此影像內容在正常色覺人士看來並無異常。但當色盲人士戴上普通3D眼鏡,便會看到修正後的影像。他們的左右眼接受兩幅顏色差異的影像,大腦融合影像後,便可察覺到顏色的不同。

這種技術也有醫學用途。黃教授現正與一家眼科醫院合作,研究是否可以運用雙影像內容技術,刺激弱視患者的「懶惰眼」。

計算機科學與工程學系的黃教授初出茅廬時,只專注研究靜態圖像。要結合不同影像來重現逼真圖像,難度在於避免雙眼競爭。雙眼競爭,情形就如觀看光學錯覺的圖像,令眼睛不舒服。

影片是由多幅單一圖像串連而成。只要把處理靜態圖像的電腦演算加以提升,便可把上述概念應用於影片。黃教授運用電腦演算法和視覺差異估測系統,估算左右影像之間的差異可被區別的程度,繼而是雙目視覺舒適度,即是在觀看兩幅影像時,視覺可接受的最大差異程度。

要把上述技術應用到真實動態影像,便不可像早期製作電子遊戲,用人手完成編碼,費時失事。黃教授的團隊採用人工智能技術,重新制定動態影像內容,電腦可以預計「電影」中下一幅所需影像內容。現在他們可以在影片套用上述技術,然後播出,我們便可收看像真而豐富的影像內容。

以上的技術突破,意味這些改良影像或輔助色盲人士的影像,可在短期內應用來幫助商業產品的開發。這項技術不但為觀賞者帶來更好體驗,也促進各種硬件發展,包括電視機、電影屏幕、投影機和顯示屏等。結合軟硬件,便有望製成有額外功能設定的電視機,色盲人士或視障人士選擇相關設定,便可看到視訊內容,而價格是大眾所能負擔的。

黃教授預計,下一代的電腦處理器可由目前每秒二十格的運算速度,提升至每秒三十格,屆時便可在視頻中實時採用他研發的影像技術。換言之,更上一層樓的影像指日可待。

倘中英文版本出現歧義,概以英文版本為準。

本文出自中大主網頁(2019年7月)

標籤
黃田津 教授 計算機科學與工程學系 電腦圖像 色盲 雙眼視覺協調 計算機科學 視障 影像分析