央廣網上海9月21日消息（記者傅聞捷 通訊員龔凡）“從上海中心的合適位置，整個外灘的人流細節都能看得一清二楚。”讓復旦大學微電子學院/工程與應用技術研究院教授曾曉洋“夸下海口”的不是望遠鏡，不是攝像頭，而是由其領導的團隊自主研發的五億級像素云相機系統。基于這一系統研發的五億像素智能視頻瞭望相機亮相2019年中國國際工業博覽會。
這一團隊由復旦大學微電子學院副教授范益波作為圖像、智能與電子系統技術負責人，長春光機所研究員黃瑋作為光機系統技術負責人，復旦大學微電子學院副研究員荊明娥作為圖像算法技術負責人。
目前，先進的單反相機分辨率可達千萬像素級別，對圖像的刻畫已經非常細致。五億級像素相機拍出照片會是什么樣？人眼能分辨的極限像素是1.2億，五億級的超高像素意味著相機能捕獲極其細致入微的圖像細節，即便在能容納幾萬人的偌大體育場，拍攝一副全景照片也可以獲得每張人臉的清晰圖像。如果加上人工智能的助力，這款相機還能進行海量數據人臉等目標的檢測與識別，瞬間發現特定目標。
拍得廣，看得清，找得準，這款不一般的“高能”相機，或將刷新人們對傳統相機的認知。
打破定式，不對焦也能看得清
要使被拍攝物成像清晰，傳統相機的聚焦操作是必不可少的關鍵環節。“看得清和看得廣對傳統相機來說是一對矛盾，如兩千萬像素全部分配到一萬個人身上，每個人像就只有20個像素，一定無法看清楚人體目標了。”曾曉洋說，既想看得清，又想看得遠，還要看得廣，在現有的相機條件下，根本就是一個悖論。“但如果相機的像素能達到兩億、五億或者十億呢？那么即使是十萬個人也能拍得清楚了。”
當下，覆蓋地域廣、涵蓋目標多的高像素照片是怎樣產出的呢？后期處理是現行的唯一途徑：針對目標物體進行多次拍攝，再依靠后期圖像處理與拼接技術將這些單幅圖像逐一拼接，合“多”為“一”。但這種方法的劣勢顯而易見，既費時間（幾小時到幾天時間），也要消耗大量能量。“比如從高空進行拍攝，現在普遍使用無人機，但無人機的續航時間有限，按照現在的拍攝方式，人們獲取超高清晰圖像非常困難。”曾曉洋介紹，目前使用的衛星實時導航所依據的路況地圖都是靠后期“P”出來的，難度很大，成本極高。
“超遠距離拍攝”“超高清細節”“超快速成像”，這三個條件要想同時“成立”，還得從大幅提高相機像素入手。不對焦也能拍得清楚，五億級像素云相機系統的出現，從技術層面打破了傳統拍照的定式規則，實現了“不可能”。
硬件升級，芯片創新實現顛覆性改變
幾年前，在軍方的資助下，美國研發出世界上第一臺億級像素相機，其運用的“陣列外拼接成像原理”將千萬級像素照片進行軟件拼接，CMOS圖像傳感器呈陣列式分布，相互錯開、互補排列，最終通過后續軟件圖像拼接得到完整的大視場超高分辨率視頻和圖像。但高像素光學鏡頭的陣列排布大大增加了相機體積。“順著這個思路，當像素提升到五億級時，尤其是需要視頻圖像時，相機系統體積會變得非常大，并且實時視頻拼接基本上不可能實現。”曾曉洋認為，這個方案潛力有限，“走不遠”。
什么才是“有后勁”“能發展”的思路？經過長時間的研究，曾曉洋團隊實現了一種創新性的億極像素成像技術。“同樣還是拼接成像原理，但我們使用了創新的共心復合尺度的光學成像方案，將陣列式的光學成像鏡頭大幅縮減為‘一’，采用兩級分光成像來進行多路CMOS圖像傳感器成像。”這樣，也對分光系統的精度提出了很高要求，不同光路對目標進行成像，如果精度 “差之毫厘”，拼接后圖像則“謬以千里”。
除了超高分辨率的照片，對這款高性能的云相機來說，拍同樣分辨率的實時視頻也“不在話下”。實時視頻對相機的計算速度和運行效率都提出了更高的要求：每次成像都是上百張千萬級像素的照片高精度無縫拼接而成，而連續視頻應該在每秒25幀畫面，這相當于在一秒鐘之內把拼接成像過程重復至少25次。顯然，這種情況下，相機系統的計算量大到人們難以想象的程度。目前，曾曉洋團隊研發的三/五億像素的云相機系統實現了“共心復合尺度光學成像”和“硬件億級像素實時視頻圖像拼接”，十億級及以上像素的云相機系統關鍵技術也處于攻關狀態。
“平時在APP上追劇，視頻分辨率一般是1080P，超級會員能看到4K高清，再高分辨率也看不了了，網絡帶寬跟不上。而我們云相機的像素分辨率是五億，這可是4K的百倍。”
“超高的分辨率同時意味著超大的數據量，但目前無線傳輸系統的數據帶寬成為瓶頸問題。解決這一問題的辦法就是及時找到超高清圖像中的感興趣目標部分。”曾曉洋說，要把需要傳輸的數據量降下來，傳輸效率提上去，就得提高相機系統實時識別目標的能力，針對特定目標智能地進行尋找、鎖定和識別。“而這就像在一倉庫的糧食里面，有一粒是壞的，我們想把那粒壞的找出來，這太不容易了，所以要有智能化的方法。”將范圍縮小，再將特定區域特定目標的相關影像進行傳輸就容易得多了。“既能遠視，也得有準頭。”
“世界首款海量數據視頻圖像硬件拼接專用芯片”、“人工智能處理硬件加速引擎專用芯片”，這兩款自主創新的芯片正是曾曉洋團隊讓五億級像素云相機系統能拍照、拍視頻，能“有準頭”的“獨門武器”。“功耗降下來、體積小下來全靠芯片技術，把上述兩款芯片做出來是實現我們整個系統技術突破的核心。”曾曉洋說，這也是復旦大學承接該項目的主要原因，是我們專用集成電路與系統國家重點實驗室的使命所在。
工業量產，“神奇盒子”大有所為
將億級像素相機系統獲取到的海量視頻圖像數據都放在“云端”統一的數據中心，全世界的人們都有機會登陸來獲得超高清晰的圖像視頻數據，這也就是曾曉洋團隊“云相機”概念的出發點。
五億級像素云相機的出現，將會給人們的生活帶來哪些便利？曾曉洋介紹，這款相機系統在國防、安防和民用等領域都具有廣泛的應用前景。
就大城市安防應用而言，傳統的安防監控系統把城市區域分割成了一個又一個的小方塊，遍布大街小巷的攝像頭對每一個小區域進行實時監控，就是因為一個個“小炮筒”的分散，傳統安防監控系統很難對街道、機場、地鐵等視域寬闊的公共場所中的車流、人流等進行整體性的評估和預判。而五億級像素云相機系統的加入可有效解決這個傳統安防監控方案的痛點。“假如在上海中心合適位置布置我們的五億級像素云相機系統，可以實時掌握整個外灘的大人流分布情況，從而極大助力在特殊時期警力更有針對性的安排，更有效地防范意外事件的發生。”
與此同時，曾曉洋提到，因為“超遠距離”“高清成像”的特性，出于保護個人隱私的考慮，超高像素云相機的出現也對相關法律法規的跟進提出了要求。“海量視頻圖像數據的獲取都得有監管，畢竟強有力的安防和個人隱私的保護得有平衡。”
國產自主創新的五億級像素云相機系統是復旦大學和中國科學院長春光學精密機械與物理研究所協同創新的最新科研成果，也是兩個單位、兩個國家重點實驗室團隊緊密合作的結果。2017年10月，億級像素的云相機系統研發成功，獲取了超過三億像素的超高清視頻圖像。這款相機外形類似和日常使用的投影儀，“盒子”樣的“軀干”上探出了一個“鏡頭”的“腦袋”。目前，三/五億級像素云相機已投入工業量產，它們作為五億級像素相機的“探路者”和“試驗田”，率先在各個相關領域發揮作用。
