<mark id="oztn4"></mark>
0
2021年12月11日，由雷峰網(wǎng)(公眾號：雷峰網(wǎng)) & AI 掘金志主辦的第四屆中國人工智能安防峰會，在深圳正式召開。
本屆峰會以「數(shù)字城市的時代突圍」為主題，會上代表城市AIoT的14家標桿企業(yè)，為現(xiàn)場和線上觀眾，分享迎接數(shù)字城市的經(jīng)營理念與技術(shù)應用方法論。
作為上午場的開場嘉賓，虞晶怡從深度學習的角度，從建模、渲染以及隱私保護三個方面分享了對未來城市元宇宙的理解。
虞晶怡提到，他所研究的計算機視覺領(lǐng)域一個非常重要的任務(wù)，就是完成物理世界向數(shù)字世界的映射。為了完成這個映射，產(chǎn)生了非常多的概念，比如最早的數(shù)字孿生，到現(xiàn)在的元宇宙。但無論是什么概念，歸根到底需要解決幾個核心問題：
三維建模如何完成？圖像分析如何完成？隱私保護如何完成？
虞晶怡教授從四個方面出發(fā)闡述了對以上問題的理解：
計算成像、三維重建、智能融合、隱私保護。
2D計算成像。過去幾年，編碼成像取得了很大的進步。在圖像質(zhì)量方面，利用編碼成像可以在高速和離焦的情況下獲得更好的圖像。
虞晶怡指出，做智慧城市離不開三維重建。計算機視覺界已經(jīng)做了很多年，其中最為出色的解決方案來自谷歌的“一日建模”。具體有三個步驟：通過針對大量圖像進行位置猜測，再通過特征提取獲取精確的相機位置，再對圖像特征進行匹配和三維確認，最后得到模型，這個方式在大規(guī)模城市重建中非常常用。
基于神經(jīng)網(wǎng)絡(luò)深度學習的最新方法，即2D+3D融合。因為很多智慧城市模型并不精確，將城市進行三維重建后，把二維的貼圖與三維模型融合，可以得到多視角視頻。
最后，虞晶怡教授著重分享了隱私保護，他認為重建做得無論多好，最重要的是保護隱私。
以下是虞晶怡演講全文，雷峰網(wǎng)AI掘金志作了不改變原意的整理與編輯：
今天給大家分享一個我認為非常有意思的話題，主題叫《The future of MetaCity：Modeling，Rendering，and Privacy Protection》，講講我眼里的元城市，我會從深度學習的角度分享如何建模、如何渲染，以及最重要的如何保護個人隱私。
大家討論的智慧城市是什么？這是一件很有意思的事情。我記得很多年前王堅博士跟我有個討論，他想要知道智慧城市的一個功能，比如“你能不能告訴我現(xiàn)在馬路上有多少輛車在開？”
這個問題聽上去好像很簡單，其實很復雜，雖然我們已經(jīng)有大量攝像頭，但每個攝像頭只能看到城市中很小一部分的車輛，如何統(tǒng)計出它們分別在什么位置，如何計算出有多少車輛是非常大的挑戰(zhàn)。
我研究的領(lǐng)域是計算機視覺，其中一個非常重要的任務(wù)是完成從物理世界向數(shù)字世界的映射。完成了這個映射，大家就可以玩各種概念。而從最早的數(shù)字孿生到現(xiàn)在的元宇宙，歸根到底，需要解決幾個核心問題：
三維建模怎么完成？圖像分析怎么完成？隱私保護怎么完成？
今天的演講主要分為四個部分：計算成像、三維重建、基于神經(jīng)網(wǎng)絡(luò)深度學習的最新方法、隱私保護。
第一部分，所謂的2D高清圖像，就是傳統(tǒng)的計算成像。過去二十年我一直在做計算成像，設(shè)計了各種各樣的相機系統(tǒng)。
相機系統(tǒng)本身很復雜，有很多組成部分，比如相機的鏡頭、快門、閃光燈、光圈以及各相機陣列。得益于計算成像，在獲取圖像之后可以通過各種計算方法對圖像進行進一步的分析，基于此，我們已經(jīng)可以做很有意思的事情了。
2018年上海第一屆進博會，我們展示了一個技術(shù)，叫“億萬像素的上海”，照片可以進行實時無窮盡地推進。
可能大家都去過上海，但絕大部分的人沒有去過東方明珠的塔尖（因為去的話就會被就地拘留）。這幅圖片是140億像素的上海，我可以隨時隨地做實時渲染，也可以推進到東方明珠的塔尖，你甚至可以看到塔尖上有幾根天線。
這個系統(tǒng)是如何完成的？通過光場相機系統(tǒng)，用很多相機拍攝后進行拼接，再進行渲染。我們不希望這個渲染是在集群上進行的，因為云端渲染非常昂貴，而是在手機等便攜終端上，比如剛才的示范樣片就是在小米電腦上進行實時渲染。
我們當時利用了計算成像的算法技術(shù)，其實就是把圖像進行分級的分割和存儲，最后在存儲之后，就能夠非常快地索引到每一個部分的模塊，這個文章發(fā)在TVCG上。
這項技術(shù)最近有很多進展，過去一年，有很多基于深度學習的方法，能把整個圖像壓縮在一個網(wǎng)絡(luò)之中。
計算成像另一個優(yōu)勢是，不但能做超高清的成像，還能做超高速的成像。
十年前我做了一項工作，叫“超高速下的編碼快門成像”（Coded Shutter Imaging：Ultra-High Speed），我拍攝了高速運動的車輛，試圖通過圖像的逆問題把圖像恢復出來，比如高清恢復車牌。
傳統(tǒng)的快門在高速運動下為什么做不了？
在傳統(tǒng)快門高拍攝的過程中，整個快門就是關(guān)和開，如果把這個問題映射到傅里葉域，首先面臨的是圖像卷積的問題，它等于是用模糊的（也就是低頻的）卷積核卷積了一張清晰的圖像，整個圖像的高頻成分會被損壞，更糟糕的是逆卷積非常難，因為這是基本的數(shù)學問題。
Sinc function有一個弊端，首先它的高頻部分會發(fā)生非常猛烈的振蕩。其次，它會多次切入零點，如此，這個乘積就無法做除法，因為到處都是0點，那怎么求解這個問題？十年前我們就開始想如何解決這個問題。
第一種方式是快門隨機地開/關(guān)，圖像同樣會被模糊掉。但為什么這個隨機的開/關(guān)能使得“去模糊”的方法做得更好？因為隨機開/關(guān)，等價于每次開的時候是sinc 函數(shù)，但因為它的位置不一樣，等于把不同的sinc 函數(shù)在里面疊加，其結(jié)果就是這個頻譜非常好看，因為同時在這個位置出現(xiàn)0的可能性非常低，我的目標是在頻域里不希望出現(xiàn)0點，出現(xiàn)0點沒辦法除。有了這個頻譜之后，用編碼成像的方法對圖像進行恢復，結(jié)果恢復得很好。
舉個例子，這是一幅編碼成像的圖片，是我的同事在MIT拍攝的。大家可以猜一下這輛紅色小轎車是什么型號？是哪個廠出的？絕大部分的人會猜測它是奧迪，也有人說是TOYOTA，但其實這個車通過編碼成像，恢復出來的是大眾的車牌。在過去這些年，編碼成像得到了長足發(fā)展，在高速成像、散焦成像上都能通過編碼成像得到更好的圖像，過去幾年很多高質(zhì)量的圖像都是通過編碼成像技術(shù)獲得。
做智慧城市避不開三維城市重建，這在計算機視覺界已經(jīng)研究了很多年，其實最為出色的解決方案是來自谷歌的“一日建羅馬”。大家都說“羅馬不是一日建成的”，所以他們在羅馬這樣的城市級別做了大規(guī)模重建。他們的想法是拍攝大量城市的圖像，把這些城市的圖像通過相機位置的標定和三維重建的方法進行三維重現(xiàn)。
具體展開，分為幾個步驟：
先是針對大量圖像進行位置猜測，有很多方式，對城市級別來說，可以用GPS信號等數(shù)據(jù)做粗略定位，再通過特征提取獲取精確的相機位置，然后再對圖像特征進行匹配和三維關(guān)聯(lián)確認，最后得到稀疏的3D點云信息。
對于大規(guī)模的城市這個方法非常常用。大家最熟悉的是傾斜攝影，大規(guī)模的城市尺度都是利用無人機拍攝然后進行計算，這個方法本身有幾個比較嚴重的問題，最主要的問題是非常昂貴。
凡是做過大規(guī)模城市尺度重建的都知道，在集群上運算的時間長達半天，其實半天時間已經(jīng)非常少見，絕大部分都需要運算幾天幾夜，而且，運算完后得到的點云依然很差。這是因為點云本身依靠特征來提取，特征本身是稀疏的，所以得到的點云本身是稀疏的三維點云。
如果這樣給政府做城市級別的重建，會非常辛苦，你需要找一個非常大的藝術(shù)團隊幫你修復，因為所有的點云都需要把噪音抹掉，把點云修正成幾何形狀，這是所有做過智慧城市的人都感同身受的。
隨著技術(shù)的發(fā)展，這兩步分別都將得到很大的進展。第一個是三維點云的獲取，傳統(tǒng)三維點云的獲取是依靠傾斜攝影和圖像，現(xiàn)在可以通過視覺定位、掃描和點云的LiDAR進行補償。
因為LiDAR系統(tǒng)本身無法做三維空間的定位，你可以把LiDAR系統(tǒng)和視覺相機混合，靠視覺相機進行三維定位。
舉個例子，我的學生在上科大創(chuàng)辦的岱悟智能，讓用戶頭上頂著LiDAR和RGB相機，RGB相機做定位，LiDAR獲取場景里三維稀疏的點云信息，通過不斷行走就可以把整個場景呈現(xiàn)出來。
我們上次做了一個嘗試，把這個設(shè)備裝在小車上，15分鐘就可以完成一平方公里的地下車庫掃描流程，效率非常高。
給大家演示一下我們當時完成的上海科技大學地下車庫的數(shù)字孿生，人徒步完成還是比較吃力（但對碼工來說走一個半小時還是蠻減肥的）大概15-20分鐘就可以完全完成數(shù)據(jù)的采集。三維點云的采集不再需要復雜的計算機視覺系統(tǒng)，而是用比較簡單的LiDAR+視覺定位的方式來解決，這將成為未來的大趨勢。
同理，這個系統(tǒng)也可以裝在無人機上，過程非常快。我們做了一個嘗試，在上科大一平方公里的范圍內(nèi)進行邊飛邊實時產(chǎn)生點云，結(jié)果很酷。
幾年前我看過一個電影《普羅米修斯》，就是拿三維小球，在三維空間進行掃描，隧道場景很快就出現(xiàn)了，也就是說這個夢想已經(jīng)成真了，可以非常快地做外部場景的掃描。
有什么用？掃描之后你可以做很有意思的事情。
比如對工地進行監(jiān)控，看工地是否每日按照圖紙的規(guī)劃進行建設(shè)，隨著多次的掃描，不但可以獲取非常高清的工地三維數(shù)字孿生模型，還可以把無人機拍到的視頻信息融合。其實也就是把圖片和三維幾何的模型融合，切入到模型時，瞬間可以切換到高清圖片，可以看到每一個圖片的高清細節(jié)，效果非常酷炫，而且確實有用，上海很多社區(qū)都開始使用這個技術(shù)進行二緯和三維的融合了。
這對智慧城市有什么用？
第一，很多智慧城市的模型并不精確，是CG模型，通過我們的技術(shù)可以進行點云數(shù)據(jù)+視頻/圖像融合。
第二，很重要的點，能解決當時王堅博士的問題：在三維空間里判斷有多少輛車。
2018年、2019年我們在徐家匯商圈做了一個很有意思的事情。當時我們用上述方式，把整個徐家匯的商圈進行了三維重建。重建之后，把路燈、樓頂視角的視頻融合在一起，現(xiàn)在各位看到的是多個視角融合的視頻。
如果我把一個區(qū)域內(nèi)所有的視頻融合在三維空間，我就可以告訴你現(xiàn)在路上有多少輛車在跑，有多少人在行走，這對智慧城市來說解決了非常重要的一個問題。有了這套系統(tǒng)，可以做非常多很酷的應用，比如可以做碳排放的檢測，因為我知道有多少輛車，耗能是多少。
傳統(tǒng)的三維重建，幾何是幾何、圖片是圖片，幾何和圖像是分離的。下面我想講最為有意思的一部分，《Neural Modeling and Rendering》，用神經(jīng)網(wǎng)絡(luò)的辦法把幾何和圖像融合在一起。
這是來自英偉達非常酷的一個demo，是為了游戲而做的。在這個demo里所有的幾何都是定死的，但我可以隨意地做風格遷徙，比如我希望它是沙漠，它就可以是沙漠，我希望樹是真實的，就可以做真實的樹。左下角是非常粗略的模型，但是有語義分割。根據(jù)語義分割和三維場景的粗略幾何，可以變換分割成右上角這樣看上去非常真實的三維圖像。
換言之，我可以通過學習的方法，把粗略的幾何恢復成非常好的三維的模型，從而大幅度降低人工成本。
過去十年里，我最為欣賞的一個項目來自加州大學伯克利分校，他們把幾何和外觀融合在一起。
在傳統(tǒng)的方式中，要用點云或mesh來表示幾何，然后再用貼圖的方法構(gòu)建外觀，如果點云或貼圖的質(zhì)量不好，合成效果就很差。
前面講了，我需要從多視角拍攝圖片重建幾何，那我不如把所有的圖片都輸入到一個神經(jīng)網(wǎng)絡(luò)NeRF中，訓練完之后可以渲染任意視角下的任意圖片，這樣可以實現(xiàn)無需幾何先驗的幾何重建。
怎樣實現(xiàn)這件事？用神經(jīng)網(wǎng)絡(luò)完成光線-顏色-深度的映射，每一根光線可以用X、Y、Z，也就是光線的原點以及方向來表述，通過網(wǎng)絡(luò)可以告訴你沿著這個光線應該看到什么樣的RGB顏色，此外網(wǎng)絡(luò)還會預測一個sigma參數(shù)，它代表的是X、Y、Z處的物質(zhì)密度，如果密度很高說明存在物體，密度很低說明是真空的。
如此一來我就可以做很有意思的東西，也就是說，我們訓練網(wǎng)絡(luò)的時候，可以把幾何和紋理的概念拋棄，我擁有的就是神經(jīng)網(wǎng)絡(luò)，只需完成利用這個神經(jīng)網(wǎng)絡(luò)從光線到顏色到深度的預測，幾何和紋理就自然地生成了，這是我過去看到的非常酷的工作。過去幾年大家逐漸意識到，原來用NeRF框架，不但能做元宇宙物體的生成，也能做元城市級別的生成。
以上介紹的主要是別人的工作，先說一篇《NeRF in the Wild》的工作，跟前面的工作的思路是一致的：也即是輸入很多圖片，同時這些圖片包含了位置和圖像性質(zhì)，以及一個很有意思的概念——瞬態(tài)。瞬態(tài)是什么意思呢？比如我在三維空間拍攝了很多圖片，因拍攝的視角不同，有的地方有遮擋，比如樓前面有樹的遮擋，也有行走的人的遮擋。但因為我拍了很多圖片，而且是在不同視角拍的，所以會產(chǎn)生很多不同的視角，唯一不變的就是靜態(tài)幾何，一直在變的是瞬態(tài)。然后我們可以將瞬態(tài)和靜態(tài)幾何一起重建，最后還可以把瞬態(tài)和靜態(tài)幾何進行分離。同樣，用NeRF框架，所有一系列的工作，都可以通過一個神經(jīng)網(wǎng)絡(luò)的訓練而完成。
我們看一下它的結(jié)果，非常酷。因為圖片是白天和黑夜不同時刻拍攝的，但我能夠在不同時刻展現(xiàn)出前景和后景的渲染，沒有幾何，用NeRF框架、神經(jīng)網(wǎng)絡(luò)表征這么大尺度的場景。
我們再看一些更復雜的場景，比如它可以在布拉格的街區(qū)用網(wǎng)絡(luò)成像來做。
這是羅馬的噴泉。雖然點云用傳統(tǒng)的三維重建會很差，但沒關(guān)系，用NeRF框架可以產(chǎn)生非常好的三維結(jié)構(gòu)。這個方法不僅能重建外部幾何，也可以在重建內(nèi)部幾何，比如在一個建筑的內(nèi)部拍攝大量圖片，然后用神經(jīng)網(wǎng)絡(luò)的框架進行重建。
這是在印度做的，通過多視角的圖片，其實沒有真正顯示重建幾何，而是隱式地表示三維重建的效果，它是全自動的，不需要人去修，所以大家看到這個結(jié)果應該覺得非常驚艷，如果用artist去修是非常大的工作量。
去年有一篇很有意思的論文《Urban Radiance Field》。想法類似，輸入很多圖片，但跟前面論文不一樣的是，它還結(jié)合了LiDAR的點云信號。
前者的幾何依然需要NeRF訓練，但NeRF的訓練非常慢，所以他們索性就用LiDAR產(chǎn)生的點云信號作為輸入，輸出是完整、高清的三維重建，同時還有一個高清的視角渲染，這非常酷，從多視角圖片的傾斜攝影技術(shù)往點云融合。
但我當時研究還差了一步，用NeRF的框架做渲染，現(xiàn)在大家可以看到神經(jīng)網(wǎng)絡(luò)的這個強大功能。
這是一部分渲染的結(jié)果，可以看到上面的點云和光斑變化。這是圣保羅的場景，可以在里面走來走去，產(chǎn)生相當不錯的渲染效果。
最為重要的是，這里不需要artist去修，否則人力成本太高了，不可能完成元城市（MetaCity）的重建。不同的國家和不同的城市都能使用這個方法，相當大規(guī)模的幾何重建渲染，全是依靠NeRF的框架實現(xiàn)，所以我覺得它的效果還是非常酷的。
給大家介紹了基于神經(jīng)網(wǎng)絡(luò)三維重建的工作，很多是別人的工作，也有一部分是我們的工作。
最后我想講，重建做得無論多好，最重要的是保護隱私。
給大家講一個我的故事。2010年，十年前我和林海濱教授做了一個項目，內(nèi)容是如何在安防系統(tǒng)下進行隱私保護。現(xiàn)在看來這個工作還是非常有意思的，因為2010年并沒有想到安防會發(fā)展到如此高的地步，隱私保護當時也沒有受到重視。
前面提到，可以通過圖片快門的控制，把曝光變得模糊。我們在想，能不能故意把圖片進行模糊？模糊了圖片就可以保護隱私了。
聽起來很容易，但問題來了，模糊完了圖片，怎么保證捕捉重要的信息？比如我需要知道這個人的行為，但不希望泄露這個人的身份。
當時我們提出一個非常酷的概念。把一個視頻用兩種不同的模式進行模糊，我們把這兩種模式稱為互素的，這里借鑒了數(shù)學中的素數(shù)概念。
這樣做有什么好處？如果只是給低權(quán)限的人看，只需要給他看模糊線條輪廓，它可以用任何現(xiàn)有的算法，對監(jiān)控視頻進行去模糊，結(jié)果看不到臉，但能看到人的行為。但對于高權(quán)限的人來說，我可以給到兩個已經(jīng)模糊后線條輪廓，通過互素性質(zhì)對圖像進行去模糊，從而產(chǎn)生非常高清的監(jiān)控視頻，我們的論文發(fā)在PAMI上，當時這個想法還是非常酷的。
這個結(jié)果很有意思，左上角是一個模糊的圖像，你可以通過最好的方法進行去模糊。右上角和左下角的去模糊方法可以恢復人在行走的信息，但無法恢復出人臉的細節(jié)。而在右下角，如果是高權(quán)限人群，可以同時拿到兩個blur stream，利用互素的性質(zhì)對整個圖像進行解碼。非常重要的一點是，不需要知道這些圖像用什么kernel進行模糊的，就可以對其進行解碼。
另外，我們希望通過多閃光燈的方法進行保護。可能大家會覺得很奇怪，為什么多閃光燈能進行隱私保護？
通過閃光燈，可以產(chǎn)生影子。閃光燈如果在左邊，影子就會在右邊。如果閃光燈在右邊，影子會在左邊。隨著閃光燈位置的變化，影子也會產(chǎn)生變化。根據(jù)影子的變化，我可以分析這些影子是如何變化的，從而獲取到一個非常有意思的圖像。雖然我沒辦法精確知道它的深度是什么，但可以提取出它的深度邊界。
為什么這件事對隱私保護很重要？這是一款老舊的車，通過多閃光燈的方法，可以非常準確地把邊界提取出來。其中一些細節(jié)，比如看左上角的圖，我知道這個車生銹了，但左下角的圖看不出生銹，這是很具體的生銹的紋理，跟深度不相關(guān)的信息，會被我們輕易抹去。
如果我的安防是由多個閃光燈組成的，就可以把多個重要的身份信息隱藏，比如海報上的字，比如衣服上的花紋，都可以被抹掉，從而起到隱私保護的作用。
再比如人臉上有很多特征，像左圖里的痣，是非常明顯的身份標志，但痣本身是一個紋理，通過閃光燈的方法，可以把痣去掉，通過邊界對圖像進行模糊，刻意去掉這個信息。
2010年的時候，美國對隱私保護不夠重視，當時我們兩人寫了一個非常激動人心的項目，但被否定了。我記得非常清楚，其中有一個回復的意見說：隱私保護是已經(jīng)解決的問題，你們?yōu)槭裁催€要再寫一個隱私保護的提案。可見大家在做研究的時候，必須先有先知，要意識到這個事情對整個社會的影響。
總結(jié)一下。我給大家介紹的最新的MetaCity的工作，包括2D成像、3D重現(xiàn)的技術(shù)、用神經(jīng)網(wǎng)絡(luò)的建模和渲染方法對整個智慧城市進行建模，它的最大功效，不需要人工參與，就可以對渲染起到增強和去噪作為。隱私保護是重要組成部分，前面講到兩種隱私保護的方法，我今天特別介紹了用神經(jīng)網(wǎng)絡(luò)，本身它就具有隱私保護的作用，因為傳統(tǒng)方式需要傳幾何、圖片，但幾何和圖片全都被編碼在神經(jīng)網(wǎng)絡(luò)中，這個神經(jīng)網(wǎng)絡(luò)本身又能起到隱私保護的作用，又能有效地渲染圖片。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
