大多數人接觸 “語義”都是在和文字相關的領域，或語音識別，期望機器能夠識別你發出去的消息或簡短的語音，然后給予你適當的反饋和回復。你知道嗎？圖像領域也是存在 “語義”的，語義建模是近年來隨著計算機圖像處理技術進步而出現的新技術。

　　這里的“語義”泛指機器對周圍環境內容的理解，比如認識環境中的物體、人，以及它們的關系等。近年來AI大熱，很多人一定對《超能陸戰隊》中那個體型呆萌的機器人大白印象深刻，不同于我們生活中那些呆板的機器人，大白具有類人的理解世界的能力，對于大白這種智能機器人來說，通過點云等形式表示周圍的環境僅僅是一群毫無意義的點，機器人需要進一步抽象這些點的特征并理解它。說近一些，假如掃地機器人擁有圖像語義分割的功能，就能夠機智地繞開你丟在地上的臭襪子而掃走旁邊的紙屑。

　　近年的自動駕駛技術中，也需要用到這種技術。車載攝像頭探查到圖像，后臺計算機可以自動將圖像分割歸類，以避讓行人和車輛等障礙。

　　那么，語義和三維建模又有什么聯系？

　　隨著無人機測繪技術的快速發展，基于無人機影像的三維建模成為行業的熱點。傾斜攝影建模能夠得到大規模場景的高精度三角網格，但是最大的缺陷是整個建模區域是同一張三角網，分辨不出哪里是植被，哪里是屋頂，哪里是建筑外墻，不能面向對象分析，不利于復雜的三維地理信息分析。

　　我們目前所做的許多工作，比如應用于智慧城市、數字文化遺產，虛擬現實等領域的三維模型，都屬于給人進行瀏覽和使用的三維精模，比較重視模型的完整性、準確性。另一方面，使用圖像得到的三維模型也可以給機器使用，模型本身是給機器用來進行路徑規劃、場景的感知、空間高精度定位的。目前的實景三維模型由于沒有任何的語義信息，使得三維模型在擴展應用方面受到限制。

 

　　隨著近年來一些新興技術的出現如室內定位、自動駕駛、增強現實等，國內外眾多學者針對語義建模開展了大量相關研究，根據數據源、 建模方法和實際需求的不同，衍生出多種不同的建模方法。但是語義化重建始終是一項具有挑戰性的課題，目前能夠提供語義信息的方法，大多需要大量的人工干預，自動化程度低。

　　以下通過中科院自動化所申抒含老師提出語義建模的方法舉例說明：
　　一個完整的語義化三維建模系統包括稀疏重建、稠密重建、點云分割、單體建模等多個步驟。

　　三維建模系統的輸入是多視角的圖像，首先重建出由特征點所構造的稀疏點云，以及每個相機的空間位姿。在相機位姿確定的情況下計算圖像中每個像素點對應的空間點位置，得到稠密的空間點云。為了形成三維語義模型，對點云進行語義分割，再進一步做單體的語義建模。

　　目前將大規模的三角網絡賦予語義類別主要使用的方法是，使用二維語義的分割網絡對每幅二維圖像做語義分割，并將分割結果投影至三維網格進行融合。

　　也有一些學者利用計算機算法建立了一套利用提取的語義信息進行建筑物語義三維建模的 自動化流程。

 

　　傳統攝影測量與遙感和GIS手段僅能提供一些粗略的語義信息如植被、河流等，而對于目前的新興技術，還需要建筑物的樓層信息、立面門窗信息、屋頂信息等。語義信息作為三維模型與真實世界的紐帶，借助語義信息，可以有目的得展開各種數據分析、查詢等應用，成為三維建模的新進展和新趨勢。

參考文獻：

[1]杜靖. 基于傾斜攝影影像的真三維單體化模型精細建模方法研究[D].電子科技大學,2017.
[2]王慶棟. 基于語義建?？蚣艿臋C載LiDAR點云建筑物三維重建技術研究[D].武漢大學,2017.
[3]楊秀德．基于語義描述的馬爾科夫隨機場無人機影像三維重建[J]．北京測繪，2018，32(7)：814-818
[4]張瑞菊,鄭少開,尹建英.建筑物立面點云語義分割方法研究[J].城市勘測,2017(05):22-25.
[5]詹江波,吳海峰.傾斜攝影系統及多層次細節建筑物重構方法探討[J].江西測繪,2018(02):38-39.
[6]孫軒, 三維建筑物結構化多尺度語義建模, [J]測繪科學技術, 2018, 6(4), 248-253
[7]李江. 基于語義尺度的礦山多模型構建與不確定性研究[D].中國地質大學,2016.
[8] 英特爾中國研究院,專欄｜語義SLAM的重要性，你造嗎？ 
[9]中科院自動化所申抒含：基于圖像的大規模場景三維建模 
[10]語義分割綜述 - Cethy‘s Learning Notes

本文原載于中科圖新旗下Wish3D官方微信

 

相關閱讀：

無人機實景三維建模概念詳解