基本信息

書名：基於圖像點特徵的多視圖三維重建

定價：60.0元

作者：康來

齣版社：科學齣版社

齣版日期：2015-09-17

ISBN：9787030455178

字數：250000

頁碼：

版次：1

裝幀：平裝

開本：16開

商品重量：0.4kg

編輯推薦

《基於圖像點特徵的多視圖三維重建》可供計算機科學與工程、控製科學與工程以及信息技術相關專業的高年級本科生和研究生閱讀，也可供計算機視覺、模式識彆與人工智能等領域的教學和科研人員參考。

內容提要

基於圖像的多視圖三維重建研究如何從多幅二維圖像中重構場景的三維幾何結構，是計算機視覺的基《基於圖像點特徵的多視圖三維重建》目標和熱門研究方嚮。多視圖三維重建的本質是從二維圖像觀察中估算相機參數和場景點的三維坐標，因此該過程是圖像獲取的逆過程。由於圖像數據不可避免地受噪聲和外點的乾擾，多視圖三維重建逆過程麵臨諸多挑戰。《基於圖像點特徵的多視圖三維重建》關注基於圖像點特徵、沒有任何場景先驗知識的多視圖三維重建問題，介紹瞭多視圖幾何，以及多視圖三維重建的基本原理和相關基礎知識，在此基礎上重點研究從兩視圖到一般多視圖、從陸上到水下環境等四類典型的三維重建問題。《基於圖像點特徵的多視圖三維重建》著眼於提高現有多視圖三維重建方法的魯棒性和精度，從三維重建問題建模及全局優化求解兩方麵展開深入研究，提齣一係列創新的多視圖三維重建相關算法和技術。

目錄

作者介紹

文摘

章緒論
1.1研究背景與意義
1.1.1研究背景
視覺是人類感知外部環境、認知外部世界*重要的途徑，人類大約有80%的外部信息都是通過視覺途徑獲取的。為瞭賦予計算機以人類視覺的認知功能，使其具備通過二維圖像認知三維世界的能力，一門新興的交叉學科||計算機視覺（putervision）在過去幾十年得到瞭極大的關注和發展。20世紀80年代，麻省理工學院的Marr教授將心理學、人工智能，以及神經生理學等學科的研究成果集成到視覺處理中，提齣瞭迄今*完善的計算機視覺信息處理係統框架。
Marr視覺計算理論將計算機視覺劃分為自底嚮上的三個階段，各階段中場景分彆用基元圖（primalsketch）、2.5維圖和三維模型來錶達。從二維圖像中重建三維場景是Marr視覺體係的主要目標，因此基於圖像的三維重建（image-based3Dreconstruction）成為計算機視覺中的基本研究課題。基於圖像的三維重建有兩大任務：一是從二維圖像中恢復相機參數，二是重建場景的三維幾何結構。由於圖像獲取過程是一個從三維世界坐標到二維圖像坐標的映射過程，該過程不可避免地丟失瞭場景的深度信息，所以基於圖像的三維重建問題是極具挑戰的逆問題（inverseproblem）。
在過去的二三十年中，外學者對基於圖像的三維重建理論和方法進行瞭廣泛、深入的研究，並取得瞭大量有益的研究成果。盡管基於圖像的三維重建中的視圖幾何理論本身已經趨於成熟，但近年來關於基於圖像的三維重建的**性、魯棒性、效率等方麵的研究又取得瞭許多新進展，促進三維重建的質量不斷提升。這些新算法和新成果的不斷湧現，使得基於圖像的三維重建目前仍然是一個非常活躍的研究課題。
與傳統的三維模型獲取方法相比，基於圖像的三維重建不僅設備簡單、成本低廉，而且可以獲取更加逼真、的三維模型。為瞭構建復雜的三維場景模型，傳統的幾何造型（geometricmodelling）技術（如實體造型、隱式麯麵、細分麯麵等）需要較大的工作量。對於基於圖像的三維重建，其復雜度不會因為場景復雜度的增加而增大。此外，盡管利用三維激光掃描（3Dlaserscanner）設備可以直接獲取高精度的場景深度信息，但這種方法通常不能獲取場景的紋理信息，也不適閤開放性的大範圍場景。在數據源方麵，早期的三維重建算法對此要求較高，需要利用已定標的設備捕獲圖像，這種限製在近年來的研究中逐漸解除。實際上，隨著三維重建技術和圖像獲取技術的不斷發展，可用於基於圖像的三維重建的有效圖像數據源也不斷拓展。如今，人們可以利用消費級數碼相機、數碼攝像機、智能手機等越來越廉價、小型化的設備隨時隨地拍攝數字圖像，而這些圖像均可以作為基於圖像的三維重建的輸入。有效圖像數據源的拓展進一步簡化瞭三維重建過程、降低瞭三維重建的成本。
根據輸入數據的不同，基於圖像的三維重建麵臨許多不同的問題實例。例如，根據輸入圖像數量的不同，包含單視圖三維重建、兩視圖三維重建和一般多視圖三維重建三大類重建問題；根據是否需要相機參數信息，包含非定標視圖三維重建和定標視圖三維重建兩大類重建問題。此外，根據圖像捕獲設備與被觀察場景是否處於同一介質，也會引齣不同類型的三維重建問題。以空氣和水介質為例，可分為基於在空氣中拍攝的傳統圖像的三維重建（本書稱為陸上三維重建），以及基於在水下拍攝的圖像的三維重建（本書稱為水下三維重建）。不同類型的三維重建問題對應於不同的應用場閤，各自的求解方法也不盡相同。
1.1.2研究意義
本書關注基於圖像點特徵的多視圖度量三維重建（metric3Dreconstruction）方法，深入研究四類典型的三維重建問題的建模與求解方法。本書研究對場景結構本身沒有任何限製（如共綫、共麵），也不需要任何場景先驗知識，而且相對於綫、麵圖像特徵而言，點特徵在二維圖像中更加廣泛存在，因此本書研究適用於一般三維場景的重建。下麵從理論和實際應用兩方麵闡述本書研究的意義。
從理論上來說，基於圖像的三維重建在本質上是一個參數估計問題，這些參數包括或者部分相機參數及其場景三維幾何結構。為瞭獲取理想的參數估計，需要定義某種準則來衡量參數估計的優劣，而該質量定義就是**化參數估計的目標函數。由於三維重建是一個逆問題，且圖像數據不可避免地受噪聲和外點（outlier）乾擾，三維重建優化問題往往呈現非綫性（non-linear）、非凸性（non-convex）和多模態（multi-modal，即存在多個局部**值），尚沒有統一、高效的求解方法。目前，求解三維重建問題中相關子問題（如相機定標、三角化等）的全局方法主要有兩大類：一類是確定性算法，這類算法對目標函數的形式要求十分嚴格，且在有外點乾擾的情況下**性將無法保持；另一類是非確定性算法，這類方法往往存在效率低下、收斂性較差等不足之處。當然，盡管上述兩類方法均存在不足，各自的優勢也十分明顯。對於確定性算法，可以從理論上證明其解的**性；對於非確定性算法，目標函數的設置具有較大的靈活性。本書研究提齣在新的混閤優化框架下充分挖掘並利用兩類方法的優點，以實現算法性能的提升，這對視圖幾何問題的建模和求解具有較大的理論意義。
從應用上來說，本書研究內容涵蓋瞭四類典型的三維重建問題，不僅研究基於普通相機拍攝的圖像的陸上兩視圖和一般多視圖三維重建，而且研究瞭由放置在防水外殼中的相機拍攝的水下圖像的三維場景重建方法。實際上，計算機視覺領域的學者針對陸上三維重建已有大量研究，但水下環境的三維重建直到*近幾年纔在計算機視覺領域引起重視，目前尚處於探索階段。因此，本書從兩視圖到一般多視圖、從陸上到水下環境的三維重建研究，可進一步拓寬基於圖像的三維重建技術的應用領域。具體來說，本書研究的非定標兩視圖三維重建方法適閤圖像數據少、先驗知識不足的場閤；定標多視圖三維重建方法適閤圖像數據充足、相機參數已知的應用場閤；兩視圖和一般多視圖水下三維重建方法則適閤相機和被觀察物體處於不同介質中的應用場閤。
隨著基於圖像的三維重建技術的不斷發展，三維模型獲取過程自動化程度越來越高、三維重建精度不斷提升，該技術在三維模型獲取、虛擬仿真、非接觸式測量、科學計算、混閤現實、數字娛樂等領域，以及軍事領域的應用也不斷擴展。前麵已經提到，實際應用中可利用多種設備獲取圖像數據以實現三維重建。在戰場環境中，也可利用安裝在無人機（unmannedaerialvehicle）、裝甲車、坦剋，甚至數字單兵裝備上的視覺傳感器（如照相機、攝像頭）來捕獲感興趣區域的數字圖像。然後離綫或者實時地生成目標區域（或者目標物體）的高精度三維結構。下麵就幾種常見的民事和軍事應用進行簡要說明。
（1）三維模型獲取。從圖像序列中重建得到的場景三維模型包含豐富的紋理信息和三維幾何信息。在輸入圖像信息充足的情況下，可獲得具有高度真實感的三維模型，並完全保持幾何模型與真實場景之間的角度和比例關係。同時，與傳統的基於手工的建模方法（如3DMAX建模軟件）相比，基於圖像的三維重建自動化程度較高，因此可在文物三維數字化、建築設計、機械CAD、影視動畫等領域中發揮重要作用。
（2）非接觸式測量。基於圖像的三維重建模型的尺寸與真實場景之間僅相差一個全局的比例係數，因此隻要給齣場景中的任何一個參考尺寸，就可以通過重建模型計算場景中任意兩點間的真實距離。在真實場景的參考坐標已知的情況下，還可以得到重建場景中任意一點的**位置。基於圖像的三維重建的上述特性，使其滿足非接觸式測量的要求。這種非接觸式測量所需設備簡單，通過相機拍攝的圖像即可計算物體的三維尺度信息。
（3）混閤現實技術。混閤現實（mixedreality，MR）是將虛擬對象與真實場景的圖像或視頻集成起來，以達到虛實無縫融閤的目的。基於圖像的三維重建以恢復相機參數和場景的三維幾何結構為目的。一方麵，三維重建獲得的相機參數可以為混閤現實中的攝像機定標和跟蹤提供支持；另一方麵，真實場景的三維幾何結構可以為虛擬對象的嵌入提供的坐標參考。因此，一旦實現基於圖像的三維重建，虛擬對象便可準確地嵌入真實場景圖像或者視頻中。此外，混閤現實中虛實場景的光照一緻性等問題也將迎刃而解。
（4）戰場態勢感知。在軍事上，基於圖像的三維重建結果可服務於戰場環境可視化（battleeldenvironmentvisualization）、自動目標識彆（automatictargetrecog-nition）、毀傷估計（damageassessment）等應用，有效提升戰場態勢感知（situationalawareness）能力，從而為指揮員提供輔助決策支持。一方麵，上述三維模型可以直接嵌入虛擬戰場環境，獲得更加逼真、可靠的戰場可視化效果；另一方麵，獲得目標的三維信息之後，可以更加有效地對其進行識彆；除此之外，在視覺傳感器周圍環境發生變化的情況下，藉助實時重建的三維環境可更加準確、直觀地進行毀傷估計。
（5）戰場環境監測。通過無人機或者其他視覺傳感器載體得到目標的多幅圖像或影像後，可快速實施三維重建和目標三維尺寸的測量。這種非接觸式測量為軍事偵察提供瞭、高效的監測手段，極大地提高偵察的靈活性、準確性和安全性。特彆地，本書深入研究瞭水下圖像的三維重建方法，可獲得正確、逼真的水下三維場景模型，該技術可極大促進水下戰場環境監測、目標偵察等任務。由於基於圖像的三維重建是一種被動式三維重建方法，較之其他主動式三維重建方法（如三維激光掃描）更具隱蔽性和靈活性，所以尤其適閤上述軍事應用。
（6）虛擬軍事訓練。隨著基於圖像的三維重建技術和混閤現實技術的發展，其在虛擬軍事訓練中有著廣闊的應用前景。在基於圖像的三維重建技術支撐下，藉助混閤現實技術不僅可以使受訓人員産生高度的沉浸感，而且可以利用先進的交互技術實現自然和諧的交互體驗。基於混閤現實的虛擬訓練能模擬並展現逼真的、復雜的戰場景況，不僅可以降低訓練成本、確保訓練安全，而且可重復訓練過程、增加訓練的趣味性、極大地提高訓練成效。
1.2多視圖三維重建的研究現狀
基於圖像的三維重建處於交叉研究領域，涉及計算機視覺、計算機圖形學、圖像處理、模式識彆等諸多學科。通過外學者近幾十年的研究，在理論上和應用中都湧現齣大量的相關研究成果。由於相關工作繁多，這裏無法麵麵俱到，本節僅對基於圖像點特徵的三維重建中涉及的*核心的技術進行簡要迴顧。在後續章節中將針對研究的具體問題再次迴顧與各章緊密相關的研究工作。更加詳細、全麵的相關算法和應用請參閱文獻、、。
1.2.1圖像特徵點檢測和匹配
圖像特徵點對應（featurepointcorrespondence）指的是圖像間稀疏的像素坐標對應關係。圖像特徵點對應是基於圖像點特徵的三維重建方法的基礎，通常包括特徵點檢測、特徵描述和特徵匹配等主要步驟，下麵分彆加以介紹。
1.圖像特徵點檢測
三維重建中圖像特徵點檢測的目標是檢測圖像中穩定的興趣點（interestpoint），並確定其位置、方嚮、尺度等仿射變換參數的過程。目前較流行的特徵點檢測算法有：Laplacian檢測算法；用兩個不同尺度的高斯濾波器的差值近似Laplacian算法的DOG（di.erenceofGaussian）檢測算法；以及根據梯度協方差矩陣檢測圖像中角點位置的Harris-A±ne、Hessian-A±ne等檢測算法。其中，文獻提齣的基於DOG的特徵點檢測方法||尺度不變特徵變換（scale-invariantfeaturetransform，SIFT）是目前性能**的特徵點檢測算法之一。由於SIFT特徵具有可重復性、對某些幾何和攝影圖像變換的不變性，所以適閤多視圖的匹配。SIFT特徵點探測的主要流程如下：首先對輸入圖像進行DOG濾波，如圖1.1(a)所示，然後搜索濾波後的圖像中的所有極大和極小值，這些極值對應的像素坐標即為特徵點坐

序言