ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點"
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，我們的算法對於具有豐富，弱或重複紋理的不同類型的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線算法。對於遮擋表面(TSO數據集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。有趣的是，在沒有任何指定的遮擋表面過程的情況下，我們的算法在TSO數據集上達到了與DIR相當的結果，並且一般優於LM和LLS。當我們將N上升到2000時，我們的算法的跟蹤精度在兩個數據集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個數據集上都是最耗時的。我們的算法在N=1000時在兩個數據集上擊敗其他算法。當我們將關鍵點的數量增加到2000時，我們的算法在TSO數據集上仍然是最有效的，但在我們提出的DeSurT數據集上比LM慢。
圖3至圖6表明了由被比較算法提供的各種類型表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有算法都能夠提供合理的跟蹤結果，但我們的算法可以更好地處理細節。如圖4和圖5所示，所有比較的基線算法都受到弱紋理和重複紋理化表面的影響，但我們的算法能夠在幀間提供準確的跟蹤結果。此外，我們的算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到對象。
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，我們的算法對於具有豐富，弱或重複紋理的不同類型的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線算法。對於遮擋表面(TSO數據集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。有趣的是，在沒有任何指定的遮擋表面過程的情況下，我們的算法在TSO數據集上達到了與DIR相當的結果，並且一般優於LM和LLS。當我們將N上升到2000時，我們的算法的跟蹤精度在兩個數據集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個數據集上都是最耗時的。我們的算法在N=1000時在兩個數據集上擊敗其他算法。當我們將關鍵點的數量增加到2000時，我們的算法在TSO數據集上仍然是最有效的，但在我們提出的DeSurT數據集上比LM慢。
圖3至圖6表明了由被比較算法提供的各種類型表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有算法都能夠提供合理的跟蹤結果，但我們的算法可以更好地處理細節。如圖4和圖5所示，所有比較的基線算法都受到弱紋理和重複紋理化表面的影響，但我們的算法能夠在幀間提供準確的跟蹤結果。此外，我們的算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到對象。
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，我們的算法對於具有豐富，弱或重複紋理的不同類型的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線算法。對於遮擋表面(TSO數據集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。有趣的是，在沒有任何指定的遮擋表面過程的情況下，我們的算法在TSO數據集上達到了與DIR相當的結果，並且一般優於LM和LLS。當我們將N上升到2000時，我們的算法的跟蹤精度在兩個數據集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個數據集上都是最耗時的。我們的算法在N=1000時在兩個數據集上擊敗其他算法。當我們將關鍵點的數量增加到2000時，我們的算法在TSO數據集上仍然是最有效的，但在我們提出的DeSurT數據集上比LM慢。
圖3至圖6表明了由被比較算法提供的各種類型表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有算法都能夠提供合理的跟蹤結果，但我們的算法可以更好地處理細節。如圖4和圖5所示，所有比較的基線算法都受到弱紋理和重複紋理化表面的影響，但我們的算法能夠在幀間提供準確的跟蹤結果。此外，我們的算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到對象。
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，我們的算法對於具有豐富，弱或重複紋理的不同類型的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線算法。對於遮擋表面(TSO數據集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。有趣的是，在沒有任何指定的遮擋表面過程的情況下，我們的算法在TSO數據集上達到了與DIR相當的結果，並且一般優於LM和LLS。當我們將N上升到2000時，我們的算法的跟蹤精度在兩個數據集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個數據集上都是最耗時的。我們的算法在N=1000時在兩個數據集上擊敗其他算法。當我們將關鍵點的數量增加到2000時，我們的算法在TSO數據集上仍然是最有效的，但在我們提出的DeSurT數據集上比LM慢。
圖3至圖6表明了由被比較算法提供的各種類型表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有算法都能夠提供合理的跟蹤結果，但我們的算法可以更好地處理細節。如圖4和圖5所示，所有比較的基線算法都受到弱紋理和重複紋理化表面的影響，但我們的算法能夠在幀間提供準確的跟蹤結果。此外，我們的算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到對象。
ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，我們的算法對於具有豐富，弱或重複紋理的不同類型的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線算法。對於遮擋表面(TSO數據集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。有趣的是，在沒有任何指定的遮擋表面過程的情況下，我們的算法在TSO數據集上達到了與DIR相當的結果，並且一般優於LM和LLS。當我們將N上升到2000時，我們的算法的跟蹤精度在兩個數據集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個數據集上都是最耗時的。我們的算法在N=1000時在兩個數據集上擊敗其他算法。當我們將關鍵點的數量增加到2000時，我們的算法在TSO數據集上仍然是最有效的，但在我們提出的DeSurT數據集上比LM慢。
圖3至圖6表明了由被比較算法提供的各種類型表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有算法都能夠提供合理的跟蹤結果，但我們的算法可以更好地處理細節。如圖4和圖5所示，所有比較的基線算法都受到弱紋理和重複紋理化表面的影響，但我們的算法能夠在幀間提供準確的跟蹤結果。此外，我們的算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到對象。
此外，亮風臺也在通過“開放”、“開源”，和所有AR人一起推進技術的進步，曾發佈了一系列AR相關的開源算法：包括圖匹配算法（PAMI 2018a），2D AR跟蹤算法（PAMI 2018b），投影補償算法（CVPR 2019），單目標跟蹤算法（ICCV 2017）等等。
並參與創建發佈了三個重要的視覺跟蹤評測集，TC-128，POT-210，LaSOT。其中TC-128是國際上第一個彩色跟蹤評測集，POT-128是目前國際上最大的AR跟蹤數據評測集，LaSOT是目前國際上最大的單目標跟蹤評測集。這三個數據集的發佈對於AR以及相關領域的研究起到了重要的推進作用，已經被廣泛使用。
論文詳情：原文鏈接：
https://www3.cs.stonybrook.edu/~hling/publication/deformable%20surface-19.pdf 數據集：
https://www3.cs.stonybrook.edu/~hling/data/DeSurT.rar（~2G）
"ICCV 由IEEE 主辦，每兩年召開一次，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據瞭解，今年一共收到4328篇投稿，與上一屆 2143 篇相比，數量超出一倍，“競爭”激烈。10 月 27 日 - 11 月 2 日，ICCV 2019 將在韓國首爾舉行。
作者：亮風臺
編輯：唐裡
ICCV 2019接收論文結果已經公佈，來自全世界各地院校、研究機構、企業等，共有1077篇計算機視覺相關領域新成果入選。AR公司亮風臺基於圖形匹配的可變形表面跟蹤算法被選為大會論文。新算法提出了一種基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能。
新成果主要論述可變形表面的單目圖像跟蹤的問題，具體而言，亮風臺團隊提出了一種新穎的基於圖的方法，能夠充分探索可變形表面的結構信息，以提高跟蹤性能和效率。所提出的方法通過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。與現存先進算法進行廣泛比較，實驗結果表明，新方法可以對不同類型紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其他算法。
新提出的基於圖的可形變表面目標的跟蹤算法，主要貢獻在三個方面：
1. 通過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
2. 設計統一的優化框架，探索局部外觀，空間關係和變形模型的全部信息，以獲得準確的形狀重建;
3. 構造了一個帶有註釋的新的真實世界數據集，用於在不同類型的紋理的情景中評估可變形表面跟蹤算法。
以下為論文的詳解：1. 綜述
本文解決了跟蹤具有已知初始 3D 形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在視頻序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從視頻序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，我們將這些過程集成到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的優化問題。考慮到計算效率，我們將傳統圖匹配問題中的強匹配約束放寬到鬆匹配約束。這種鬆匹配約束使我們能夠保持更多匹配細節，從而產生更精確的形狀，並且通過在軟匹配約束下開發的新穎匹配算法也極大地提高了計算效率。伴隨著精心設計的候選匹配過濾策略，我們的基於圖形的方法能夠在幾秒內處理數千個點，這比傳統的基於圖形的算法快得多。
為了進行全面評估，我們將我們的方法與幾個最近提出的方法在兩個數據集上進行比較：一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個視頻序列，另一個是新收集的數據集，包括使用不同表面在顯著形變的條件下記錄的11個視頻序列，其中這些目標具有豐富，不明顯或重複的紋理。實驗結果表明，我們的方法可以為所有視頻序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，我們的方法在兩個數據集上的表現也通常優於參與比較的算法。
2. 本文的方法我們用三角化的網格表示已知的模板形
，這個網格通過Nv點
組成，這些點又由 Ne 個邊組成的邊集
所連接。我們將相機參考幀（初始模板）中描述的點壓入一個向量
中。已知模板通過未知的 3D 連續可微的形變 ψ 和未知的形變後的形狀S相關聯，也就是說 ψ 將 中的一個點映射到S中。類似的，我們可以用 Nv 個有著未知的3D座標的點 vi 來表示形狀 S ，並將這些點壓入向量 中，這個向量在我們的算法中是需要求解的。我們假設相機已經過校準，具有已知的內在和外在參數。也就是說，我們有一個已知的映射函數
將每個 3D 網格中的點映射成 2D 圖像的點。
和
分別是從參考圖像中和輸入圖像中提取出來的特徵集。為了簡便，對於每個特徵點
（以及
），我們還使用相同的符號表示其在2D圖像中的齊次座標。由於參考圖像的 3D 表面是已知的，對每個特徵點我們能夠計算出它的 3D 網點
。在
和P兩個點集中的點的對應關係由矩陣
表示，矩陣中每個元素
表示
與
匹配的概率。請注意，我們在此使用軟對應關係而不是先前方法中通常採用的硬對應關係。軟對應關係使我們能夠保持更多的對應細節，從而提高恢復的3D形狀的準確性。 它帶來的另一個好處在於隨後的二次規劃問題通過丟棄離散約束變得更容易來解決。
通過同時求解和來最小化cost函數ε(C,ψ)可以得到被重建的最優的形狀：
其中代表mxn的全零矩陣，
代表n個1組成的列向量，
和
分別是針對每個元素的大於和小於，
表示點
和點
之間的測地距離的約束。在對應關係C上的約束保證了每個點最多隻能參與一次匹配。而對形 ψ 的約束是不可擴展約束，為的是防止相鄰點之間的歐幾里得距離超過界限。
在先前的方法中，cost函數 ε(C,ψ) 經常被定義成 ψ 形變下所有對應關係
的累積誤差。在本文中，我們提出了一種基於圖的度量，它將圖形結構之間的投影誤差組合為
其d(ψ,i,j,a,b)是度量在形 ψ 下邊
和邊
之間的一致性。我們定義d為外觀一致性函數
和幾何一致性函數
的組合，各個函數為：
其中
和
分別是特徵點
和
的光度描述符，並α∈[0,1]控制著局部特徵和用來重建形狀的圖結構之間的平衡。
為了簡潔，我們可以對公式（2）用一種點對相容性的方式表述：
其中
是矩陣的向量形式，
是對應的affinity矩陣：
其中(i,a)代表在參考圖像中的點與輸入圖像中的點
組成的一個候選匹配，ind(·)是將點對應關係映射到一個整數索引的雙射函數。注意，κ被選擇為足夠大以確K(ψ)是非正的，其目的是避免由於沒有對應關係被激活而求解出的平凡解。
為了在變形 ψ 下過濾具有較大投影誤差的離群匹配，我們通過投影誤差項來懲罰匹配點，投影誤差隨著匹配點的增加而增加
其λ>0自適應地控制拒絕離群值的程度，
將每個點匹配的一元投影誤差編碼為：
3. 優化求解
對於新來的一幀，我們首先用先前幀的求解結果來預測和，然後再通過交替固定兩者中的一項來優化另一項。這個優化過程迭代進行直到收斂或者達到算法的最大迭代次數。
3.1. 對應關係的優化求解
給定形 ψ ，問題(1)被簡化為按下式求解最優對應關係：
其中
是一對一匹配約束。
通過刪除離散約束並添加懲罰項，問題(8)可以視為鬆弛圖匹配問題。雖然一些用於解決傳統的圖匹配問題的冪迭代算法可以很容易地被拓展來解決軟對應關係，但是對於我們來說，這些拓展後的算法由於懲罰項的存在也很難應用在問題(8)上。在這一節，我們提出了一種基於Frank-Wolfe算法的方法來相對於對應關係來最小化問題(8),這個算法被描述在Algorithm 1 中。
3.2. 形變模型的優化求解
給定一個對應關係c，（也就是對應矩陣C），問題(1)可以簡化成按下列公式求解最優形變：
我們按照下式放鬆問題(9)的第一項：
因此問題(9)被放鬆為一個線性擬合問題：
其中
是每一個樣本的權重。
如[22]中所述，這個問題可以進一步重新表述為一個相對於網格頂點座標的條件良好的線性系統：
其中M是一個係數矩陣，A是正則化矩陣，r是標量係數，用於定義我們對解決方案的規範程度。
4. 實驗4.1. 新收集的數據集
最近，幾個數據集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。而且，這些數據集是使用非常有限的表面類型的目標收集的，不足以評估可變形表面目標跟蹤算法的有效性。
為了全面評估所提出的算法與基準算法的比較，我們創建了一個新的數據集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。使用Kinect相機收集此數據集，以評估各種變形和不同光照條件下的跟蹤性能。它包含11個視頻流和3,361個幀，顯示幾種不同類型表面的各種變形，包括七種不同內容的打印圖像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;(2)重複紋理表面，包括磚，布和墊子2;(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，我們使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。因此，除了每個幀的深度信息之外，所有視頻都在每幀中有手動標註的真實網格頂點。
為了測試所提出的算法對遮擋的魯棒性，我們還報告了算法在公共數據集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個數據集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的視頻流，總共394個幀，並且數據集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，我們報告了所提算法與幾種最先進的基線算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後通過求解線性系統重建形狀，該線性系統是使用擴展的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在我們的實驗中，我們(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於像素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，我們將其初始化為上一幀的解。
對於我們的算法，我們固α=0.7，並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，我們的算法對於具有豐富，弱或重複紋理的不同類型的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線算法。對於遮擋表面(TSO數據集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。有趣的是，在沒有任何指定的遮擋表面過程的情況下，我們的算法在TSO數據集上達到了與DIR相當的結果，並且一般優於LM和LLS。當我們將N上升到2000時，我們的算法的跟蹤精度在兩個數據集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個數據集上都是最耗時的。我們的算法在N=1000時在兩個數據集上擊敗其他算法。當我們將關鍵點的數量增加到2000時，我們的算法在TSO數據集上仍然是最有效的，但在我們提出的DeSurT數據集上比LM慢。
圖3至圖6表明了由被比較算法提供的各種類型表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有算法都能夠提供合理的跟蹤結果，但我們的算法可以更好地處理細節。如圖4和圖5所示，所有比較的基線算法都受到弱紋理和重複紋理化表面的影響，但我們的算法能夠在幀間提供準確的跟蹤結果。此外，我們的算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到對象。
此外，亮風臺也在通過“開放”、“開源”，和所有AR人一起推進技術的進步，曾發佈了一系列AR相關的開源算法：包括圖匹配算法（PAMI 2018a），2D AR跟蹤算法（PAMI 2018b），投影補償算法（CVPR 2019），單目標跟蹤算法（ICCV 2017）等等。
並參與創建發佈了三個重要的視覺跟蹤評測集，TC-128，POT-210，LaSOT。其中TC-128是國際上第一個彩色跟蹤評測集，POT-128是目前國際上最大的AR跟蹤數據評測集，LaSOT是目前國際上最大的單目標跟蹤評測集。這三個數據集的發佈對於AR以及相關領域的研究起到了重要的推進作用，已經被廣泛使用。
論文詳情：原文鏈接：
https://www3.cs.stonybrook.edu/~hling/publication/deformable%20surface-19.pdf 數據集：
https://www3.cs.stonybrook.edu/~hling/data/DeSurT.rar（~2G）
相關推薦
