谷歌推出高質量360度視頻拼接算法：基于視圖插值的光流

　　2018年04月10日，谷歌在2015年推出了Jump，簡化從拍攝到播放的VR視頻制作流程。高質量VR相機能夠令拍攝變得更加簡單，好消息是映維網了解到Jump Assembler則將令自動拼接變得更快，減低投入的成本。借助成熟的計算視覺算法和谷歌數據中心的計算力量，Jump Assembler可以在沉浸式3D 360度視頻中實現清晰逼真的圖像拼接結果。

　　1. 拼接

　　今天谷歌正式為Jump Assembler帶來了了一個新的選項，支持系統采用基于多視圖三維重建(multi-view stereo)的全新高質量拼接算法。這種算法能夠產生與谷歌標準算法一樣的無縫3D全景圖，但能夠通過復雜的圖層和重復的圖案來減輕場景中的偽影。它同時能夠生成有更清晰對象邊界的深度圖，而這對VFX非常有用。

　　下面我們先來看看谷歌標準算法的工作原理。它基于光流概念，亦即將一幅圖像中的像素與另一幅圖像中的像素進行匹配。在匹配時，你可以知道像素是如何從一幅圖像“移動”或“流動”至另一幅圖像。在匹配每一個像素后，你就可以通過局部地移動像素來插值中間視圖。這意味著你可以在拍攝裝置上的相機之間“填補空白”，這樣在拼接時就能實現一個無縫，連貫的360度全景圖。

　　2. 基于視圖插值的光流

　　谷歌最新的高質量拼接算法利用了多視圖三維重建來渲染影像。區別何在?即便拍攝裝置上的其他相機也有可能看到相同的對象，但標準光流算法一次僅使用一對圖像;而谷歌的新方法可以同時在多幅圖像中尋找匹配。

　　這種全新的多視圖三維重建算法計算每一個像素的深度(如像素到對象的距離，一個3D點)，而且拍攝裝置上任何能看到這個3D點的相機都可以幫助建立深度，令拼接過程變得更加可靠。

　　谷歌的新方法還有助于解決所有拼接算法都在面臨的關鍵挑戰：遮擋，亦即處理在一幅圖像中可見，但在另一幅圖像不可見的對象。多視圖三維重建拼接在處理遮擋方面的效果更好，因為如果一個對象隱藏在一幅圖像中，這種算法可以利用拍攝裝置上的附近任意相機圖像來確定該點的正確深度。這有助于減少拼接偽影，并生成具有清晰對象邊界的深度圖。

　　如果你是一名VR電影拍攝工作者，并且希望嘗試這種全新的算法，只需在 Jump Manager的拼接質量下拉欄中圖選擇“high quality(高質量)”即可。