傾斜 45 度，蘋果構建 Vision Pro 沉浸空間視頻的獨特算法

　　邁克・斯旺森(Mike Swanson)上周末發布博文，深度剖析了 iPhone 的“拍攝空間視頻”能力，表示采用了和傳統魚眼鏡頭不同的算法方式。

　　目前拍攝空間視頻能力僅限于運行 iOS 17.2 或更高版本的 iPhone 15 Pro 和 iPhone 15 Pro Max 機型，用戶錄制的空間視頻可以在蘋果 Vision Pro 頭顯上以三維形式重溫回憶。

　　iPhone 15 Pro 和 iPhone 15 Pro Max 上拍攝的空間視頻為 1080p / 30 fps 的 SDR 格式。一分鐘空間視頻的大小約為 130 MB(一分鐘 1080p / 30 fps 普通視頻的大小約為 65 MB)。

　　而想要讓 2D 視頻轉換成為半球形或球形投影圖，在沉浸式體驗方面存在諸多挑戰，其中最常規的方式就是 180 度魚眼鏡頭。

　　常規方法就是以特定方式分割視頻，可以將其拉伸到適合用戶 180 度視野的水平和垂直虛擬球體中。但這種方式會導致部分邊角部分并未實際使用，數據效率不高。

　　還有一種消除黑色部分的替代方法，即 180 度等角投影。通過編輯創建，它可以扭曲圖像以填充整個矩形框架。但這種方式也有一個問題，就是很難在每個 180 度視角中保留細節。

　　蘋果使用了一種特殊的構建算法，以 45 度旋轉的方式對魚眼內容進行編碼，也就是視野直徑位于對角線上，不僅可以更顯更多的像素，而且也提高了數據使用率。

　　對觀眾來說，這樣做的好處是視野“地平線”的像素最多。由于大多數人在觀看視頻時都會注視地平線，因此保留這一部分的細節對觀看體驗至關重要。