模擬真人化妝技藝手法 Instagram實現(xiàn)逼真AR妝容疊加

　　2018年12月26日，F(xiàn)acebook旗下Instagram的研究人員提出了一種利用增強現(xiàn)實的創(chuàng)新方法，其可以在移動設(shè)備上提供一系列不同的皮膚顏色，從而實現(xiàn)逼真的妝容疊加。

　　他們開發(fā)的方法能夠模仿真人化妝師的真實世界化妝(疊加)技藝與手法。研究人員指出，應(yīng)用程序可以準(zhǔn)確地呈現(xiàn)商業(yè)化妝產(chǎn)品中最常用的五種材料：啞光，天鵝絨，絲緞，亮澤和金屬光。Insagram團隊同時采用了皮膚平滑功能來均勻自然膚色與色調(diào)映射，進(jìn)一步混合皮膚源與合成層。

　　研究團隊在論文中指出，這個AR化妝流程依賴于實時移動面部追蹤器，后者允許他們?yōu)閷崟r視頻流中每一幀的面部對齊網(wǎng)格運行GPU著色器。他們提供了定義面部區(qū)域的構(gòu)造貼圖并將其作為輸入，如嘴唇，眼睛和臉頰，以及妝容屬性。然后再應(yīng)用Instagram研發(fā)的光線響應(yīng)妝容以生成目標(biāo)圖像。諸如睫毛這樣的妝容附件可以疊加至面部進(jìn)行呈現(xiàn)。最后，Instagram團隊?wèi)?yīng)用了皮膚平滑和色調(diào)映射功能，進(jìn)一步融合了皮膚源層和合成層，從而增加逼真感。

　　1. 光線響應(yīng)妝容

　　Instagram的算法適用于RGB和LAB顏色空間，其中基礎(chǔ)反照率顏色應(yīng)用于RGB，而著色則在LAB中完成。以前的研究將妝容基色應(yīng)用于HSV[KIM和CHOI 2008]或LAB色彩空間[d.Campos和Morimoto 2014]。然而，相關(guān)方法在多種膚色(色調(diào))或光照條件下難以保持一致的顏色。

　　在Instagram的算法中，他們首先對輸入圖像進(jìn)行去飽和，并提取中低亮度頻率。接下來則將源妝容顏色與提取的頻率相結(jié)合，并使用中頻來突出顯示(在高頻進(jìn)行篩選，將低頻率變暗)，方法是在高頻進(jìn)行相乘。

　　他們的著色算法將妝容顏色與預(yù)先計算的環(huán)境遮擋貼圖相結(jié)合，并將結(jié)果轉(zhuǎn)換為LAB空間。為了所需的外觀，他們提出了一種實證的Gloss和Shine模型。它主要是通過轉(zhuǎn)換LAB的亮度來實現(xiàn)相關(guān)效果。

　　最后，他們使用環(huán)境貼圖模擬非常光亮的妝容區(qū)域反射。貼圖包含一個低頻工作室照明設(shè)置，并根據(jù)用戶的移動設(shè)備進(jìn)行3D定向。

　　2. 睫毛

　　對于睫毛，他們采用了帶有節(jié)點的條狀網(wǎng)格和用于睫毛圖案的紋理。團隊使用4個節(jié)點來將網(wǎng)格可靠地附加到面部網(wǎng)格中的UV坐標(biāo)，而這個網(wǎng)格在運行時可通過一系列混合形狀來進(jìn)行轉(zhuǎn)換，從而模仿用戶的面部表情。這使得他們可以控制睫毛的長度，曲率和密度。

　　3. 皮膚平滑

　　Instagram團隊采用了邊緣保留模糊濾波器來均衡自然膚色，并模仿粉底化妝產(chǎn)品。他們探索了一定的算法，包括雙邊濾波器[Barash和Comaniciu 2004]，低通濾波器和導(dǎo)向濾波器[He和Sun 2015]。雙邊濾波器提供了良好的視覺效果，但O(N2)復(fù)雜度使其在移動設(shè)備上的計算成本很高。盡管存在一個近似的解決方案，但它經(jīng)常會產(chǎn)生偽影[Yoshizawa等人。2010]。

　　低通濾波器在計算成本更優(yōu)，但難以產(chǎn)生良好的視覺效果。為了實現(xiàn)所需的視覺效果與性能，研究人員選擇了快速引導(dǎo)濾波器，它主要是在子采樣空間中進(jìn)行大量計算，所以相當(dāng)高效。通過使用圖像的亮度來作為引導(dǎo)圖像，允許RGB和亮度打包在單個紋理中，他們進(jìn)一步優(yōu)化了系統(tǒng)。

　　4. 色調(diào)映射

　　他們使用了類似于Reinhard運算符[Reinhard等人。2002]的本地色調(diào)映射。在Instagram的實現(xiàn)中，他們首先利用GPU雙線過濾來將圖像下采樣到大小的1/16。為了定位色調(diào)映射，他們使用了4×8網(wǎng)格，并計算每個區(qū)域日志空間中的最小，最大和平均亮度。這種本地化提高了視覺質(zhì)量，并且更好地利用了GPU的并行性。最后，研究團隊將每個像素的顏色重新映射成從計算值生成的s曲線。這使得渲染像素與實際環(huán)境匹配。

　　5. 結(jié)論

　　Instagram在一系列的移動設(shè)備上進(jìn)行了測試，速度超過45fps，下表顯示的AR化妝的渲染時間。

　　Instagram團隊在論文中總結(jié)說：“我們已經(jīng)表明，我們的方法可以逼真地渲染化妝師常用的材料(圖1)，而在這一基礎(chǔ)上，我們?yōu)橐苿佑脩糸_發(fā)了一個免費的商業(yè)試裝平臺。”