將2D圖像人物實(shí)時(shí)映射3D模型 Facebook開(kāi)源DensePose技術(shù)

　　2018年06月19日，F(xiàn)acebook AI Reaserch(FAIR)今天正式開(kāi)源了DensePose，一項(xiàng)將2D RGB圖像的所有人類像素實(shí)時(shí)映射至3D模型的技術(shù)。

　　最近在人類認(rèn)識(shí)方面的研究主要是定位一組零散分布的關(guān)節(jié)，如手腕或肘部。這對(duì)手勢(shì)或動(dòng)作識(shí)別等應(yīng)用程序而言可能已經(jīng)足夠，但這減少了圖像解釋。Facebook則希望更進(jìn)一步，比如說(shuō)通過(guò)一張照片來(lái)進(jìn)行試裝，或者替換圖片中朋友的衣服。對(duì)于這些任務(wù)，我們需要更完整的基于表面的圖像解釋。

　　DensePose項(xiàng)目旨在解決這個(gè)問(wèn)題，通過(guò)基于表面的模型來(lái)理解圖像中的人類。Facebook的研究表明，我們可以高效地計(jì)算2D RGB圖像和人體三維表面模型之間的密集對(duì)應(yīng)關(guān)系。與人體姿勢(shì)估計(jì)中利用10個(gè)或20個(gè)人體關(guān)節(jié)的常見(jiàn)項(xiàng)目不同，DensePose涉及整個(gè)人體，需要超過(guò)5000個(gè)節(jié)點(diǎn)。Facebook系統(tǒng)的最終速度和準(zhǔn)確性加速了與增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的聯(lián)系。

　　早期對(duì)這個(gè)問(wèn)題的研究在速度上相對(duì)緩慢，而DensePose則可以在單個(gè)GPU上以每秒多幀的速度運(yùn)行，并且能夠同時(shí)處理數(shù)十，甚至數(shù)百人。

　　為了實(shí)現(xiàn)這一點(diǎn)，F(xiàn)acebook推出了DensePose-COCO。這個(gè)大型標(biāo)注數(shù)據(jù)集，在50000張COCO的圖像上手工標(biāo)注了圖像-人體表面(image-to-surface)的對(duì)應(yīng)點(diǎn)。在第一階段，標(biāo)注者將劃定與可見(jiàn)的、語(yǔ)義上定義的身體部位相對(duì)應(yīng)的區(qū)域。在第二階段，F(xiàn)acebook用一組大致等距的點(diǎn)對(duì)每個(gè)部位的區(qū)域進(jìn)行采樣，并要求標(biāo)注者將這些點(diǎn)與表面相對(duì)應(yīng)。

　　Facebook同時(shí)開(kāi)發(fā)了一種新穎的深層網(wǎng)絡(luò)架構(gòu)。Facebook以Detectron系統(tǒng)為基準(zhǔn)，并且納入了密集姿態(tài)估計(jì)的功能。和Detectron的Mask-RCNN系統(tǒng)一樣，F(xiàn)acebook采用了Region-of-Interest Pooling，并且引入了一個(gè)全卷積網(wǎng)絡(luò)。Facebook用三個(gè)輸出通道來(lái)增強(qiáng)網(wǎng)絡(luò)，訓(xùn)練它把像素分配給各個(gè)部分，以及U-V坐標(biāo)。得益于Caffe2，所產(chǎn)生的架構(gòu)實(shí)際上與Mask-RCNN一樣快。

　　Facebook表示，之所以開(kāi)源是因?yàn)樗麄兿Ｍ鸇ensePose可以為計(jì)算機(jī)視覺(jué)，增強(qiáng)現(xiàn)實(shí)和計(jì)算機(jī)圖形的研究人員和開(kāi)發(fā)者可以更緊密地合作，并且助力新體驗(yàn)的發(fā)展。據(jù)映維網(wǎng)了解，DensePose目前已經(jīng)托管至GitHub。Facebook同時(shí)為DensePose-COCO準(zhǔn)備多個(gè)預(yù)先訓(xùn)練模型的性能基準(zhǔn)，以及人工標(biāo)注信息。