Meta 提交的一項(xiàng)新專(zhuān)利展示了可以為視頻游戲和 VR 應(yīng)用程序帶來(lái)更逼真的口型同步和面部動(dòng)畫(huà)的技術(shù)。通過(guò)這些更逼真的面部動(dòng)作創(chuàng)建 NPC 和為玩家化身提供更逼真和身臨其境的體驗(yàn)，包括在 VR 游戲中。

該專(zhuān)利詳細(xì)介紹了將用戶語(yǔ)音轉(zhuǎn)換為逼真的口型同步和面部動(dòng)畫(huà)的多種方法，使開(kāi)發(fā)人員可以靈活地選擇使用該系統(tǒng)的方式。專(zhuān)利中概述的一種方法涉及使用多人在閱讀 50 個(gè)不同的語(yǔ)音平衡句子時(shí)的音頻和視頻記錄數(shù)據(jù)集，系統(tǒng)在他們閱讀每個(gè)句子時(shí)跟蹤他們的面部表情。通過(guò)跟蹤個(gè)人在閱讀每個(gè)句子時(shí)的面部和嘴巴如何移動(dòng)，系統(tǒng)可以從這些動(dòng)作中提取并將它們混合在一起用來(lái)讓角色的動(dòng)畫(huà)更加逼真，甚至包括眨眼和眉毛抬起等細(xì)微動(dòng)作。

除了能夠基于現(xiàn)有數(shù)據(jù)集生成面部動(dòng)畫(huà)和口型同步之外，該專(zhuān)利還描述了該系統(tǒng)如何使用集成到 VR 耳機(jī)中的攝像頭來(lái)做同樣的事情。此功能可以讓 VR 用戶擁有能夠準(zhǔn)確模仿自己面部表情的頭像，從而在多人游戲和《VRchat》等社交 VR 體驗(yàn)中獲得更加逼真和沉浸的體驗(yàn)。