Connect 2021大會(huì)上，小扎將Facebook改名為Meta，全力奔向元宇宙。而在許多人看來(lái)，這只是元宇宙的PPT。其實(shí)，Meta一直在開展Codec Avatars項(xiàng)目，目前已能創(chuàng)建出逼真的虛擬角色，連頭發(fā)絲都根根分明。

扎克伯格也來(lái)挑戰(zhàn)「光劍變裝」了。

你以為是這樣的?NoNoNo!

小扎沒有唐藝昕那樣的炫酷，倒是多了幾分滑稽。

右手背后藏劍，左手亮劍：一瓶BBQ蘸汁。

這是小扎在「元宇宙」中虛擬化身(Avatar)，這一亮劍視頻讓許多人紛紛轉(zhuǎn)發(fā)。

自從Facebook更名為Meta，正式進(jìn)軍元宇宙之后，「元宇宙」這個(gè)詞的熱度就一直未減。

而與「元宇宙」一起被頻繁提及的，就是「化身」(Avatar)這個(gè)詞。

「化身」，通俗意義上講，就是人們?cè)谔摂M世界里的形象。

12月10號(hào)，「元宇宙」先鋒Meta開放了自家的虛擬世界平臺(tái)Horizon Worlds。

當(dāng)用戶進(jìn)入Horizon Worlds后，就需要?jiǎng)?chuàng)建一個(gè)3D虛擬化身。

有了化身，用戶就可以在這個(gè)自定義的世界中暢快玩耍。

不過，略顯尷尬的是，這些avatar的表情都非常僵硬。

所以，雖然目前的3D虛擬化身也勉強(qiáng)能用，但離著科幻電影，比如「頭部玩家」里那種逼真的化身形象，還有十萬(wàn)八千里。

而Codec Avatars項(xiàng)目便代表了Meta在虛擬化身領(lǐng)域所做的努力。

「元宇宙」不是PPT，Meta真在做

小扎改名Facebook的決心也不是鬧著玩兒的。

若想在元宇宙中實(shí)現(xiàn)真正的交互，虛擬化身可是打開元宇宙這道門的任督二脈。

Codec Avatars這一項(xiàng)目旨在實(shí)現(xiàn)一個(gè)能夠捕獲和表示用于XR的逼真頭像的系統(tǒng)。

基于3D捕捉和AI技術(shù)，Codec Avatars可以讓人們快速能夠輕松地構(gòu)建屬于自己的虛擬化身，并使虛擬空間中的交互像在現(xiàn)實(shí)世界一樣自然。

最初這個(gè)項(xiàng)目是以高質(zhì)量的頭像演示開始，后來(lái)逐漸實(shí)現(xiàn)構(gòu)建全身的虛擬化身。

除了簡(jiǎn)單地掃描一個(gè)人的身體之外，一個(gè)主要的挑戰(zhàn)是讓它以現(xiàn)實(shí)的方式移動(dòng)——更不用說讓整個(gè)系統(tǒng)能夠?qū)崟r(shí)運(yùn)行，以便化身可以在交互式環(huán)境中使用。

在Connect 2021大會(huì)上，研究人員Yaser Sheikh展示了該團(tuán)隊(duì)最新的成果——全身視頻編解碼器(Full-body Codec Avatars)。

他表示現(xiàn)在Codec Avatars支持更復(fù)雜的眼部運(yùn)動(dòng)、面部表情、手部和身體姿勢(shì)。

此外，Meta還展示了虛擬化身在對(duì)不同的光照條件和環(huán)境下實(shí)現(xiàn)頭發(fā)和皮膚的真實(shí)渲染。

那么，衣服也可以在元宇宙中實(shí)現(xiàn)真實(shí)模擬。

扯一扯彈性不錯(cuò)，抖動(dòng)一下也會(huì)有褶皺。

身體細(xì)節(jié)、衣服都能做到現(xiàn)實(shí)還原，還有高保真的虛擬空間。

Meta就建造了一個(gè)虛擬公寓，公寓中所有物品都是現(xiàn)實(shí)世界的映射。

這樣用戶在虛擬空間中移動(dòng)物體或者交互都能與物理空間實(shí)現(xiàn)同步。

目前，這似乎是為公司構(gòu)建一個(gè)映射的真實(shí)世界環(huán)境的「最佳案例」場(chǎng)景來(lái)進(jìn)行實(shí)驗(yàn)。

進(jìn)入元宇宙后，手動(dòng)跟蹤也同樣重要。如果在物理世界中大甩手臂實(shí)現(xiàn)交互，不僅累，而且也不雅觀。

為此，Meta一直在研究一種更加微妙自然的方法，即通過EMG腕帶進(jìn)行XR輸入。

前段時(shí)間，Meta還推出了一款觸覺啟動(dòng)手套，都是為了實(shí)現(xiàn)在元宇宙中的新交互所做的努力。

如何構(gòu)建Codex Avatars?

Meta開始制作Codex Avatars的契機(jī)要追溯到7年前。

2014年，卡內(nèi)基梅隆大學(xué)機(jī)器人研究所旗下的一家3D捕捉實(shí)驗(yàn)室Panoptic Studio的負(fù)責(zé)人Yaser Sheikh遇到了Oculus首席科學(xué)家Michael Abrash，兩人聊得非常投機(jī)。

Michael Abrash

2015年，Yaser Sheikh加入了Facebook(現(xiàn)Meta)，從那以后便一直領(lǐng)導(dǎo)著Codex Avatars研究團(tuán)隊(duì)。

Yaser Sheikh

「要想打造一個(gè)逼真的化身，基礎(chǔ)在于測(cè)量」，Codex Avatars研究科學(xué)家托馬斯·西蒙說。

「化身要以假亂真靠的是精確的數(shù)據(jù)，這需要良好的測(cè)量。因此，構(gòu)建真實(shí)化身的關(guān)鍵是找到一種方法來(lái)測(cè)量人類表情中的物理細(xì)節(jié)，比如一個(gè)人瞇起眼睛或皺起鼻子的方式。」

在匹茲堡實(shí)驗(yàn)室的Codec Avatars團(tuán)隊(duì)，使用了兩個(gè)主要的模塊來(lái)測(cè)量人類的表情：編碼器和解碼器。

首先，編碼器使用攝像頭來(lái)捕捉受試者正在做什么，然后將捕獲的信息組裝成一個(gè)唯一的編碼，用來(lái)表示一個(gè)人的身體和環(huán)境狀態(tài)，這個(gè)編碼可以隨時(shí)發(fā)送到任何需要的地方。

然后，解碼器再將該編碼轉(zhuǎn)換為視頻信號(hào)。

普通的智能手機(jī)攝像頭也能拍攝生動(dòng)的視頻。不過，Codec Avatars可是海量物理數(shù)據(jù)和復(fù)雜軟件的結(jié)合，比想象中要復(fù)雜得多。

Codec Avatars項(xiàng)目在捕捉人臉細(xì)節(jié)時(shí)，使用了數(shù)百個(gè)高分辨率相機(jī)，而每個(gè)相機(jī)又會(huì)以每秒1 GB的速度捕獲數(shù)據(jù)。

這是什么概念呢?

打個(gè)比方，這些相機(jī)三秒鐘的記錄的數(shù)據(jù)就足以裝滿一個(gè)512GB的磁盤。

而Codec Avatars團(tuán)隊(duì)持續(xù)記錄大約15分鐘，這已經(jīng)到達(dá)了他們現(xiàn)有硬件條件的極限，但盡可能多的數(shù)據(jù)也為創(chuàng)建最逼真的虛擬頭像打下了基礎(chǔ)。

Codec Avatars團(tuán)隊(duì)正在使用這些數(shù)據(jù)來(lái)訓(xùn)練AI系統(tǒng)，從而讓AI可以從視頻中快速構(gòu)建虛擬頭像。

Sheikh說：「我們目前已經(jīng)可以還原發(fā)型夸張的人的3D頭像，甚至還原戴著腦電采集帽的人的頭像也不在話下。」

「這是世界上最先進(jìn)的能夠自動(dòng)生成人類的真實(shí)數(shù)字肖像的方法之一。它提供了一種虛擬的面對(duì)面交流的新方式，將來(lái)可以廣泛推廣。」

而隨著Codec Avatars的出現(xiàn)，人們對(duì)「元宇宙」社交的接受度會(huì)不會(huì)越來(lái)越高呢?

關(guān)鍵詞： 扎克伯格 光劍變裝 Meta 元宇宙