最近舉行的2024進(jìn)博會(huì)，是了解索尼中國(guó)最新創(chuàng)新技術(shù)與本土實(shí)踐的一個(gè)窗口。第三次亮相進(jìn)博會(huì)的索尼，此次重點(diǎn)展示了以科技激發(fā)創(chuàng)意的探索與成果。

進(jìn)博會(huì)前，東西文娛/共同虛擬已參加過一次小范圍交流。索尼聲明了在華的業(yè)務(wù)，大的趨勢(shì)是穩(wěn)步中增長(zhǎng)。（相關(guān)鏈接：巨頭索尼“洞察”中國(guó)：看好互動(dòng)沉浸娛樂產(chǎn)業(yè)發(fā)展，虛擬制作、沉浸娛樂、LBE大空間、主機(jī)游戲是關(guān)鍵詞）

而在此次進(jìn)博會(huì)期間，東西文娛/共同虛擬圍繞與沉浸娛樂和虛擬制作相關(guān)的兩項(xiàng)創(chuàng)新技術(shù)，與索尼在華最高技術(shù)負(fù)責(zé)人和項(xiàng)目首席創(chuàng)意制作人，就技術(shù)原理、發(fā)展路線、未來應(yīng)用等，有了進(jìn)一步交流。

此次索尼重點(diǎn)推出兩項(xiàng)技術(shù)：地板觸覺反饋技術(shù)、虛擬形象捕捉解決方案。其中，地板觸覺反饋技術(shù)是第一次引入中國(guó)。

根據(jù)索尼的規(guī)劃，目前這兩項(xiàng)技術(shù)已優(yōu)先與索尼旗下娛樂相關(guān)版塊合作。也就是說，即將在索尼影視、游戲等項(xiàng)目中看到技術(shù)的實(shí)際應(yīng)用。

與此同時(shí)，索尼中國(guó)希望推進(jìn)技術(shù)在中國(guó)的本土化應(yīng)用，加強(qiáng)與中國(guó)本土娛樂、文博等領(lǐng)域機(jī)構(gòu)與創(chuàng)作者的合作。

索尼中國(guó)品牌推廣辦公室總經(jīng)理、公司項(xiàng)目首席創(chuàng)意制作人西岡靖就表示，索尼到底要朝哪個(gè)方向去，實(shí)際上很簡(jiǎn)單，就是貼近人。

具體來說，就是和創(chuàng)造感動(dòng)的人士一起，通過索尼的創(chuàng)新技術(shù)來創(chuàng)造出優(yōu)質(zhì)的產(chǎn)品和內(nèi)容，然后提供感動(dòng)。而為了讓創(chuàng)作者對(duì)新的創(chuàng)作技術(shù)心馳神往，激發(fā)他們的熱情，并更好利用技術(shù)創(chuàng)造感動(dòng)，索尼將從三個(gè)方面入手：

“第一，是索尼自己的獨(dú)一無(wú)二的技術(shù)；第二，本土化的自產(chǎn)自銷的做法，第三，通過創(chuàng)造感動(dòng)的體驗(yàn)來實(shí)現(xiàn)這一點(diǎn)。”

沉浸娛樂體驗(yàn)：地板觸覺反饋技術(shù)

1、技術(shù)原理

“觸覺技術(shù)的范圍是比較廣的，比方說有力量、壓力，或者是溫度、疼痛的感覺等等，這些都是廣義上的觸覺的技術(shù)。

振動(dòng)觸覺的技術(shù)，可以類比音箱。它的工作原理是這樣的，把聲音通過膜的振動(dòng)來加以獲得。人類耳朵能夠獲得的聲音的范圍是20赫茲到2萬(wàn)赫茲。如果聲音低于一定的赫茲，則可以通過人體的皮膚來獲得。人體皮膚類似于一個(gè)受體，它能夠起到傳感器的作用，把這種低赫茲的聲音捕捉過來。

為此，我們針對(duì)300赫茲以下的低頻的聲音做了特殊的處理，并以地板方式來呈現(xiàn)。也就是通過地板對(duì)聲音的振動(dòng)，來使自己的腳心體驗(yàn)到這種聲音。”

2、技術(shù)應(yīng)用方向和場(chǎng)景

“我們這種技術(shù)，對(duì)于音樂的波形是可以定制的，按照自己喜愛的方式來加以體現(xiàn)。比如感覺走在水上、干燥的落葉、冰上。另外，它還有一個(gè)特點(diǎn)，可以模塊化組裝，因此非常容易運(yùn)輸、搬動(dòng)，可以在任何地方根據(jù)需要來進(jìn)行組合。

將它跟其他各個(gè)感官結(jié)合起來，像人本來所擁有的觸覺，或者是嗅覺、聽覺等等結(jié)合，能打造更為充滿沉浸感的空間。

現(xiàn)在，包括博物館、美術(shù)館，很多地方在做數(shù)字藝術(shù)的展示，可以很好地利用這項(xiàng)技術(shù)。原來是靜止展示的，比方說恐龍館，通過這個(gè)技術(shù)，就能夠感覺恐龍是會(huì)動(dòng)的。

還有一個(gè)，通過這種技術(shù)，能夠把人帶到自己不能夠去或者永遠(yuǎn)不能夠?qū)崿F(xiàn)去看一看這種心愿的地方。比如在冰上行走，其實(shí)很多人都沒有這種經(jīng)歷。如果說到更加極端的例子的話，很少有人去月球、去太空，但是通過我們的技術(shù)，能夠讓你身臨其境感覺到去月球、太空的可能。”

3、打造觸覺波形數(shù)據(jù)庫(kù)

“我們現(xiàn)在知道，如果是200赫茲的刺激的話，皮膚會(huì)感到是讓人給點(diǎn)了一下，或者是觸摸了一下。而如果是5赫茲這種波形的話，它讓人感覺非常柔軟。我們對(duì)于各種皮膚能夠感受到的觸覺的波形，正在打造一個(gè)類似于數(shù)據(jù)庫(kù)的東西。

隨著我們這個(gè)數(shù)據(jù)庫(kù)越建越強(qiáng)的話，最終就不需要再進(jìn)行客制化的定制。只要調(diào)用現(xiàn)有的波形，就可以實(shí)現(xiàn)你要達(dá)到的觸覺的體驗(yàn)。

目前的觸覺數(shù)據(jù)庫(kù)里已經(jīng)積累了很多觸覺波形，基本上都已經(jīng)覆蓋了。另外，索尼對(duì)技術(shù)非常開放，我們希望利用這個(gè)技術(shù)，由更多的創(chuàng)作者跟我們一起去打造更多體驗(yàn)。因此索尼一方面自己會(huì)努力，另一方面是聯(lián)合更多的創(chuàng)作者一起來做這個(gè)事情。”

虛擬制作：虛擬形象捕捉解決方案

1、技術(shù)原理

“具體來說，它是一個(gè)融合了數(shù)字3D技術(shù)和對(duì)人物進(jìn)行實(shí)地捕捉之后，進(jìn)行融合形成全新內(nèi)容的技術(shù)。

有一個(gè)能夠全方位捕捉360度影像的多鏡頭系統(tǒng)，然后把人物或者是場(chǎng)景用這個(gè)多鏡頭系統(tǒng)完全捕捉過來。在此之后，會(huì)有個(gè)重建的過程。因?yàn)槭?60度的多鏡頭系統(tǒng)，所以每個(gè)側(cè)面都會(huì)被精確地掌握。”

2、技術(shù)應(yīng)用場(chǎng)景

“鏡頭捕捉獲得的數(shù)據(jù)可以有多樣的應(yīng)用范圍，比如在虛擬空間作為數(shù)字資產(chǎn)或者是用于VR、游戲等。另外，整套系統(tǒng)還可以用于包括體育、賽事、娛樂等等的場(chǎng)景之中，因?yàn)樗�可以提供自由視角的拍攝的場(chǎng)景。

進(jìn)博會(huì)上特別設(shè)計(jì)了展示內(nèi)容。參觀者可體驗(yàn)通過360度影棚拍攝并創(chuàng)建自己的3D虛擬形象，并使用自己的虛擬形象，游玩互動(dòng)游戲，這其中就需要通過索尼AI驅(qū)動(dòng)的3D建模算法。

我們還設(shè)計(jì)了兩個(gè)游戲，可以用自己的3D形象來進(jìn)行參與。第一個(gè)是虛擬形象互動(dòng)游戲——環(huán)保英雄：城市復(fù)蘇，用戶可以與來自于城市所誕生的眾多垃圾形成的靈或者怪物進(jìn)行互動(dòng)，最終挽救這個(gè)城市。

還有一個(gè)是虛擬形象舞——自然的節(jié)奏：生態(tài)健身之旅。我們用獲得的數(shù)字資產(chǎn)所形成的虛擬人，他能夠跟場(chǎng)景進(jìn)行非常自然的融合，而且在這呈現(xiàn)自己的太極拳的功夫。”

3、未來技術(shù)迭代方向：借助AI力量、降低成本

“索尼虛擬形象捕捉解決方案，目前是要36臺(tái)攝像機(jī)一起聯(lián)動(dòng)工作才能夠?qū)崿F(xiàn)的。因此我們?cè)诩哟笱邪l(fā)力度，是不是能夠用更少的相機(jī)就做到這一點(diǎn)？這方面可能還要借助AI的力量。我們的愿景是能夠?qū)崟r(shí)、高清晰地獲得相應(yīng)的畫面，而且以成本更低、更加方便的方式實(shí)現(xiàn)。”

“在AI的導(dǎo)入方面，索尼已經(jīng)在硬件方面做出了成績(jī)，具體來說是索尼的傳感器的模組之中已經(jīng)搭載了AI的功能，所以作為消費(fèi)者，可以實(shí)際體驗(yàn)到索尼的AI能力的。另外，我們?cè)谘芯克�里已�?jīng)嘗試應(yīng)用AIGC，也就是AI的大模型的自動(dòng)生成三維的數(shù)據(jù)。”