vivo X90s 影像模組

(相關(guān)資料圖)

進(jìn)入2023年下半年，智能手機(jī)市場(chǎng)在影像上的軍備競賽有增無減。更大面積的傳感器、光學(xué)防抖、全焦距的焦段覆蓋，正在成為高端智能手機(jī)的標(biāo)配，也有著逐漸普及的趨勢(shì)。

然而智能手機(jī)畢竟是一種大眾消費(fèi)品，重量和體積都會(huì)制約影像配置的無限增長。而在消費(fèi)者端，用戶往往對(duì)于影像原理不甚了解。因此就需要廠商不斷在軟件、算法層面，去解決實(shí)際的問題。

7月底，vivo首次向外界展示了其位于重慶工廠的3D影像實(shí)驗(yàn)室，并宣布相關(guān)技術(shù)將會(huì)率先應(yīng)用在下一代X系列旗艦手機(jī)上。

vivo 3D影像實(shí)驗(yàn)室內(nèi)部

vivo 3D影像實(shí)驗(yàn)室，主要是由100余臺(tái)單反相機(jī)，配合閃光燈、處理器、控制器和服務(wù)器所組成。通過采集大量的人體軀干、面部信息，最終實(shí)現(xiàn)對(duì)于智能手機(jī)人像拍攝的提高。

采集人體信息時(shí)，vivo 3D影像實(shí)驗(yàn)室會(huì)同時(shí)調(diào)動(dòng)100多臺(tái)單反相機(jī)，從不同的角度進(jìn)行拍攝，生成100余張2D圖片，隨后通過局域網(wǎng)上傳至存儲(chǔ)服務(wù)器，再通過2D圖片進(jìn)行3D匹配，生成3D模型。

基于生成的3D模型，vivo可以實(shí)現(xiàn)對(duì)于算法的訓(xùn)練，提升人像模式下，模擬背景虛化的精確性。據(jù)vivo工作人員介紹，預(yù)計(jì)每年將會(huì)有上萬組3D人像模型。

傳統(tǒng)的智能手機(jī)人像虛化算法，往往是在2D層面，判斷人的輪廓來實(shí)現(xiàn)虛化，不具備3D層面的深度信息，因此主體與背景之間往往會(huì)過渡的比較生硬，“摳”出來的背景也會(huì)缺少層次。

通過大量的3D模型進(jìn)行預(yù)訓(xùn)練，vivo的算法可以變得更加智能，智能手機(jī)可以更好的判斷人的縱深信息，使得虛化更具有漸進(jìn)感也更加細(xì)膩。

vivo X90s樣片

此外3D模型加入之后，智能手機(jī)的人像虛化算法應(yīng)用范圍可以進(jìn)一步擴(kuò)大。目前人像虛化算法由于缺乏深度方向的信息，只能拍攝全身像或是半身像，未來則可以近距離貼臉拍攝眼睛的特寫虛化畫面。

在3D模型之外，vivo有一套“重打光”的設(shè)備。由96個(gè)可編程的同步光源搭配vivo的工業(yè)相機(jī)。與拍照工作站以及服務(wù)器共同組成，可以模擬不同光照條件下的成像圖片，為自研人像算法做數(shù)據(jù)支撐，促進(jìn)3D重建和3D算法方面的開發(fā)和預(yù)研，提升手機(jī)上的算法效果。

例如在加入重打光技術(shù)后，vivo手機(jī)可以對(duì)前期拍攝到的“逆光黑臉”進(jìn)行高精度補(bǔ)光，甚至是調(diào)整光線的冷暖色溫。生成式人像編輯則能通過紋理重建與光照估計(jì)算法等技術(shù)，讓用戶基于自身喜好對(duì)光照、年齡、發(fā)型、表情等內(nèi)容進(jìn)行重新編輯。

vivo影像活動(dòng)現(xiàn)場(chǎng)

基于人像3D重建感知能力，vivo還可以疊加AIGC算法，通過vivo手機(jī)即可拍攝出虛擬與實(shí)景結(jié)合更為自然的照片，實(shí)現(xiàn)“足不出戶拍出四季人像大片”的人性化體驗(yàn)。

在此之外，3D影像的相關(guān)技術(shù)可以應(yīng)用在如今火爆的3D虛擬人應(yīng)用上。包括抖音上比較火的3D數(shù)字人直播、3D表情驅(qū)動(dòng)、3D的虛擬場(chǎng)景編輯以及相應(yīng)的一個(gè)動(dòng)畫制作。

此外還有基于3D影像衍生的3D換裝應(yīng)用，可以根據(jù)采集者的人體模型，在虛擬場(chǎng)景內(nèi)實(shí)現(xiàn)足球游戲，目前在vivo手機(jī)和平板電腦上已經(jīng)可以進(jìn)行演示。

vivo 3D影像實(shí)驗(yàn)室于2022年下半年組建，全球共有7個(gè)實(shí)驗(yàn)室。預(yù)期2023年下半年到2024年將會(huì)采集幾萬組數(shù)據(jù)。這些高質(zhì)量的數(shù)據(jù)未來將會(huì)與vivo全球的用戶一起組建兼顧質(zhì)量和數(shù)量的龐大數(shù)據(jù)庫。據(jù)vivo工作人員介紹，相關(guān)技術(shù)落地，將會(huì)在vivo X系列的下一代產(chǎn)品上率先應(yīng)用。

鈦媒體App了解到，類似vivo這種通過大量采集數(shù)據(jù)，建立數(shù)據(jù)庫以優(yōu)化算法的實(shí)驗(yàn)室，在傳統(tǒng)相機(jī)領(lǐng)域早已有之，但vivo應(yīng)該是通過3D模型實(shí)現(xiàn)多重優(yōu)化以及AIGC相關(guān)應(yīng)用的第一家智能手機(jī)廠商。

某種意義上，自建影像實(shí)驗(yàn)室標(biāo)志著vivo在影像領(lǐng)域的研究進(jìn)入了深水區(qū)，而能夠借助AI的東風(fēng)，擴(kuò)展智能手機(jī)影像的邊界，則是vivo探索出來的一條創(chuàng)新之路，也許會(huì)開拓出智能手機(jī)影像的全新方向。（本文首發(fā)鈦媒體App 作者/吳泓磊 編輯/鐘毅）

關(guān)鍵詞：