基于VR的數(shù)字博物館視聽語言研究

隨著科學(xué)技術(shù)的發(fā)展，虛擬現(xiàn)實技術(shù)從最初被應(yīng)用到軍事領(lǐng)域，到現(xiàn)在已經(jīng)被廣泛地應(yīng)用到教育、醫(yī)療、電影、游戲、建筑等多個領(lǐng)域，其中包括在數(shù)字博物館中的應(yīng)用。例如，2016年故宮博物院，首次運用虛擬現(xiàn)實技術(shù)進行三維復(fù)原，為參觀者再現(xiàn)明清御窯的考古挖掘現(xiàn)場。在虛擬現(xiàn)實系統(tǒng)中，數(shù)字博物館充分利用其特征來實現(xiàn)信息資源的三維建模，極大地激發(fā)了觀眾參觀熱情，也為觀眾在探索宏觀和微觀世界中由于種種原因而不便于直接觀察事物，提供了極大的便利。

目前大部分數(shù)字博物館的展現(xiàn)形式主要以文字和圖片為主，展示手段較為單調(diào)，容易使觀眾感到乏味無趣，并出現(xiàn)信息傳達不到位的情況，存在信息傳遞效果弱的問題。心理學(xué)家赤瑞特拉做的實驗證明：人類獲得信息的83%來源于視覺刺激，11%來源于聽覺刺激，而同時使用聽覺和視覺刺激可以達到信息量的94%。視聽語言是利用視聽刺激的合理安排向受眾傳播信息的語言，可以為數(shù)字博物館提出相應(yīng)的方法來提高信息傳遞的效果。本文主要是在數(shù)字博物館與虛擬現(xiàn)實技術(shù)結(jié)合的背景下對視聽語言進行研究。

一、VR與數(shù)字博物館

（一）VR。虛擬現(xiàn)實（Virtual Reality，VR），是一個綜合數(shù)字圖像處理、計算機圖形學(xué)、多媒體技術(shù)、模式識別、網(wǎng)絡(luò)技術(shù)、人工智能、傳感器技術(shù)以及高分辨顯示等技術(shù)，融視覺、聽覺、觸覺為一體，生成逼真的三維虛擬環(huán)境的信息集成技術(shù)系統(tǒng)。1994年，美國科學(xué)家G.Burdea和P.Coiffet在《虛擬現(xiàn)實技術(shù)》一書中提出，“虛擬現(xiàn)實技術(shù)具有以下三個重要特征，分別是沉浸感（Immersion）、交互性（Interaction）和構(gòu)想性（Imagination），常被稱為虛擬現(xiàn)實的3I特征”。近年來，隨著大數(shù)據(jù)和互聯(lián)網(wǎng)等研究和應(yīng)用的興起，利用對圖像、視頻、行業(yè)大數(shù)據(jù)的分析和學(xué)習(xí)以高效建模成為熱點，提升虛擬環(huán)境的自適應(yīng)性日益受到關(guān)注，智能化（Intelligence）成為新時期VR研究與應(yīng)用的重要特征。

（二）數(shù)字博物館。數(shù)字博物館是以數(shù)字形式對信息進行采集和管理，實現(xiàn)信息的永久保存，并通過互聯(lián)網(wǎng)為普通大眾提供數(shù)字化展示、教育和科學(xué)研究等多種服務(wù)的信息系統(tǒng)，同時還包括知識產(chǎn)權(quán)、存取權(quán)限、數(shù)字安全管理等。數(shù)字博物館的特點：沒有空間位置的局限，沒有時間界限的局限，不受藏品展陳條件和場地的限制，打破了信息單向傳遞的限制，提高了藏品資源開放與共享程度等。公認的博物館三大職能：收藏、研究、教育，數(shù)字博物館是建立在數(shù)字空間之上的博物館，因此，數(shù)字博物館也具有實體博物館的收藏、研究、教育功能，只不過數(shù)字博物館收藏的是數(shù)字藏品，即以數(shù)字形式保存的文字、聲音、圖像等數(shù)據(jù)信息。

（三）VR技術(shù)在數(shù)字博物館中的應(yīng)用。虛擬現(xiàn)實技術(shù)在數(shù)字博物館中的應(yīng)用，常見的技術(shù)主要有基于全景照片的虛擬現(xiàn)實技術(shù)、基于虛擬現(xiàn)實建模語言的虛擬現(xiàn)實技術(shù)。在數(shù)字博物館中虛擬現(xiàn)實技術(shù)主要應(yīng)用在文物信息采集、文物虛擬展示、文物修復(fù)還原、文物資源共享等方面。

二、在VR背景下視聽語言的轉(zhuǎn)變

當(dāng)影視技術(shù)發(fā)展成熟，圖像語言和聲音語言進行完美結(jié)合，能夠真實準(zhǔn)確地在銀屏或屏幕上再現(xiàn)客觀事物的時候，一種和生活實際中自然語言表達接近的“視聽語言”產(chǎn)生了。視聽語言是電影電視的藝術(shù)手段，同時也是大眾傳媒中的一種符號編碼系統(tǒng)，是一種獨特的藝術(shù)形式，主要內(nèi)容包括鏡頭、鏡頭的拍攝、鏡頭的組接和聲畫關(guān)系。虛擬現(xiàn)實技術(shù)以沉浸感、交互性、構(gòu)想性的特征出現(xiàn)，使傳統(tǒng)的視聽語言產(chǎn)生了顛覆性的轉(zhuǎn)變并帶來全新的視聽語言。

（一）從有邊畫框到無邊全景。在傳統(tǒng)的視聽語言里，所有的內(nèi)容都是在攝影機的畫框里展現(xiàn)的。因為攝影機的拍攝范圍是有限的，所以拍攝前期需要制作分鏡頭腳本，為后續(xù)拍攝提供參考并保證內(nèi)容在畫框里展現(xiàn)。虛擬現(xiàn)實技術(shù)的出現(xiàn)，打破了傳統(tǒng)的視聽語言有邊畫框的現(xiàn)狀，視聽語言以無邊全景的方式出現(xiàn)，不再受限于攝影機的拍攝范圍，可以全方位地看到事物的內(nèi)容以及事物發(fā)生的全景。例如，谷歌推出的VR短片《Back To The Moon》，采用360度全景的方式呈現(xiàn)故事內(nèi)容，講述了魔術(shù)師與紅桃女王之間的愛情，魔術(shù)師與邪惡的綠衣人之間的斗爭，以及在魔術(shù)師與紅桃女王消滅邪惡的綠衣人后，兩人攜手坐上太空艙回到月球的故事。

（二）從單向觀看到雙向交互。在傳統(tǒng)的視聽語言里，觀眾都是坐在屏幕面前觀看展現(xiàn)的內(nèi)容。虛擬現(xiàn)實技術(shù)的交互性，使傳統(tǒng)的視聽語言從單向觀看轉(zhuǎn)變成雙向交互，觀眾由旁觀者變成參與者。在虛擬場景里，觀眾不僅可以看到虛擬場景里的所有內(nèi)容，而且可以與虛擬場景里的事物進行交互。在一定程度上，雙向交互可以更好地吸引觀眾的注意，避免觀眾出現(xiàn)信息接收不到位的情況。例如，與皮克斯動畫《尋夢環(huán)游記》配套的社交VR體驗《COCO VR》，在虛擬場景里，觀眾可以自由地選擇發(fā)型、衣服、裝飾物品等，打造自己滿意的骷髏形象，除此以外，觀眾還可以邀請三個朋友共同體驗這個奇妙的亡靈國度。

（三）從導(dǎo)演視角到觀眾視角。在傳統(tǒng)的視聽語言里，故事情節(jié)都是以導(dǎo)演視角為主線表達的。由于虛擬現(xiàn)實技術(shù)的沉浸感、交互性、構(gòu)想性，以導(dǎo)演視角進行故事敘事的作用并不明顯。在虛擬場景里，觀眾是主體地位，觀眾可以根據(jù)自身的主觀意愿，自由地選擇想要觀看的內(nèi)容，打破了過去接受導(dǎo)演所傳達內(nèi)容的限制。例如，威尼斯電影節(jié)最佳VR動畫短片《Arden's Wake》，講述了一個從小喪母的女孩，在海洋深處尋找父親的故事。在虛擬場景里觀眾可以自由地進行探索，也可以選擇不同的視角進行觀看，甚至還可以忽略故事情節(jié)，去體驗被海淹沒的末日世界。

（四）從鏡頭剪輯到視線引導(dǎo)。在傳統(tǒng)的視聽語言里，蒙太奇在敘事和表現(xiàn)方面起到重要的作用。蒙太奇的運用必然會產(chǎn)生視覺中斷，降低虛擬現(xiàn)實技術(shù)的沉浸感，因此蒙太奇將無法繼續(xù)使用，在虛擬場景轉(zhuǎn)向采用視線引導(dǎo)的方式進行故事情節(jié)的敘述。例如，首部艾美獎的VR電影《Henry》，講述了一只小刺猬交朋友和過生日的故事。觀眾以第三視角觀看并融入故事的場景里，另外電影多次采用了視線引導(dǎo)的方式進行敘事，其中包括從外面?zhèn)鱽砬瞄T聲，把觀眾的視線引導(dǎo)到木門上，并向觀眾傳達孤獨的小刺猬沒有朋友的情況將要發(fā)生轉(zhuǎn)變。

（五）從二維聲音到三維聲音。在傳統(tǒng)的視聽語言里，單聲道、雙聲道等都是二維平面化聲音。二維平面化聲音只能在平面聲場里，感受前后、左右移動的聲音效果，隨著虛擬現(xiàn)實技術(shù)的興起，聲音從二維平面化聲音發(fā)展成三維立體化聲音。三維立體化聲音可以將聲場還原為三維空間，感受前后、左右、上下移動的聲音效果。例如，Baobab Studios制作的VR動畫《Invasion！》，講述了小兔子靠機智的辦法，讓外星人離開地球的故事。在冰天雪地的場景里，寒風(fēng)吹起的環(huán)境聲音，讓人有種身臨其境的感覺，隨后傳來了大鷹的聲音，觀眾可以通過傳來的聲音，判斷大鷹的位置變化。

三、基于VR的數(shù)字博物館視聽語言研究

（一）虛擬空間。數(shù)字博物館可以通過空間布局進行場景分區(qū)，讓觀眾在短時間內(nèi)熟悉數(shù)字博物館的各個場景，避免在數(shù)字博物館里迷失方向。1956年認知心理學(xué)家喬治·米勒發(fā)表《神奇數(shù)字7±2》的論文顯示，在短時間內(nèi)，人的記憶容量是有限的，記憶容量通常是5到9個記憶單位。數(shù)字博物館可以采用場景分區(qū)的方式，把空間分為5到9個展廳，使用不同的名字以及不同的布局作為展廳區(qū)分。

除此以外，在場景分區(qū)的基礎(chǔ)上建立特殊標(biāo)志，可以增強觀眾對場景內(nèi)容的記憶，建立特殊標(biāo)志可以通過色彩、形狀、大小等方式。例如，谷歌推出的VR短片《Back To The Moon》，采用360度全景的方式呈現(xiàn)故事內(nèi)容，短片主要涉及六個場景，在六個場景里都有一個特殊的標(biāo)志，如在水里游動的魚、紅桃女王撲克牌、方正神奇寶座盒、回月球的太空艙、巨大厚重的書籍、被轉(zhuǎn)動的放映機。數(shù)字博物館可以在場景分區(qū)的基礎(chǔ)上建立特殊標(biāo)志，在每個展廳的入口，建立一個特殊的標(biāo)志，并采用視頻交互等方式對展廳進行基礎(chǔ)介紹，以便觀眾更好地接收數(shù)字博物館各個展廳的信息。

（二）五感體驗。數(shù)字博物館可以通過人的五感進行沉浸式體驗，讓觀眾沉浸在虛擬場景里，從視覺、聽覺、嗅覺、味覺、觸覺五個方面營造沉浸式氛圍。虛擬現(xiàn)實設(shè)備，雖然將觀眾在現(xiàn)實世界中的視覺和聽覺進行了屏蔽，但是也為觀眾提供了視覺、聽覺、觸覺等感官模擬，增強了虛擬空間的真實性與沉浸感。

目前虛擬現(xiàn)實技術(shù)在感官體驗方面主要以視覺和聽覺為主。例如，Baobab Studios制作的VR動畫《Invasion！》，在視聽效果方面接近真實世界的效果。在動畫片里觀眾既可以看到冰天雪地的虛擬場景，也可以聽到寒風(fēng)吹過的環(huán)境聲音。在視覺和聽覺的影響下，讓觀眾感受到其他不存在的感官，如外星人在發(fā)射激光后，那種灰色濃煙的視覺效果，令人仿佛聞到燒焦的味道，這種味道給人的感覺是苦的，但是這些都不是真實存在的。數(shù)字博物館可以通過增強視覺和聽覺的效果，模擬其他不存在的感官，利用多種感官提高數(shù)字博物館的信息傳遞效果，當(dāng)然其他不存在的感官也可以通過相關(guān)的硬件設(shè)備來實現(xiàn)。

（三）視線引導(dǎo)。數(shù)字博物館可以通過人的聲音進行視線引導(dǎo)，并通過旁白、對白、獨白等人聲進行信息傳遞。在觀眾進入數(shù)字博物館之前，利用旁白介紹數(shù)字博物館的基本信息，引導(dǎo)觀眾看向與旁白相對應(yīng)的視頻圖像，然后再利用旁白實現(xiàn)空間的轉(zhuǎn)變，讓觀眾正式進入到數(shù)字博物館。例如，首部獲得艾美獎的VR電影《Henry》，在影片開頭通過旁白進行視線引導(dǎo)，利用旁白向觀眾傳達小刺猬的基本信息并實現(xiàn)空間的轉(zhuǎn)變。

在觀眾進入數(shù)字博物館之后，利用對白介紹數(shù)字博物館各個展廳的主題和內(nèi)容、重點展出藏品、最佳觀看路線等，引導(dǎo)觀眾看向與其對話的人物，人物可以是數(shù)字博物館的虛擬工作人員。在觀眾參觀數(shù)字博物館的過程中，利用獨白讓藏品講述自己的故事，以觀眾為交流對象，引導(dǎo)觀眾看向會講述自己故事的藏品。例如，電視紀(jì)錄片《如果國寶會說話》東漢擊鼓說唱陶俑的獨白：“兩顆突出的蘋果肌，仿佛熟透的冬棗，構(gòu)成我可愛的面容，人們叫我說唱俑，雖然無名無姓，咱可是國家博物館里，萬人朝覲的大明星。”

（四）非蒙太奇。數(shù)字博物館可以通過非蒙太奇進行場景調(diào)度，讓觀眾避免蒙太奇產(chǎn)生的視覺中斷，以及降低虛擬現(xiàn)實技術(shù)的沉浸感。在視聽語言里有長鏡頭和場景調(diào)度的運用，長鏡頭采用一鏡到底的拍攝手法，雖然可以避免鏡頭剪輯所產(chǎn)生的視覺中斷，但是這種拍攝手法在各個方面的成本都比較高，當(dāng)單個環(huán)節(jié)出現(xiàn)錯位時就需要重新進行拍攝，不管是攝影師還是演員的走位，每次都很難能夠完全的相同。目前，長鏡頭的使用并不常見，而場景調(diào)度的手法有縱深調(diào)度、重復(fù)調(diào)度、對比調(diào)度，可以最大限度地利用空間表現(xiàn)力，展現(xiàn)整體的內(nèi)容或者細節(jié)。

數(shù)字博物館可以采用縱深調(diào)度、重復(fù)調(diào)度、對比調(diào)度，讓觀眾從觀看藏品內(nèi)容到走進藏品場景，在參觀的過程中有專門的講解員陪伴，以及數(shù)字博物館按照對比的形式陳列藏品給觀眾觀看。例如，法國巴黎盧浮宮博物館的《蒙娜麗莎：超界視野》VR體驗，運用三種場景調(diào)度手法，首先是縱深調(diào)度，利用透視關(guān)系的多樣變化，使觀眾走進作品的場景，身臨其境地感受當(dāng)時作品創(chuàng)作的情景；其次是重復(fù)調(diào)度，利用相同的演員重復(fù)出現(xiàn)，增強作品的敘事、表意、抒情的力量；最后是對比調(diào)度，利用各種對比形式，使藝術(shù)效果更加地豐富多彩，讓觀眾理解作品背后的故事以及作品創(chuàng)作的過程。

四、結(jié)語

隨著虛擬現(xiàn)實技術(shù)的發(fā)展，數(shù)字博物館與虛擬現(xiàn)實技術(shù)結(jié)合，使數(shù)字博物館迎來了全新的發(fā)展機遇。虛擬現(xiàn)實技術(shù)以沉浸感、交互性、構(gòu)想性的特征出現(xiàn)，使傳統(tǒng)的視聽語言產(chǎn)生了顛覆性的轉(zhuǎn)變并帶來全新的視聽語言。本文是在數(shù)字博物館與虛擬現(xiàn)實技術(shù)結(jié)合的背景下對視聽語言進行研究，通過虛擬空間、五感體驗、視線引導(dǎo)、非蒙太奇，提高數(shù)字博物館的信息傳遞效果。目前，虛擬現(xiàn)實技術(shù)在敘事引導(dǎo)方面尚未完善，這是虛擬現(xiàn)實技術(shù)發(fā)展所要面臨的問題。隨著虛擬現(xiàn)實技術(shù)在硬件設(shè)備和軟件系統(tǒng)的完善，視聽語言在未來將會有更新的發(fā)展。

本文來源：《文化產(chǎn)業(yè)》http://m.xwlcp.cn/w/wy/32640.html