社交互動，是人類作為(wei) 社會(hui) 性動物所必須進行的行為(wei) 活動。
在你來我往的互動中，我們(men) 會(hui) 有怎樣的行為(wei) 表現？
現在，您可以回想一段與(yu) 他人互動的經曆並思考以下問題：
當您與(yu) 他人互動時，會(hui) 下意識地模仿對方的行為(wei) 嗎？
當您希望互動更加順暢時，會(hui) 不會(hui) 隨對方的點頭動作而點點頭？
當您與(yu) 他相談甚歡，對他抱有好感與(yu) 信任時，會(hui) 不會(hui) 隨他一起微笑？
其實，在社會(hui) 交往中人們(men) 經常無意識地模仿對方的行為(wei) 以增進互動，這可能發生在運動層麵(如微笑或頭部運動)，也可能發生在自主神經層麵(如瞳孔擴散)。而隨著虛擬與(yu) 現實的邊界逐漸模糊，我們(men) 的社交對象也發生著變化。與(yu) 虛擬人物的一場社交互動，就悄然在生活的各個(ge) 場景中進行。
那麽(me) ，當我們(men) 的互動對象是一個(ge) 虛擬人物時，這些模仿行為(wei) 還會(hui) 發生嗎？對於(yu) 這種虛擬社交，“社恐"們(men) 會(hui) 有不同的行為(wei) 表現嗎？
來自於(yu) 《International Journal of Human Computer Studies》的最新研究，或許能給您帶來一些答案與(yu) 思考。研究旨在探討人與(yu) 虛擬人的社交互動中模仿行為(wei) 表現，研究團隊通過讓人與(yu) 虛擬人互動，探索模仿行為(wei) 、人際感知和社交焦慮水平之間的關(guan) 係，使用多模態實驗研究，探究了人們(men) 模仿虛擬人行為(wei) 的程度，模仿是否有利於(yu) 互動，以及模仿是否受到社交焦慮水平的影響(Fasya et al.,2024)。
“學人",是為(wei) 了更好地互動
在社會(hui) 交往中，人類通過語言和非語言來交流信息。非語言指通過麵部表情和肢體(ti) 語言來分享意圖和情緒，或以生理喚醒表現。通常情況下，情緒表達會(hui) 被觀察者無意識地模仿，這同樣可能發生在不同層麵，如運動層麵(如微笑或頭部運動)或自主神經層麵(如瞳孔擴散)。人體(ti) 姿勢或麵部表情的模仿是由運動肌肉控製的，而生理喚醒的模仿是由自主神經係統（ANS）控製的。
根據情緒感染的神經認知模型(Prochazcova and Kret, 2017)，模仿始於(yu) 一個(ge) 人在社會(hui) 互動中表達的情緒被互動對象感知，觸發了互動對象自己的情緒表達，從(cong) 而導致運動層麵(如微笑或頭部運動)或自主神經層麵（如瞳孔擴張）的模仿。由於(yu) 自主神經層麵的模仿是由ANS調節的，所以與(yu) 運動層麵的模仿相比，其控製難度要大得多。因此，它可以提供更多關(guan) 於(yu) 被模仿情緒的感知強度或真實性的信息。
事實證明，在社會(hui) 互動中，模仿通常與(yu) 喜歡和信任的增加有關(guan) ，而且往往會(hui) 使互動者之間的關(guan) 係更加融洽，與(yu) 信任增加等親(qin) 社會(hui) 行為(wei) 有關(guan) (Kret et al, 2015)。
人類與(yu) 虛擬人互動，也會(hui) 互相模仿嗎？
在模仿行為(wei) 的研究中，對情緒表情的模仿的通常使用照片、視頻，或直接與(yu) 真實的人類進行現場互動，創建二元互動的場景。而在某種程度上，感知他人的情緒並對其做出反應可以獨立於(yu) 互動環境而發生。雖然研究真實的二元互動是生態效度的方法之一，但也存在很難控製變量的問題。
將虛擬人運用到社交場景中，可以產(chan) 生一種“中間立場"，以控製實驗並提高生態有效性。例如，通過使用虛擬人作為(wei) 模仿者，可以確保虛擬人隻在特定時間內(nei) 表達特定類型的行為(wei) ，同時提供一個(ge) 緊密複製現實社會(hui) 互動的環境。
而隨著虛擬與(yu) 現實邊界的逐漸模糊，人與(yu) 虛擬人之間的互動在不斷增加，許多領域都涉及與(yu) 虛擬人進行社交互動的場景，如虛擬教練，醫療保健或虛擬援助等。
因此，我們(men) 需要進一步關(guan) 注人類與(yu) 虛擬人的互動行為(wei) ：
模仿行為(wei) 在人類與(yu) 虛擬人互動中仍然會(hui) 發生嗎？
模仿行為(wei) 在虛擬互動中會(hui) 產(chan) 生怎樣的親(qin) 社會(hui) 效應？
過往研究較多在探討虛擬人模仿人類是如何影響社交互動的，對於(yu) 人類模仿虛擬人對社交互動的影響的研究，結果表明，在運動模仿層麵，當虛擬人微笑時，人們(men) 會(hui) 表現出更多的微笑(Mattheij et al, 2015)和更長時間的微笑(Kramer et al, 2013)；Stel等人(2010)的研究表明，人們(men) 模仿虛擬人的頭部運動比模仿其嘴部和眉毛運動更多。然而，在他們(men) 的研究中，被試是處於(yu) 兩(liang) 種特定的行為(wei) 選擇下行動的，即要麽(me) 模仿，要麽(me) 不模仿。因此，沒有提供人與(yu) 虛擬人互動中自主模仿的有效信息，關(guan) 於(yu) 社交互動中自主模仿的研究問題仍需探索。
因此，基於(yu) 過往研究，研究團隊想要進一步探究社交互動中人們(men) 模仿虛擬人行為(wei) 的程度，以及模仿是否有利於(yu) 互動，以此提出以下問題：
（1）人們(men) 是否會(hui) 在在運動(頭部運動和微笑)和自主水平(瞳孔擴張和臉紅)模仿虛擬人的麵部表情?
（2）模仿行為(wei) 是否與(yu) 人們(men) 對虛擬人的喜愛和信任感增加有關(guan) ？
社交焦慮會(hui) 改變模仿行為(wei) ？
雖然模仿行為(wei) 通常具有親(qin) 社會(hui) 效益，並且在社交互動中經常觀察到，但在高社交焦慮水平的人群中，模仿行為(wei) 似乎會(hui) 有所改變。
社交焦慮症被定義(yi) 為(wei) 在一個(ge) 或多個(ge) 社交場合中，麵對不熟悉的人或可能受到他人審視時的持續恐懼。最近在對不同國家的年輕人進行的調查研究發現，多達三分之一的人報告自己存在一定的社交焦慮，這表明社交恐懼在年輕人中尤為(wei) 普遍。社交焦慮會(hui) 影響一個(ge) 人在社交場合的行為(wei) ，往往使得社交互動無法順利進行。因為(wei) 他們(men) 坐立不安，更頻繁地尋求安慰，且微笑的互惠性較差。此外，他們(men) 經常表現出安全行為(wei) ，如避免目光接觸，較少說話，不分享個(ge) 人信息。采取這些行為(wei) 是為(wei) 了避免給人留下負麵印象，但往往適得其反。
高社交焦慮水平的人通常表達能力較差，對他人情緒表達的瞳孔反應較小，更容易臉紅。此外，研究表明，社交焦慮個(ge) 體(ti) 的模仿行為(wei) 可能會(hui) 發生改變。有研究發現，具有較高社交焦慮的女性會(hui) 更少模仿虛擬人的頭部動作，也有研究發現相反的結果，即高社交焦慮者會(hui) 增強對微笑的模仿；這些研究均表明，模仿行為(wei) 可能會(hui) 受到社交焦慮的調節。這種影響可從(cong) 兩(liang) 個(ge) 角度解釋：首先，社交焦慮者對互動對象情緒表達的感知可能會(hui) 有所不同，進而影響模仿行為(wei) ；其次，社交焦慮者對互動對象動作模仿的減少或增加可能是一種避免拒絕或衝(chong) 突的行為(wei) 策略，類似於(yu) 實施一種安全行為(wei) 。
繼續探究社交互動中自主性的模仿行為(wei) ，我們(men) 可以更好地理解是什麽(me) 原因導致社交焦慮者的模仿行為(wei) 發生改變。因此，本研究同時想要探究：模仿行為(wei) 是否受到社交焦慮的調節?
多模態社交互動行為(wei) 實驗
實驗共招募65名被試(53名女性，12名男性)，年齡為(wei) 18-39歲(M=22.4;Sd = 3.92)。
在實驗開始前，被試需要填寫(xie) 社交焦慮問卷(LSAS)，然後閱讀投資遊戲說明進行練習(xi) ，並在右臉頰佩戴皮膚溫度傳(chuan) 感器。隨後指導被試戴上耳機，坐在顯示屏前進行眼動校準，進入實驗任務：分別觀看10個(ge) 虛擬人在電腦顯示器上講述一個(ge) 中性的故事。在預定的時間點，虛擬人會(hui) 表現出四種表情和動作:微笑、頭部運動、瞳孔擴張和臉紅。此過程中，全程使用諾達思 The Observer XT 記錄被試的行為(wei) 與(yu) 動作。在每個(ge) 故事結束後，被試填寫(xie) 虛擬角色評價(jia) 問卷（AEQ）、未來互動意願量表(DFI)以評估他對虛擬人的好感度，並完成一個(ge) 投資遊戲來衡量他對虛擬人的信任程度。
虛擬人的麵部表情與(yu) 頭部運動
實驗共設置10個(ge) 虛擬人物(5位女性，5位男性)的動畫展示，他們(men) 在一個(ge) 虛擬室內(nei) 房間裏講述一個(ge) 中性的故事，這些故事都是關(guan) 於(yu) 打排球、看電影或度假等日常生活事件。虛擬人是計算機創建的3D人形模型。在每個(ge) 試次中，虛擬人都將分別在10個(ge) 時間點顯示一種表情或動作。
共有四種表情類型:微笑、頭部運動、瞳孔變大或臉紅(圖1)，其中頭部的動作是點頭、搖頭或擺頭。
每個(ge) 表情顯示4秒，每個(ge) 表情之間有9秒的中性表情。除此之外，虛擬人也會(hui) 根據不同故事內(nei) 容依據音節自動做出嘴型動作，並在故事的相應時間點揚眉或斜視，讓整體(ti) 行為(wei) 表現更加自然。
此外，虛擬人帶有微笑和瞳孔擴張的混合行為(wei) 狀態。在4秒內(nei) ，微笑或瞳孔直徑會(hui) 從(cong) 平均值變到最大，保持2秒穩定，並在最後一秒縮小回正常狀態(圖2)。
虛擬人的平均瞳孔大小和最大瞳孔大小
臉紅表情是通過在虛擬人的臉頰上疊加一層紅色來實現；頭部的運動是運用動畫功能實現，在4秒內(nei) 呈現兩(liang) 次。例如，虛擬人在4秒內(nei) 會(hui) 點頭兩(liang) 次。
記錄被試多模態行為(wei) 表現
1、頭部運動和微笑表情
實驗全程錄製被試麵部表情及頭部動作，使用諾達思的行為(wei) 觀察記錄分析係統（The Observer XT）對視頻記錄進行編碼，共有61人的視頻有效並被編碼。
編碼行為(wei) 主要為(wei) :微笑、皺眉、其他麵部動作、點頭、搖頭、晃頭、其他頭部動作和移動位置，但隻有微笑和頭部動作(點頭、搖頭和晃頭)被納入分析。
為(wei) 了定義(yi) 被試是否在互動中產(chan) 生微笑表情或頭部運動，研究者將虛擬人展現表情後的特定時間段（4秒）設置為(wei) 被試行為(wei) 的響應時間窗口，並創建了一個(ge) python 程序，將編碼結果匯總為(wei) 兩(liang) 個(ge) 二進製變量：頭部運動反應（HRESP）和微笑反應（SRESP）。數值為(wei) 1 表示在虛擬人展現任意表情或頭部運動後的響應窗口內(nei) ，被試產(chan) 生了行為(wei) （頭部運動或微笑）。例如，任意故事中虛擬人的第一個(ge) 表情出現在00:07-00:11，那麽(me) 該行為(wei) 的響應窗口為(wei) 00:07-00:15。如果在此時間段內(nei) （如 00:15）出現了微笑，則該表情的 SRESP = 1，否則 SRESP = 0。
為(wei) 了評估觀察者間的信度，共有3名編碼員參與(yu) 編碼與(yu) 二次編碼，行為(wei) 觀察記錄分析係統（The Observer XT）會(hui) 采用Cohen’s kappa計算3名編碼員之間HRESP和SRESP的一致性。結果表明，編碼者兩(liang) 兩(liang) 之間的均具有中度一致性。
2、瞳孔擴散
使用Tobii X2-60眼動儀(yi) (采樣率60 Hz)和Tobii Pro Unity軟件開發工具包(SDK)測量被試的瞳孔直徑大小。使用 python 程序進行預處理，得出被試的瞳孔大小反應 (PRESP)。
3、臉紅反應
使用配備 SKT 100C 模塊的 Biopac MP150（采樣率為(wei) 2000 Hz）和 AcqKnowledge 5.0.3 記錄被試臉頰的皮膚溫度。使用python程序進行預處理，得出被試的臉紅反應(BRESP)。
微笑模仿：虛擬社交的粘合劑
微笑模仿行為(wei) 在虛擬社交中的發生
對於(yu) 運動水平的模仿，研究結果表明(圖3)，與(yu) 虛擬人的其他表情相比，被試更有可能模仿虛擬人的微笑[F(1,6088)=7.722;p=.005]。這說明微笑模仿發生在人類與(yu) 虛擬人類的互動中，即人們(men) 會(hui) 模仿虛擬人的微笑。
圖3
而頭部運動行為(wei) 的結果表明，被試的頭部運動不受虛擬人頭部運動的影響[F(1,5788)=1.595;p=.207]，即人們(men) 不會(hui) 模仿虛擬人的頭部運動。這種結果可能是出於(yu) 文化背景下，虛擬人頭部運動對於(yu) 被試來說不夠自然，且存在其他變量的影響。因此研究者建議未來研究中可以考慮隻探究對於(yu) 點頭或搖頭的頭部模仿，排除頭部晃動的額外因素，以更好地探究模仿和被模仿的頭部運動行為(wei) 是否能在與(yu) 虛擬人的互動中創造融洽的關(guan) 係。
對於(yu) 自主神經水平的模仿，研究結果發現，被試的瞳孔大小不受虛擬人瞳孔擴張的影響[F(1,4485)= 0.050;p=.823]；皮膚溫度也不受虛擬人臉紅表情的影響[F(1,6078)= 0.020;p=.888]。這表明平均而言，在人們(men) 與(yu) 虛擬人社交互動中，瞳孔擴張和臉紅的模仿沒有發生。這可能是由於(yu) 虛擬人瞳孔擴張的刺激變化不夠明顯，以及臉紅反應的發生不夠自然，導致被試對其變化的感受與(yu) 關(guan) 注度較低，需要在未來研究中更好地開展控製實驗進行探究。
微笑模仿行為(wei) 的親(qin) 社會(hui) 效應
對於(yu) 模仿行為(wei) 與(yu) 喜愛與(yu) 信任的相關(guan) 關(guan) 係，研究結果表明（圖4），微笑模仿對虛擬角色評價(jia) 問卷(AEQ)評分有顯著影響[F(1,1521) = 12.592；P<0.001]；對未來互動意願量表(DFI)評分也有顯著影響[F(1,1521) =14.431；P<.001]，同樣也與(yu) 對虛擬人的信任度評分有顯著影響 [F(1,1471)=9.801;P=.002]。
圖4
這表明，當人們(men) 模仿虛擬人的微笑時，他們(men) 對虛擬人的評價(jia) 更加積極，對與(yu) 其未來互動有更多的渴望，並有更強的信任感。而頭部動作模仿、瞳孔擴張、臉紅與(yu) 喜愛與(yu) 信任度評分均無相關(guan) 性。
該研究結果表明，微笑模仿的親(qin) 社會(hui) 行為(wei) 效益同樣可以延伸到人類與(yu) 虛擬人的互動中。而對於(yu) 頭部運動、瞳孔擴張和臉紅模仿方麵對於(yu) 好感與(yu) 信任度的相關(guan) 關(guan) 係，過往研究也有不同的結果呈現，需要繼續操縱變量進行探究。
社交焦慮的影響需要進一步考量
對於(yu) 社交焦慮對模仿行為(wei) 影響，結果表明無顯著影響(表1)，即社交焦慮對虛擬人的表情和動作與(yu) 被試模仿行為(wei) 之間的關(guan) 係沒有調節作用。
表1
對於(yu) 這一研究結果，研究者分析認為(wei) ，在微笑模仿中，虛擬人沒有依據故事內(nei) 容，而隻是隨機展現微笑，這可能會(hui) 讓被試感到這是一個(ge) 出於(yu) 禮貌的微笑，而不是快樂(le) 的微笑。而對於(yu) 高社交焦慮者來說，他們(men) 可能隻會(hui) 在開心的微笑時表現出較少的模仿，而不是禮貌的微笑。未來研究可以考慮設置不同類型的微笑作為(wei) 刺激，來更精確地編碼互動者的微笑表情。
同時，社交焦慮對行為(wei) 的影響可能與(yu) 情境有關(guan) 。有研究發現，當存在負麵社會(hui) 評價(jia) 風險時，社交焦慮會(hui) 影響個(ge) 人信息的披露情況。在本研究中，虛擬人的互動對高度社交焦慮者來說威脅較小，所以人們(men) 的模仿行為(wei) 之間的差異並不會(hui) 受社交焦慮水平影響。在未來研究中，可以考慮互動情景的設立。此外，本研究實驗招募的被試中，包含的社交焦慮水平較高的人較少，而為(wei) 了保證樣本的多樣性，應該對被試進行預篩選，獲得不同社交焦慮水平的群體(ti) 以獲取更加敏感的結果差異。
總結
本研究探討了人們(men) 模仿虛擬人行為(wei) 的程度，這種模仿是否有利於(yu) 互動以及模仿是否受到社交焦慮水平的影響，驗證了過往研究並對微笑模仿行為(wei) 研究提供了結合生態效度與(yu) 實驗控製的實證基礎。
結果發現，在人與(yu) 虛擬人的互動中，無論焦慮程度如何，人們(men) 都會(hui) 模仿虛擬人的微笑，而微笑模仿與(yu) 對虛擬人的好感和信任度增加有關(guan) 。這表明，微笑模仿是一種社交粘合劑，同樣有利於(yu) 虛擬社交互動。它能增加人們(men) 對虛擬人的好感和信任，從(cong) 而使人與(yu) 虛擬人的互動更加順暢。
參考文獻
Fasya, E. L., van den Bos, E., Heylen, D. K., & Kret, M. E. (2024). Smile mimicry smoothens human-virtual human interactions. International Journal of Human-Computer Studies, 183, 103182.
Jefferies, P., Ungar, M., (2020). Social anxiety in young people: a prevalence study in seven countries. PLoS ONE. 15 (9), e0239133.
Kramer, ¨ N., Kopp, S., Becker-Asano, C., Sommer, N., (2013). Smile and the world will smile with you—the effects of a virtual agent‘s smile on users’ evaluation and behavior. Int. J. Hum. Comput. Stud. 71 (3), 335–349.
Kret, M.E., Fischer, A.H., de Dreu, C.K.W., (2015). Pupil mimicry correlates with trust in in-group partners with dilating pupils. Psychol. Sci. 26 (9), 1401–1410.
Mattheij, R., Postma-Nilsenova, ´ M., Postma, E., (2015). Mirror mirror on the wall. J. Ambient. Intell. Smart Environ. 7 (2), 121–132.
Prochazkova, E., Kret, M.E., (2017). Connecting minds and sharing emotions through mimicry: a neurocognitive model of emotional contagion. Neurosci. Biobehav. Rev. 80, 99–114.
Stel, M., Blascovich, J., Mccall, C., Mastop, J., van Baaren, R.B., Vonk, R., (2010). Mimicking disliked others: effects of a priori liking on the mimicry-liking link. Eur. J.Soc. Psychol. 40 (5), 867–880.
關(guan) 注諾達思公眾(zhong) 號，聯係我們(men) 獲取更多產(chan) 品信息及學術文章！
