近年來，行為(wei) 研究的一個(ge) 主要趨勢是采用多模式測量。在過去，觀察甚至計算機輔助視頻觀察可能足以回答研究問題，而今天的科學家需要獲得更深入的見解。多模式數據可以幫助解決(jue) 這個(ge) 問題。

案例研究顯示多模式數據收集的力量
觀察可以告訴你某人在做什麽(me) ，但生理研究對心理狀態的洞察可以告訴你他們(men) 為(wei) 什麽(me) 這樣做。例如，眼動追蹤可以揭示被試者自己甚至沒有意識到的興(xing) 趣模式，腦電圖可以深入了解詳細的大腦過程。

研究人員比過去更多地使用多模式方法的一個(ge) 原因是像 The Observer XT 或新發布的一體(ti) 化平台 NoldusHub 等現代解決(jue) 方案可以更輕鬆地集成和同步不同的數據流並利用多模態研究。

這裏有五個(ge) 不同的研究示例，如果不結合不同的數據模式，這些研究是不可能的。

1. 發展心理學——通過視頻觀察以及 PPG 和溫度傳(chuan) 感器來調查社交焦慮。
社交焦慮是我們(men) 都經曆過的事情。公開演講、工作麵試和約會(hui) 等所有情況都會(hui) 讓我們(men) 感到焦慮並害怕別人會(hui) 怎麽(me) 看我們(men) ，有時還會(hui) 伴隨著臉紅，感覺很熱。每個(ge) 人都知道這一點，但直到阿姆斯特丹大學的心理學家最近進行的一項研究 [1] 才知道臉紅在特殊情況下扮演什麽(me) 角色。
社交焦慮症（SAD）這種障礙的特點是對他人的負麵評價(jia) 產(chan) 生持續的恐懼。它嚴(yan) 重幹擾社交場合，並可能產(chan) 生各種負麵的連鎖反應。臉紅是社交焦慮症的一種症狀，但臉紅在其發展中起什麽(me) 作用呢？
研究人員要求不同年齡的幼兒(er) 在他們(men) 麵前唱一首歌。他們(men) 使用 The Observer XT 的音頻視頻記錄進行係統觀察，並結合使用三種技術測量臉紅。使用光電體(ti) 積描記法 (PPG) 測量血容量和血脈振幅。

這與(yu) 運動手表中用於(yu) 測量心率的技術相同，光線照射到皮膚上，然後處理反射信號（見圖1）。 使用鉑電極測量麵頰溫度。PPG 和溫度傳(chuan) 感器都固定在孩子的一側(ce) 臉頰上。

圖1

很明顯，對於(yu) 這樣的研究，視頻觀察和使用傳(chuan) 感器測量特定變量（在本例中為(wei) 臉紅）的組合具有相當大的附加值。如果僅(jin) 僅(jin) 通過觀察來估計臉紅，那麽(me) 它的準確度就會(hui) 大大降低，而且數據也會(hui) 丟(diu) 失。單憑觀察無法量化臉紅的程度；它隻會(hui) 顯示它的存在或不存在。這將大大限製分析的可能性。

臉紅和社交焦慮症之間的確切關(guan) 係是複雜的。然而，很明顯，兒(er) 童早期的自我意識情緒反應（表現為(wei) 臉紅）的發展可能對兒(er) 童晚期社交焦慮症的發展產(chan) 生重要影響。三種不同的臉紅測量方法表明了不同的方麵。溫度顯示出與(yu) 社交焦慮發展的明顯關(guan) 係——可能是因為(wei) 孩子們(men) 能感覺到他們(men) 的臉頰變熱，並對這種情況變得難為(wei) 情。


2. 神經科學——齧齒類動物的腦電波
腦電圖是一種將電極放置在顱骨表麵的技術，它能夠獲取大腦中神經元的電活動。活動以波形的形式上下波動，波的振蕩速度與(yu) 受試者的行為(wei) 相關(guan) 。

如果它是每秒 8-12 次（8-12 赫茲(zi) ），那麽(me) 這與(yu) 放鬆行為(wei) 有關(guan) 。 這是第一個(ge) 被發現的關(guan) 聯，因此它們(men) 被稱為(wei) alpha波。Beta 波（16-31 Hz）表示活躍的思維（警覺性）和運動行為(wei) ，theta（4-7 Hz）表示困倦和冥想，delta（小於(yu) 4 Hz）表示注意力高度集中和深度睡眠。伽馬波（如下圖所示）頻率非常高，為(wei) 30-100 赫茲(zi) ，由神經元群共同作用以實現某些認知和運動功能引起。

腦電圖通常與(yu) 特定位置相關(guan) 聯，例如 alpha 波是在頭部的後部（後部）區域測量的。 還可以更詳細地查看 EEG 波形，例如睡眠階段之一稱為(wei) REM 睡眠——快速眼動。 眼睛的運動會(hui) 導致來自大腦同樣特定區域的非常特定的波形形狀。 通過查看這些波形，不僅(jin) 可以判斷 REM 睡眠是否正在進行，還可以判斷在特定時刻哪隻眼睛正在朝哪個(ge) 方向移動 [2]。

腦電圖還可用於(yu) 幫助了解大腦疾病（如阿爾茨海默氏症和抑鬱症）中發生的情況。

人類和其他動物（包括大鼠和小鼠）的腦電圖有很多相似之處。通常也存在峰值潛伏期等細微差異，但總體(ti) 模式（例如，對各種藥物的反應）非常相似 [3]。這意味著它經常用於(yu) 藥物發現。

智利的一組研究人員研究了大鼠腦電圖中的伽馬波 [4]。他們(men) 在稱為(wei) 伏隔核的大腦區域中觀察了這些。該區域是大腦獎勵係統的一部分，與(yu) 愉悅體(ti) 驗有關(guan) 。多巴胺是該區域的重要神經化學物質。在那項研究中，科學家們(men) 將伏隔核的腦電圖測量與(yu) 使用 EthoVision XT 進行的行為(wei) 測量相結合。

兩(liang) 隻老鼠被允許在一個(ge) 對兩(liang) 隻動物都是中性領土的開放區域相互交流。 當老鼠彼此互動時，有更多的伽馬波，表明獎勵和快樂(le) ，而不是僅(jin) 僅(jin) 給它們(men) 一個(ge) 新的互動對象。這隻能通過將 EthoVision XT 的行為(wei) 數據與(yu) EEG 數據相結合來衡量。在下麵的插圖中，右下角的圖表顯示了當老鼠彼此相互作用時，伽馬波明顯更強大。

他們(men) 還研究了當兩(liang) 隻相互作用的大鼠中的一隻受到壓力時，相互作用如何進行。壓力是由被引入另一隻老鼠的領地引起的。這導致緊張的對抗。野外的老鼠在日常生活中經常會(hui) 遇到這種壓力。數據顯示，壓力大的老鼠不再能夠從(cong) 中性領土上的互動中獲得盡可能多的樂(le) 趣，它的重要性在於(yu) ，展示了一些關(guan) 於(yu) 它在老鼠大腦中究竟如何運作的細節。


3. 教育心理學——在使用多種數據模式學習(xi) 的同時研究參與(yu) 度。
蒙特利爾魁北克大學的 NeuroLab 旨在使用多模式技術研究教育和學習(xi) 的各個(ge) 方麵。他們(men) 使用一整套技術來研究正在處理在線學習(xi) 問題的測試對象 [5]。

記錄與(yu) 軟件的交互（鼠標點擊和移動），眼動儀(yi) 記錄注視和瞳孔直徑，使用 FaceReader 和皮膚電導率（EDA，也稱為(wei) 皮膚電導率）測量情感參與(yu) 度。這是基於(yu) 你在興(xing) 奮或緊張時出汗的原理。 此外還使用腦電圖。如上所述，β 波表示認知警覺性。這與(yu) 來自 alpha 和 theta 波段的信息相結合，給出了一個(ge) 參與(yu) 指數。所有這些數據流都使用 Noldus 的特殊設置組合在一起，如本次采訪中所述：
視頻
同步在這樣的設置中尤為(wei) 重要，否則無法對數據進行有意義(yi) 的分析。


4. 行為(wei) 生態學——研究被困獾的壓力
研究野外動物的行為(wei) 具有特殊的挑戰，使用多種類型的數據也可以提供幫助。在實驗室外工作時，設備出現故障和數據丟(diu) 失的情況更為(wei) 常見，因此擁有多種類型的數據可以作為(wei) 一種補償(chang) 方式，並且仍然能夠獲得可發布的結果，即使並非所有數據都符合要求計劃。這就是一組瑞典科學家在他們(men) 的研究 [6] 中發現的，即被困在獾身上的壓力有多大。

即使陷阱的設計不會(hui) 造成物理傷(shang) 害，但由於(yu) 獾對情況的感知方式，它仍然會(hui) 給獾帶來壓力。 測量壓力水平的黃金標準是測量皮質醇。皮質醇是身體(ti) 直接響應壓力產(chan) 生的一種激素。

研究人員為(wei) 獾準備了含有難消化的彩色小顆粒的食物。每隻獾都有不同顏色的顆粒，所以當研究人員收集它們(men) 的糞便時，他們(men) 可以測量皮質醇並知道它來自哪隻獾。但是，正如在實地考察中常見的那樣，事情並沒有按計劃進行，他們(men) 收集的很多樣本中沒有任何顏色標記，因此無法使用。

使用 The Observer XT 進行實時和視頻記錄的觀察
然而，幸運的是，他們(men) 植入了傳(chuan) 感器，使他們(men) 能夠測量心率和體(ti) 溫，這也是壓力的指示。此外，他們(men) 還使用 The Observer 對獾的所有行為(wei) 進行了詳細的實時和視頻記錄觀察。這絕非易事，因為(wei) 獾是夜行動物，需要許多個(ge) 夜晚的艱苦工作。

結果並不令人驚訝，被困住對動物們(men) 來說確實壓力很大。他們(men) 一直在陷阱中，他們(men) 一直在努力逃脫。之後壓力影響繼續存在，當他們(men) 回到家時，他們(men) 的社交互動和梳理和抓撓等“舒適行為(wei) "都更少了。三天後，他們(men) 的社交禮儀(yi) 仍然較少。他們(men) 被困的時間越長，壓力就越大。 此外，如果他們(men) 在夜間（他們(men) 的活躍期）被困，那比他們(men) 在白天被困的壓力更大。

這項研究特別出色地表明，行為(wei) 觀察、生理測量和荷爾蒙觀察的結合都有助於(yu) 對實驗的全麵理解，並提供了僅(jin) 靠觀察就可以做到的更深刻的見解。

5. 用戶體(ti) 驗和健康研究——使用多模式數據研究技術如何幫助癡呆症患者
加拿大的兩(liang) 個(ge) 實驗室合作開發了研究混合現實 (MR) 技術（虛擬現實和增強現實）使用的方法 [7]。 這些實驗室是位於(yu) 加拿大多倫(lun) 多的社會(hui) 和技術係統 (SaTS) 實驗室以及癡呆症老化技術和參與(yu) 實驗室 (DATE)。他們(men) 研究的特定應用是這些技術如何支持癡呆症患者。通常在開發技術時，可以讓用戶填寫(xie) 問卷，反饋技術是否滿足他們(men) 的需求。然而，癡呆症患者並不總是能夠做到這一點，因此需要使用觀察方法。

觀察的基礎是 The Observer XT，他們(men) 還使用眼動追蹤眼鏡測量注視和瞳孔數據，使用 FaceReader 測量麵部表情，還測量大腦神經過程的腦電圖。此外，還創建了一個(ge) 任務評估工具，以量化參與(yu) 者在使用和不使用 MR 工具的情況下能夠在多大程度上執行任務。 最後，使用 The Observer XT 將所有數據匯集、同步和集成。
研究 [7] 的結論是 MR 設備確實有用，而且由 The Observer XT 提供支持的多模式設置是研究參與(yu) 者與(yu) 技術交互的有用方法。如果要以滿足這些人需求的方式開發技術，那麽(me) 讓技術的最終用戶參與(yu) 開發新技術至關(guan) 重要。對使用這些技術的人進行良好的研究是確定這一點的最佳方法。


結論
來自許多不同模式的數據的使用正在真正成為(wei) 主流，與(yu) 單一模式相比的優(you) 勢在於(yu) 它揭示了更深刻的見解，而且如果一種模式失敗，數據中可能有足夠的冗餘(yu) ，仍然可以發表好的文章。 幾年前，處理多模式數據非常複雜，尤其是涉及到集成和同步時。 The Observer XT和NoldusHub 等現代技術使它變得越來越容易和實用。


參考文獻
[1] Milica Nikolić, Mirjana Majdandžić, Cristina Colonnesi, Wieke de Vente, Eline Möller, and Susan Bögels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348.
[2]learningeeg./normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627.
[6] Schütz, K. E., Ågren, E., Amundin, M., Röken, B., Palme, R., & Mörner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts.

關(guan) 注諾達思公眾(zhong) 號，獲取更多產(chan) 品信息及學術文章！