麵部表情分析對於(yu) 理解人類情感和社會(hui) 互動至關(guan) 重要。由於(yu) 嬰兒(er) 尚未發育完善的語言溝通能力，需依靠非語言行為(wei) 來表達他們(men) 的感受，分析嬰兒(er) 的麵部表情有助於(yu) 研究者和照料者更多地了解情緒和社交互動的早期發展。因此，麵部表情分析在針對嬰兒(er) 的研究中更有價(jia) 值。
而隨著計算機技術的發展，走向自動化的行為(wei) 分析逐漸勢不可擋。這種趨勢同樣展現在對嬰兒(er) 的麵部表情測量中。諾達思的嬰幼兒(er) 麵部表情分析係統(Baby FaceReader)就是一個(ge) 重要裏程碑。
那麽(me) ，Baby FaceReader的自動測量分析能力到底如何呢？
本文將帶您解讀Zaharieva和她的研究團隊進行的Baby FaceReader與(yu) 人工編碼的情緒測量效果的對比評估。
為(wei) 什麽(me) 自動麵部表情分析更好？
關(guan) 注嬰兒(er) 麵部表情實時變化的情緒研究一直是發展科學的核心課題之一，這對更好地理解人類在嬰兒(er) 期的情緒調節發展和非語言社會(hui) 互動等問題具有重要意義(yi) 。
傳(chuan) 統上，研究者依靠人工觀察並采用人工編碼技術來探究情緒變化，而編碼係統在用於(yu) 描述麵部表情所代表的情感分類程度上存在很大差異，且成人與(yu) 嬰兒(er) 之間有很大不同。目前全麵的嬰兒(er) 編碼係統是Oster的嬰兒(er) 動作編碼係統(Baby FACS) ，它是基於(yu) 解剖學的係統分類，以獨立麵部肌肉動作單元(Action Units, AU)的激活頻率和持續時間進行分類，同時考慮到嬰兒(er) 和成人在麵部形態上的差異。動作單元的組合及其強度可以用來推斷獨立的情感狀態。
然而，麵部表情的人工編碼是一個(ge) 費時耗力的過程，程序上的差異以及主觀因素可能會(hui) 限製在不同研究中結果的可重複性。最新的計算機視覺技術在成人自動麵部表情識別方麵取得了實質性進展，為(wei) 人工行為(wei) 編碼提供了一種功能強大且降低時間成本的替代方案。
同樣，將自動測量方法應用於(yu) 嬰兒(er) 麵部表情分析，不僅(jin) 可以加快分析過程，還能提供具有更高一致性和客觀性的數據結果，允許對嬰兒(er) 在各種情景中的行為(wei) 進行詳細的在線和離線分析，這是很難用標準的人工編碼技術獲得的。此外，它使得獲取大型數據庫和複製早期研究變得更加容易。因此，自動麵部表情分析的發展為(wei) 情緒測量研究帶來了重大飛躍。
技術創新：Baby FaceReader
嬰幼兒(er) 麵部表情分析係統(Baby FaceReader)是自動麵部表情分析領域的一個(ge) 重要裏程碑。它專(zhuan) 門用於(yu) 研究嬰幼兒(er) 麵部表情，可自動分析6-24個(ge) 月嬰幼兒(er) 的麵部表情。軟件基於(yu) 嬰兒(er) 麵部動作編碼係統(Baby FACS)開發，采用先進的算法和機器學習(xi) 技術定位並分析人臉，使用卷積神經網絡(CNN)來識別和解釋各種麵部動作單元(AU)。
Baby FaceReader使用 AU 來計算整體(ti) 情緒效價(jia) 。通過這種方式，軟件可以檢測麵部表情的細微變化，從(cong) 而提供對嬰兒(er) 情緒狀態的細致入微的洞察。與(yu) 容易產(chan) 生主觀誤差的人工編碼不同，Baby FaceReader提供了一種理解麵部表情的標準化方法。
然而，在將這種方法可靠地引入嬰兒(er) 研究之前，需要對其可靠性和有效性進行評估。之前沒有研究將其性能與(yu) 人工編碼的嬰幼兒(er) 麵部表情數據進行比較，因此，研究者在先前的工作基礎上，比較了4個(ge) 月和8個(ge) 月大的嬰兒(er) 在自然狀態下麵對麵互動期間的麵部表情分別通過Baby FaceReader的自動編碼和人工編碼的結果，詳細地探討了其可靠性和有效性。
Baby FaceReader VS人工編碼
Zaharieva和她的團隊共觀察了 58 名嬰兒(er) 在4 個(ge) 月和 8 個(ge) 月時與(yu) 不同照護者（母親(qin) 、父親(qin) 與(yu) 陌生人）進行2分鍾麵對麵自然互動的過程(圖1)。在生命的早期階段，麵部表情的發展變化很快。因此，這是研究情感交流的理想時期。
圖1
4個(ge) 月/8個(ge) 月時的視頻錄製設置:交互視圖(A/B)
研究者主要關(guan) 注Baby FaceReader分辨積極、消極和中性麵部情緒表達的能力，因為(wei) 準確解讀這些細微差別對於(yu) 發展心理學至關(guan) 重要。對於(yu) 人工編碼，是使用The Observer XT 進行的。
麵部表情以四類進行人工編碼:
1)積極：微笑(AU12)，嘴巴張閉(AU25, AU26, AU27)，臉頰提升(AU6)等;
2)消極：包括皺眉、哭泣，即眉毛內(nei) 角抬起(AU1)、嘴角拉伸(AU20)、眉毛下垂(AU3 + AU4)、眼瞼緊收(AU7)、下唇抬起(AU17)等；
3)中性：沒有看到肌肉運動，也沒有看到肌肉運動表明情緒的麵部表情;
4)不可見：當麵部被遮擋或失焦時。
原始動作單元的輸出結果表示從(cong) 低到高的連續動作單元強度，範圍在[0-1]。整體(ti) 情緒效價(jia) 結果表示麵部表情從(cong) 消極到積極的情感強度，範圍在[-1-1]。
識別積極情緒具有更高的精準性
研究結果提供了不同的見解（表1）。與(yu) 人工編碼的麵部表情相比，Baby FaceReader在區分積極表情與(yu) 消極或中性表情方麵表現出較高的準確性(AUC=0.81; PA=0.84; NA=0.67)。然而，它在區分消極和中性表達方麵的表現仍存在挑戰(AUC=0.49; PA =0.69; NA =0.14)。
表1
因此，研究者探究了特定動作單元在區分積極、消極和中性表達方麵的表現。結果發現，自動檢測的微笑(AU12)在區分積極表情和消極或中性表情方麵表現較好(NA=0.69) (圖2)；自動檢測的眉毛下垂(AU3 + AU4)，能夠良好地區分消極和中性的麵部表情(AUC=0.79) (表2)；自動檢測的嘴角拉伸(AU20，是嬰兒(er) 哭泣臉的核心麵部動作肌肉)在區分消極和中性的麵部表情表現較好(AUC=0.70)。這些結果為(wei) 應用Baby FaceReader的AU12和AU3+AU4(可能還有AU20)在嬰兒(er) 麵對麵互動中區分積極和消極的麵部表情提供了實證驗證。
圖2
表2
利用 Baby FaceReader推進嬰兒(er) 研究
過去十年中，在開發測量嬰兒(er) 麵部表情的自動化技術方麵取得了實質性進展。有效的嬰兒(er) 麵部表情的自動測量依賴於(yu) 對麵部動作及其情感意義(yi) 之間關(guan) 係的理論性理解和係統化實踐。例如，識別負性情緒的麵部表情仍具挑戰性，因為(wei) 嬰兒(er) 在表達較低強度的負性情緒時不會(hui) 使用一套一致的動作單元。因此，動作單元自動檢測算法至關(guan) 重要，需要持續研究。
在發展心理學和兒(er) 科護理中引入自動麵部表情分析是向前邁出的重要一步。這項技術為(wei) 嬰兒(er) 情緒表達的發展提供了新的見解，它將幫助我們(men) 更好地理解早期人類情感和交流是如何發展及變化的，從(cong) 而為(wei) 發育障礙提供更明確的護理和治療的理論基礎和實踐路徑。
參考文獻
Zaharieva, M.; Salvadori, E.; Messinger, D.; Visser, I.; Colonnesi, C. (2024). Automated facial expression measurement in a longitudinal sampleof 4 and 8montholds: Baby FaceReader 9 and manual coding of affective expressions. Behavior Research Methods.
關(guan) 注諾達思公眾(zhong) 號，聯係我們(men) 獲取更多產(chan) 品信息及學術文章！
