嬰幼兒麵部表情分析係統

嬰幼兒(er) 麵部表情分析係統(Baby FaceReader):是一款自動分析嬰幼兒(er) (6-24月齡)麵部表情的專(zhuan) 業(ye) 軟件。該係統依據 Oster的嬰幼兒(er) 麵部運動編碼係統(Baby FACS)來分析其麵部表情，然後基於(yu) AAM模型(主動外觀模型)得出相關(guan) 表情參數。

為何要使用Baby   FaceReader

麵部表情能反映出許多有價(jia) 值的信息，特別是嬰幼兒(er) 。目前對嬰幼兒(er) 的相關(guan) 研究需求越來越多，而用於(yu) 成人麵部表情分析的工具又不適用於(yu) 嬰幼兒(er) ，需要專(zhuan) 業(ye) 的研究分析工具對行為(wei) 反應、表情等進行量化分析。

研究需求的逐步增加是催生嬰幼兒(er) 麵部表情分析係統 (Baby FaceReader)誕生的加速劑。除此之外，嬰幼兒(er) 本身的一些特性也決(jue) 定了要使用嬰幼兒(er) 麵部表情分析係統對其表情進行分析：

• 嬰幼兒的頭部比較小；
• 嬰幼兒可見眉毛較少/甚至沒有；
•  嬰幼兒皮下脂肪較厚，導致對其麵部單元活動的解釋比較困難；
• 嬰幼兒無法通過語言表達他們自身的感受，表情是真實的反映。

因此，該係統是目前測量嬰幼兒(er) 麵部行為(wei) 的全麵、專(zhuan) 業(ye) 的軟件，能夠詳細描述和分析嬰幼兒(er) 麵部動作單元的活動，是研究影響與(yu) 發育障礙相關(guan) 的發展心理學問題的有利工具。

關(guan) 於(yu) 嬰幼兒(er) 基本麵部表情的分類，學術界目前尚有爭(zheng) 議。 而關(guan) 於(yu) 正、負情緒的劃分已達成共識。因此，嬰幼兒(er) 麵部表情分析係統(Baby FaceReader)不對其基本情緒進行劃分，但對引起相關(guan) 情緒的麵部動作單元可進行詳細分析。

係統特性

• 非接觸性數據采集及分析，保證數據的客觀性； 
• 采用標準的嬰幼兒麵部動作編碼分析；
• 適用於6-24月齡的嬰幼兒；
• 可分析頭部朝向、麵部狀態及麵部單元動作；
• 可分析情緒效價、喚醒度和情緒環狀模型；
• 支持自定義表情分析；
• 可添加心率模塊(RPPG)和校準模塊。

應用範圍

嬰幼兒(er) 麵部表情分析係統(Baby FaceReader)能夠為(wei) 研究提供一些量化的數據，應用範圍及其廣泛，主要體(ti) 現在以下 幾大方麵：

• 通過嬰幼兒對口味、氣味及其它感官刺激的反應，對嬰幼兒食物偏好進行探討；
• 感官研究等； 
• 有助於分析認知-信息加工過程，檢測自然環境或者實驗環境中父母-嬰幼兒交互時，嬰幼兒的情感表達行為；
• 研究嬰幼兒麵部表情的變化和穩定性；
• 能夠幫助解決影響與發育障礙相關的發展心理學問題，如自閉症譜係障礙(ASD)和注意力缺陷多動障礙 (ADHD)等。

食物偏好研究具體案例 

該研究是對嬰幼兒(er) 麵部表情分析係統的個(ge) 驗證結果。研究主要探討了與(yu) 食物偏好(AU1,4,7,9,10,15,18,26/27)、笑 (AU6,12)、哭(AU20)、睜大眼睛(AU5)和下巴抬起(AU17)相關(guan) 的麵部動作單元活動情況。

基於(yu) AAM模型(主動外觀模型)，研究人員采用了高質量的嬰幼兒(er) 圖片對麵部動作單元進行分析，經過去重之後， 終有74張圖片。

圖一為(wei) 較好的AAM模型擬合效果與(yu) 完 美AAM模型擬合效果的對比

表一為(wei) 不同麵部單元的頻數分布

表二是AAM模型 擬合效果的麵部動作單元的準確率(Accuracy)、召回率 (Recall)、率(Precision)、F1值(F1Score)、麵部動作編 碼一致性(FACS Agreement Score)分析(n=29)。其中準確率、召回率、F值是目前機器學習(xi) 等建模之後對 模型效果進行評價(jia) 的常用指標。

圖二是74張圖片不同麵部 動作單元和兩(liang) 種模型擬合效果的F1值

以上數據表明，AAM模型擬合能更好地描述麵部動作單元的動作。換言之，也驗證了嬰幼兒(er) 麵部表情分析係統(Baby FaceReader)可用於(yu) 食品偏好、感官研究等，是進行嬰幼兒(er) 麵部動作單元分析的有利工具。

參考文獻

1、Maroulis, A.; Spink, A.J.; Theuws, J.J.M.; Oster, H. & Buitelaar, J. (2017). Sweet or sour. Validating Baby FaceReader to analyse infant responses to food. Poster presentation 12th Pangborn Sensory Science Symposium, 20-24 August, 2017.

2、Oster, H. (2005). The repertoire of infant facial expressions: An ontogenetic perspective. Emotional development, 261-292.

3、Oster, H. (2016). Baby FACS: Facial Action Coding System for infants and young children. Unpublished monograph and coding manual. New York University.