1.    引言     

視覺是我們(men) 最重要的感官之一，使我們(men) 能夠看到我們(men) 周圍的世界。我們(men) 的眼球運動包含重要的信息，我們(men) 的麵部表情也是如此。通過觀察用戶的眼球運動，以及注視和麵部表情，我們(men) 可以更多地了解潛意識過程。這可以通過眼球追蹤技術來完成。結合麵部表情分析技術，這為(wei) 用戶體(ti) 驗、客戶偏好和欣賞提供了寶貴的見解。

長久以來表情和眼動分析就被用於(yu) 用戶體(ti) 驗研究的相關(guan) 項目中，表情和眼動的定量化分析方法，能夠幫助用戶研究人員，更加準確的了解和描述用戶的產(chan) 品使用過程，為(wei) 產(chan) 品原型、產(chan) 品素材、宣發材料等各種材料提供更加科學和客觀的驗證結果。

比如MEUX在21年與(yu) 諾達思合作的一項研究中就通過眼動的方式探究視頻類APP，標題在視頻窗口上方或下方，對用戶瀏覽模式的影響。

還有用戶體(ti) 驗界大名鼎鼎的尼爾森諾曼集團，在2020年發表的文章中提到，他們(men) 在眼動分析項目中，發現用戶在瀏覽產(chan) 品頁麵時會(hui) 存在“割草機模式”的瀏覽習(xi) 慣，也即習(xi) 慣從(cong) 頁麵內(nei) 容左上角開始，向右移動到末尾，然後向下折返瀏覽。

還有早在06年的時候，魯汶大學的研究者就是用FaceReader軟件，對用戶產(chan) 品使用過程中的愉悅體(ti) 驗進行測量，發現用戶瀏覽網站時，看到網站相關(guan) 設計亮點時，會(hui) 不自覺地流露出積極的麵部表情，當用戶遇到困難或者對內(nei) 容感到困惑時，會(hui) 流露出負麵的麵部表情。

1.1什麽(me) 是眼動分析？ 

      眼動追蹤是一種測量眼球運動的技術，可以知道一個(ge) 人在看什麽(me) ，他們(men) 在看什麽(me) ，以及他們(men) 的目光在特定位置停留了多長時間。用戶視線停止移動的區域稱為(wei) “注視”，注視是我們(men) 視覺注意加工信息的最基本單元，而用戶眼睛在注視點之間的移動稱為(wei) “眼跳”。通過可視化呈現，我們(men) 可以看到眼睛在頁麵上的瀏覽路徑。

通過觀察我們(men) 如何閱讀文本，可以理解“注視”和“眼跳”這兩(liang) 個(ge) 概念。我們(men) 經常聽到高效的讀者“掃描”文本。在眼球運動方麵，一個(ge) 高效的讀者往往有較小的注視點和更長的眼跳，而較弱的讀者往往有更長的注視時間和更短的眼跳。差異可以在下圖中清楚地看到。左邊的那個(ge) 是一個(ge) 更強的讀者，可以快速輕鬆地在文本中移動，而右邊的那個(ge) 是一個(ge) 較弱的讀者。

      眼動分析一般是通過一個(ge) 專(zhuan) 用的硬件——眼動儀(yi) ，捕捉用戶在使用產(chan) 品時，用戶的注視點位置。眼動儀(yi) 是一個(ge) 比較精密的科研儀(yi) 器，集成了外攝像機、紅外燈，以及最重要的眼球識別的技術。眼動分析的開展離不開專(zhuan) 業(ye) 的硬件，這也就意味著設備的使用成本較高，並且相關(guan) 專(zhuan) 業(ye) 人員的培養(yang) 也是不小的投入。由於(yu) 這類的問題，使得眼動技術雖然能很好反應用戶使用產(chan) 品的完整過程，但隻有在一些較大的公司才會(hui) 使用到該技術。

1.2什麽(me) 是麵部表情分析？

     麵部表情分析則是通過一個(ge) AI算法，學習(xi) 了人類分類表情的基本規則，進而定量化的輸出用戶在使用產(chan) 品期間，或者關(guan) 鍵的事件點上，表情變化的基本強度值。該算法能通過一個(ge) 普通攝像機拍攝的畫麵，自動找到用戶麵部500個(ge) 特征點，並進行建模，進而計算出用戶7中基本表情的強度值，和20個(ge) 微表情動作單元的變化。由於(yu) 是純軟件的算法，因此已經有雲(yun) 分析平台了，使用者隻需要上傳(chuan) 自己希望測試的材料或者網頁連接，便能夠輕鬆完成大樣本的定量表情測試。

1.3結合兩(liang) 種手段的優(you) 勢

       這兩(liang) 種生物測量的技術手段在實際用戶體(ti) 驗研究項目中各有優(you) 劣，眼動能夠較好的還原用戶的認知過程，比如用戶在尋找自己訂單信息時，首先會(hui) 在哪些地方尋找，他看到哪些信息後，會(hui) 產(chan) 生點擊“我的”這個(ge) 操作，這樣認知信息的還原基本能回到產(chan) 品體(ti) 驗中遇到的70%的問題，而另外30%則是用戶使用產(chan) 品過程中的情緒感受的結果。比如用戶尋找訂單時，哪些關(guan) 鍵時刻讓他產(chan) 生眉毛下降的表情動作，哪些版本的界麵設計能讓用戶在較高情緒效價(jia) 水平下完成任務。

       因此很多的研究者也試圖同時使用這兩(liang) 種工具，來進行產(chan) 品相關(guan) 研究，比如2015年的時候蒙德拉貢大學的研究者就提出了將兩(liang) 者結合的方法，並將這種方法稱為(wei) 眼臉分析係統，研究者使用這樣的多維度測量手段，能更加全麵的對產(chan) 品進行體(ti) 驗評估。

Eyeface由兩(liang) 個(ge) 計算機工作站組成，每個(ge) 工作站都運行特定的工具，即眼球追蹤和麵部表情識別。對於(yu) 這項研究工作中，Facereader的網絡攝像頭安裝在眼球追蹤設備的頂部。因此對普通的用戶研究人員，要使用這樣的多通道的分析技術，幾乎不現實，而所有問題的症結就在於(yu) 眼動分析需要有額外的硬件，沒法做到*的遠程在線收集數據。

隨著近年來AI技術的逐步發展，和相關(guan) 模型算法的完善，通過一個(ge) 普通攝像頭識別用戶的眼動逐漸變得可行，基於(yu) 這樣的背景下，諾達思公司聯合了位於(yu) 阿姆斯特丹的VicarVision，一起開發了一套通過普通攝像頭識別用戶眼動的算法，並將該算法集成到了在線麵部表情分析平台中，使得以往隻能在實驗室由專(zhuan) 業(ye) 研究者開展的測試，變成了一個(ge) 人人都能夠使用的在線分析平台。

2.    AI同時識別眼動和表情的原理介紹

該技術發源於(yu) 荷蘭(lan) 地方政府資助的一個(ge) 科研ICT高科技項目，Noldus和VicarVision花費了近24個(ge) 月，開發一個(ge) 突破性的係統，使用簡單的網絡攝像頭跟蹤眼球運動。結合現有的麵部表情分析，就能夠提供先進的解決(jue) 方案，用於(yu) 測量使用筆記本電腦、平板電腦或智能手機的用戶的體(ti) 驗感受。

2.1評估瞳孔大小：一項具有挑戰性的任務

對於(yu) 瞳孔直徑的估計，我們(men) 實施並分析了兩(liang) 種方法：一種是基於(yu) 使用經典計算機視覺（經典CV）的方法，一種是基於(yu) 深度學習(xi) 的方法。兩(liang) 種方法都對虹膜圖像進行了分割，使虹膜圖像中間的區域與(yu) 眼睛的瞳孔相近，見深度學習(xi) 方法（左上圖）和經典CV方法（右圖）的處理步驟示例。在測試中，使用了手動標注的圖片和Tobii nano pro（眼動儀(yi) ）瞳孔直徑輸出。可以分析的圖片數量有差異，深度學習(xi) 方法可以分析*的圖片，經典方法可以分析70%的圖片。

在整個(ge) 數據集中，我們(men) 對結果進行了充分的混合。一些被試的某些任務，測量的瞳孔大小和真值之間有很強的相關(guan) 性（r = 0.86），但其他的任務卻沒有顯示出任何相關(guan) 性。平均來說，有一個(ge) 中度的正相關(guan) ，兩(liang) 種方法的表現相似（DL：r = 0.39 vs. CV：r = 0.37）。有幾個(ge) 被試中發現了強烈的正相關(guan) ，但這些人都是藍眼睛，沒有眼鏡。瞳孔和周圍虹膜之間的強烈對比對於(yu) 瞳孔大小的估計很重要。這對顏色較深的眼睛和用光反射覆蓋瞳孔的眼睛來說是一個(ge) 挑戰。相比之下，紅外光有一個(ge) 優(you) 勢，因為(wei) 不可見的紅外光可以照亮虹膜而不幹擾瞳孔的大小。另一個(ge) 困難是缺乏合適的數據集。大多數可用的數據集隻存在於(yu) 紅外線中，缺乏可見光的特征問題。

我們(men) 的研究表明，在某些情況下，從(cong) USB攝像頭中估計瞳孔直徑是可能的，但還沒有準備好實施。未來的研究可以通過增加可用數據量和進一步改進預處理步驟來優(you) 化當前的方法。

2.2眼動跟蹤：已經可以落地使用

我們(men) 開發的EyeReader算法，可以估計用戶注視方向，並將其與(yu) 屏幕上的圖像聯係起來。神經網絡通過許多標記的屏幕位置和視頻記錄的數據集進行訓練，以學習(xi) 眼睛的圖像和注視向量之間的關(guan) 係。在一個(ge) 校準任務的幫助下，用戶跟隨屏幕上的點，屏幕上的2D X和Y點可以被定量解碼。用我們(men) 自己的驗證數據集進行的測試表明，該係統預測屏幕上的注視點的平均偏差為(wei) 2.4厘米（屏幕的平均偏差為(wei) 5.2%）。這與(yu) 市麵上其他競爭(zheng) 對手相當。結果顯示，與(yu) 單獨的屏幕相比，在筆記本電腦上執行的任務的準確度略高（見下麵的左圖）。這可能是由於(yu) 筆記本電腦的尺寸和固定位置。藍色和棕色的眼睛顏色之間沒有大的差別。眼鏡，當它很厚並且有光反射時，在某些情況下會(hui) 降低結果的準確性。

2.3EyeReader

當比較EyeReader和Tobii Nano眼動儀(yi) （科研級）的注視估計時，發現每個(ge) 類別的總注視時間的估計之間有很強的相關(guan) 性（見上麵的右圖）。這些結果表明，EyeReader非常適用於(yu) 研究現實的用戶體(ti) 驗項目，可以通過該手段獲得一個(ge) 非常清晰的眼動結果。你可以在一個(ge) 靈活機動的實驗室環境中使用EyeReader，也可以在FaceReader Online平台中進行在線測試（見下麵的熱圖例子）。

2.4麵部表情識別

麵部表情識別係統，FaceReader是一個(ge) 用於(yu) 麵部分析的軟件。它可以檢測麵部表情。FaceReader已被訓練為(wei) 將表情歸入以下類別之一：快樂(le) 、悲傷(shang) 、憤怒、驚訝、恐懼、厭惡和中性。這些情緒類別被心理學家Ekman描述為(wei) 基本或人類統一的情緒。麵部表情的強度各不相同，而且往往是各種情緒的混合。此外，人與(yu) 人之間也有相當多的差異。

FaceReader可以對上述的表情進行分類。也可以自己軟件添加自定義(yi) 表情。除了麵部表情之外，FaceReader還提供了一些額外的分類。例如，它可以檢測目光方向以及眼睛和嘴巴是否閉合。

FaceReader根據以下步驟對麵部表情進行分類。

1.人臉識別。人臉在圖像中的位置是通過基於(yu) 深度學習(xi) 的人臉識別算法找到的，該算法在圖像中搜索不同比例的人臉區域。

該算法搜索圖像中不同比例的具有人臉外觀的區域。

2.麵部建模。FaceReader使用了一種基於(yu) 深度神經網絡的麵部建模技術。它合成了一個(ge) 人工麵部模型，描述了468個(ge) 關(guan) 鍵點的位置。

描述臉部468個(ge) 關(guan) 鍵點的位置。它是一種單程快速方法，可以直接估計臉部的全部關(guan) 鍵點。在初步估計之後，關(guan) 鍵點用主成分分析法進行壓縮。這導致了描述臉部狀態的高度壓縮的矢量代表。

3.麵部分類。然後，通過訓練有素的深度人工神經網絡對麵部表情進行分類，以識別麵部的模式。

FaceReader直接從(cong) 圖像像素中對麵部表情進行分類。超過20,000張經過人工標注的圖像被用來訓練人工神經網絡。

該網絡被訓練用來對Ekman定義(yi) 的六種基本或普遍的情緒進行分類：快樂(le) 、悲傷(shang) 、憤怒、驚訝、恐懼和厭惡。此外，該網絡還被訓練用來對FaceReader中的麵部動作單元進行分類，以識別 "中性 "狀態和分析 "輕蔑"。

3.    FaceReader-Online在線麵部表情眼動分析平台

麵部表情分析引擎自07年發布以來，經過16年迭代，目前已經到了第九版。16年間各地超過1000個(ge) 研究單位使用該軟件，發表超過3000篇科研論文。諾達思在此AI引擎的基礎上，結合微軟Azure雲(yun) 的優(you) 勢，開發了在線版的麵部表情分析係統FaceReader-Online（以下簡稱FRO）。

FRO通過情緒的捕捉與(yu) 分析,可以了解受測人員對商業(ye) 廣告、電影預告片、網站等的喜好度、注意力等，從(cong) 而為(wei) 客戶提供更客觀的評價(jia) 和見解。FRO可以創建一個(ge) 或多個(ge) 項目，簡言之，您隻需給被試發一個(ge) 測試鏈接，等待被試回應,完成測試後係統會(hui) 自動分析，結果清晰可見,非常方便快捷。

2022年，在新技術的加持下，FRO的分析引擎也增加了眼動分析功能，能通過受試者的電腦攝像機，自動識別用戶在瀏覽網頁、使用產(chan) 品原型時的情緒和注意力變化情況。

如何使用

隻需三步便可完成FRO的相關(guan) 設置：

1.    定義(yi) 你的項目；

2.    邀請用戶測試，收集數據；

3.    查看分析結果。

3.1定義(yi) 項目

在您從(cong) 諾達思獲取賬號後，可以通過鏈接訪問FRO平台，登錄之後隻需要選擇新建一個(ge) 分析項目即可。接下來您需要上傳(chuan) 您的測試材料，比如視頻廣告，或者相關(guan) App素材，測試原型鏈接等，之後您需要設置您的測試流程，如何時給用戶呈現視頻或圖片材料，原型測試鏈接的相關(guan) 指引，測試時長有多少，結束後是否添加相關(guan) 問題等。設置好試驗後，您可以進行相關(guan) 的預覽和測試。

3.2邀請用戶

        準備好測試相關(guan) 流程後，FRO會(hui) 自動生成一個(ge) 在線測試鏈接，您可以將該鏈接直接發送給被測試的用戶人群，也可以將該鏈接整合到你已有的問卷係統中。之後便可以輕鬆的在係統後台中看到測試的進度，以及收集到的數據質量。

3.3查看分析結果

       FRO會(hui) 對收集到的數據進行自動的分析，分析結束後我們(men) 便可以在後台看到收集到的相關(guan) 數據。分析數據前我們(men) 可以首先選擇對比的方式，我們(men) 可以對比不同用戶群體(ti) 在使用同一個(ge) 用戶界麵時的結果和感受，也可以對比多個(ge) 不同版本的用戶界麵設計。除此以外，也能夠對數據做清洗，去除錄像效果較差的數據。

添加結果之後，FRO會(hui) 以圖標和表格的形式呈現數據，直觀對比不同版本的材料間，用戶在完成測試腳本期間表情的變化情況，如下圖示例中，可以看到新版網站用戶在尋找相關(guan) 產(chan) 品信息時，表情更加積極；用戶在瀏覽舊網站時，會(hui) 有更多消極表情，而這些消極表情，主要是由於(yu) 用戶瀏覽網站過程中的困惑，困難產(chan) 生的，如用戶找不到相關(guan) 信息時會(hui) 不自覺的皺眉頭等。

眼動分析中，除了傳(chuan) 統的熱區圖以外，我們(men) 還能對感興(xing) 趣的頁麵區域做劃分，了解用戶進入當前頁麵瀏覽時第一次看到我們(men) 目標區域花了多長時間（首視時間），看相關(guan) 區域一共花了多長時間，以此可以定量對比不同版本的設計，對用戶產(chan) 生的具體(ti) 影響情況。

       限於(yu) 篇幅，我們(men) 僅(jin) 就麵部表情和眼動分析中的部分結果呈現做了展示，更多豐(feng) 富的內(nei) 容可以進入查看。也可聯係我們(men) 進行免費試用。

4.    應用前景

      在豐(feng) 富了FRO分析平台從(cong) 眼動到表情識別的分析能力後，FRO的應用方向迎來了更多的想象空間，除了傳(chuan) 統的一些用戶體(ti) 驗相關(guan) 的視頻或者圖片素材的測試外，還能對一些概念原型做相關(guan) 評估，包括但不限於(yu) 如下內(nei) 容：網頁網站的可用性評估、廣告創意評估、圖片材料評估、產(chan) 品貨架測試、產(chan) 品包裝測試、虛擬門店測試、行為(wei) 心理研究、預告片評估、精神疾病評估等。

     FRO能使得以往需要耗費數萬(wan) 元一次的線下眼動、表情測試，以標準化的線上測試的形式呈現，用以往五分之一的價(jia) 格，便能完成一次表情+眼動的定量實驗研究，特別是在疾病流行的當下，能幫助客戶更加高效的開展遠程的用戶體(ti) 驗測試項目。

關(guan) 注諾達思公眾(zhong) 號，獲取更多產(chan) 品信息及學術文章！