1.    引言     

視覺(jué)是我們最重要的感官之一，使我們能夠看到我們周圍的世界。我們的眼球運(yùn)動(dòng)包含重要的信息，我們的面部表情也是如此。通過(guò)觀察用戶的眼球運(yùn)動(dòng)，以及注視和面部表情，我們可以更多地了解潛意識(shí)過(guò)程。這可以通過(guò)眼球追蹤技術(shù)來(lái)完成。結(jié)合面部表情分析技術(shù)，這為用戶體驗(yàn)、客戶偏好和欣賞提供了寶貴的見(jiàn)解。

長(zhǎng)久以來(lái)表情和眼動(dòng)分析就被用于用戶體驗(yàn)研究的相關(guān)項(xiàng)目中，表情和眼動(dòng)的定量化分析方法，能夠幫助用戶研究人員，更加準(zhǔn)確的了解和描述用戶的產(chǎn)品使用過(guò)程，為產(chǎn)品原型、產(chǎn)品素材、宣發(fā)材料等各種材料提供更加科學(xué)和客觀的驗(yàn)證結(jié)果。

比如MEUX在21年與諾達(dá)思合作的一項(xiàng)研究中就通過(guò)眼動(dòng)的方式探究視頻類APP，標(biāo)題在視頻窗口上方或下方，對(duì)用戶瀏覽模式的影響。

還有用戶體驗(yàn)界大名鼎鼎的尼爾森諾曼集團(tuán)，在2020年發(fā)表的文章中提到，他們?cè)谘蹌?dòng)分析項(xiàng)目中，發(fā)現(xiàn)用戶在瀏覽產(chǎn)品頁(yè)面時(shí)會(huì)存在“割草機(jī)模式”的瀏覽習(xí)慣，也即習(xí)慣從頁(yè)面內(nèi)容左上角開(kāi)始，向右移動(dòng)到末尾，然后向下折返瀏覽。

還有早在06年的時(shí)候，魯汶大學(xué)的研究者就是用FaceReader軟件，對(duì)用戶產(chǎn)品使用過(guò)程中的愉悅體驗(yàn)進(jìn)行測(cè)量，發(fā)現(xiàn)用戶瀏覽網(wǎng)站時(shí)，看到網(wǎng)站相關(guān)設(shè)計(jì)亮點(diǎn)時(shí)，會(huì)不自覺(jué)地流露出積極的面部表情，當(dāng)用戶遇到困難或者對(duì)內(nèi)容感到困惑時(shí)，會(huì)流露出負(fù)面的面部表情。

1.1什么是眼動(dòng)分析？ 

      眼動(dòng)追蹤是一種測(cè)量眼球運(yùn)動(dòng)的技術(shù)，可以知道一個(gè)人在看什么，他們?cè)诳词裁?，以及他們的目光在特定位置停留了多長(zhǎng)時(shí)間。用戶視線停止移動(dòng)的區(qū)域稱為“注視”，注視是我們視覺(jué)注意加工信息的最基本單元，而用戶眼睛在注視點(diǎn)之間的移動(dòng)稱為“眼跳”。通過(guò)可視化呈現(xiàn)，我們可以看到眼睛在頁(yè)面上的瀏覽路徑。

通過(guò)觀察我們?nèi)绾伍喿x文本，可以理解“注視”和“眼跳”這兩個(gè)概念。我們經(jīng)常聽(tīng)到高效的讀者“掃描”文本。在眼球運(yùn)動(dòng)方面，一個(gè)高效的讀者往往有較小的注視點(diǎn)和更長(zhǎng)的眼跳，而較弱的讀者往往有更長(zhǎng)的注視時(shí)間和更短的眼跳。差異可以在下圖中清楚地看到。左邊的那個(gè)是一個(gè)更強(qiáng)的讀者，可以快速輕松地在文本中移動(dòng)，而右邊的那個(gè)是一個(gè)較弱的讀者。

      眼動(dòng)分析一般是通過(guò)一個(gè)專用的硬件——眼動(dòng)儀，捕捉用戶在使用產(chǎn)品時(shí)，用戶的注視點(diǎn)位置。眼動(dòng)儀是一個(gè)比較精密的科研儀器，集成了外攝像機(jī)、紅外燈，以及最重要的眼球識(shí)別的技術(shù)。眼動(dòng)分析的開(kāi)展離不開(kāi)專業(yè)的硬件，這也就意味著設(shè)備的使用成本較高，并且相關(guān)專業(yè)人員的培養(yǎng)也是不小的投入。由于這類的問(wèn)題，使得眼動(dòng)技術(shù)雖然能很好反應(yīng)用戶使用產(chǎn)品的完整過(guò)程，但只有在一些較大的公司才會(huì)使用到該技術(shù)。

1.2什么是面部表情分析？

     面部表情分析則是通過(guò)一個(gè)AI算法，學(xué)習(xí)了人類分類表情的基本規(guī)則，進(jìn)而定量化的輸出用戶在使用產(chǎn)品期間，或者關(guān)鍵的事件點(diǎn)上，表情變化的基本強(qiáng)度值。該算法能通過(guò)一個(gè)普通攝像機(jī)拍攝的畫面，自動(dòng)找到用戶面部500個(gè)特征點(diǎn)，并進(jìn)行建模，進(jìn)而計(jì)算出用戶7中基本表情的強(qiáng)度值，和20個(gè)微表情動(dòng)作單元的變化。由于是純軟件的算法，因此已經(jīng)有云分析平臺(tái)了，使用者只需要上傳自己希望測(cè)試的材料或者網(wǎng)頁(yè)連接，便能夠輕松完成大樣本的定量表情測(cè)試。

1.3結(jié)合兩種手段的優(yōu)勢(shì)

       這兩種生物測(cè)量的技術(shù)手段在實(shí)際用戶體驗(yàn)研究項(xiàng)目中各有優(yōu)劣，眼動(dòng)能夠較好的還原用戶的認(rèn)知過(guò)程，比如用戶在尋找自己訂單信息時(shí)，首先會(huì)在哪些地方尋找，他看到哪些信息后，會(huì)產(chǎn)生點(diǎn)擊“我的”這個(gè)操作，這樣認(rèn)知信息的還原基本能回到產(chǎn)品體驗(yàn)中遇到的70%的問(wèn)題，而另外30%則是用戶使用產(chǎn)品過(guò)程中的情緒感受的結(jié)果。比如用戶尋找訂單時(shí)，哪些關(guān)鍵時(shí)刻讓他產(chǎn)生眉毛下降的表情動(dòng)作，哪些版本的界面設(shè)計(jì)能讓用戶在較高情緒效價(jià)水平下完成任務(wù)。

       因此很多的研究者也試圖同時(shí)使用這兩種工具，來(lái)進(jìn)行產(chǎn)品相關(guān)研究，比如2015年的時(shí)候蒙德拉貢大學(xué)的研究者就提出了將兩者結(jié)合的方法，并將這種方法稱為眼臉?lè)治鱿到y(tǒng)，研究者使用這樣的多維度測(cè)量手段，能更加全面的對(duì)產(chǎn)品進(jìn)行體驗(yàn)評(píng)估。

Eyeface由兩個(gè)計(jì)算機(jī)工作站組成，每個(gè)工作站都運(yùn)行特定的工具，即眼球追蹤和面部表情識(shí)別。對(duì)于這項(xiàng)研究工作中，Facereader的網(wǎng)絡(luò)攝像頭安裝在眼球追蹤設(shè)備的頂部。因此對(duì)普通的用戶研究人員，要使用這樣的多通道的分析技術(shù)，幾乎不現(xiàn)實(shí)，而所有問(wèn)題的癥結(jié)就在于眼動(dòng)分析需要有額外的硬件，沒(méi)法做到*的遠(yuǎn)程在線收集數(shù)據(jù)。

隨著近年來(lái)AI技術(shù)的逐步發(fā)展，和相關(guān)模型算法的完善，通過(guò)一個(gè)普通攝像頭識(shí)別用戶的眼動(dòng)逐漸變得可行，基于這樣的背景下，諾達(dá)思公司聯(lián)合了位于阿姆斯特丹的VicarVision，一起開(kāi)發(fā)了一套通過(guò)普通攝像頭識(shí)別用戶眼動(dòng)的算法，并將該算法集成到了在線面部表情分析平臺(tái)中，使得以往只能在實(shí)驗(yàn)室由專業(yè)研究者開(kāi)展的測(cè)試，變成了一個(gè)人人都能夠使用的在線分析平臺(tái)。

2.    AI同時(shí)識(shí)別眼動(dòng)和表情的原理介紹

該技術(shù)發(fā)源于荷蘭地方政府資助的一個(gè)科研ICT高科技項(xiàng)目，Noldus和VicarVision花費(fèi)了近24個(gè)月，開(kāi)發(fā)一個(gè)突破性的系統(tǒng)，使用簡(jiǎn)單的網(wǎng)絡(luò)攝像頭跟蹤眼球運(yùn)動(dòng)。結(jié)合現(xiàn)有的面部表情分析，就能夠提供先進(jìn)的解決方案，用于測(cè)量使用筆記本電腦、平板電腦或智能手機(jī)的用戶的體驗(yàn)感受。

2.1評(píng)估瞳孔大?。阂豁?xiàng)具有挑戰(zhàn)性的任務(wù)

對(duì)于瞳孔直徑的估計(jì)，我們實(shí)施并分析了兩種方法：一種是基于使用經(jīng)典計(jì)算機(jī)視覺(jué)（經(jīng)典CV）的方法，一種是基于深度學(xué)習(xí)的方法。兩種方法都對(duì)虹膜圖像進(jìn)行了分割，使虹膜圖像中間的區(qū)域與眼睛的瞳孔相近，見(jiàn)深度學(xué)習(xí)方法（左上圖）和經(jīng)典CV方法（右圖）的處理步驟示例。在測(cè)試中，使用了手動(dòng)標(biāo)注的圖片和Tobii nano pro（眼動(dòng)儀）瞳孔直徑輸出。可以分析的圖片數(shù)量有差異，深度學(xué)習(xí)方法可以分析*的圖片，經(jīng)典方法可以分析70%的圖片。

在整個(gè)數(shù)據(jù)集中，我們對(duì)結(jié)果進(jìn)行了充分的混合。一些被試的某些任務(wù)，測(cè)量的瞳孔大小和真值之間有很強(qiáng)的相關(guān)性（r = 0.86），但其他的任務(wù)卻沒(méi)有顯示出任何相關(guān)性。平均來(lái)說(shuō)，有一個(gè)中度的正相關(guān)，兩種方法的表現(xiàn)相似（DL：r = 0.39 vs. CV：r = 0.37）。有幾個(gè)被試中發(fā)現(xiàn)了強(qiáng)烈的正相關(guān)，但這些人都是藍(lán)眼睛，沒(méi)有眼鏡。瞳孔和周圍虹膜之間的強(qiáng)烈對(duì)比對(duì)于瞳孔大小的估計(jì)很重要。這對(duì)顏色較深的眼睛和用光反射覆蓋瞳孔的眼睛來(lái)說(shuō)是一個(gè)挑戰(zhàn)。相比之下，紅外光有一個(gè)優(yōu)勢(shì)，因?yàn)椴豢梢?jiàn)的紅外光可以照亮虹膜而不干擾瞳孔的大小。另一個(gè)困難是缺乏合適的數(shù)據(jù)集。大多數(shù)可用的數(shù)據(jù)集只存在于紅外線中，缺乏可見(jiàn)光的特征問(wèn)題。

我們的研究表明，在某些情況下，從USB攝像頭中估計(jì)瞳孔直徑是可能的，但還沒(méi)有準(zhǔn)備好實(shí)施。未來(lái)的研究可以通過(guò)增加可用數(shù)據(jù)量和進(jìn)一步改進(jìn)預(yù)處理步驟來(lái)優(yōu)化當(dāng)前的方法。

2.2眼動(dòng)跟蹤：已經(jīng)可以落地使用

我們開(kāi)發(fā)的EyeReader算法，可以估計(jì)用戶注視方向，并將其與屏幕上的圖像聯(lián)系起來(lái)。神經(jīng)網(wǎng)絡(luò)通過(guò)許多標(biāo)記的屏幕位置和視頻記錄的數(shù)據(jù)集進(jìn)行訓(xùn)練，以學(xué)習(xí)眼睛的圖像和注視向量之間的關(guān)系。在一個(gè)校準(zhǔn)任務(wù)的幫助下，用戶跟隨屏幕上的點(diǎn)，屏幕上的2D X和Y點(diǎn)可以被定量解碼。用我們自己的驗(yàn)證數(shù)據(jù)集進(jìn)行的測(cè)試表明，該系統(tǒng)預(yù)測(cè)屏幕上的注視點(diǎn)的平均偏差為2.4厘米（屏幕的平均偏差為5.2%）。這與市面上其他競(jìng)爭(zhēng)對(duì)手相當(dāng)。結(jié)果顯示，與單獨(dú)的屏幕相比，在筆記本電腦上執(zhí)行的任務(wù)的準(zhǔn)確度略高（見(jiàn)下面的左圖）。這可能是由于筆記本電腦的尺寸和固定位置。藍(lán)色和棕色的眼睛顏色之間沒(méi)有大的差別。眼鏡，當(dāng)它很厚并且有光反射時(shí)，在某些情況下會(huì)降低結(jié)果的準(zhǔn)確性。

2.3EyeReader

當(dāng)比較EyeReader和Tobii Nano眼動(dòng)儀（科研級(jí)）的注視估計(jì)時(shí)，發(fā)現(xiàn)每個(gè)類別的總注視時(shí)間的估計(jì)之間有很強(qiáng)的相關(guān)性（見(jiàn)上面的右圖）。這些結(jié)果表明，EyeReader非常適用于研究現(xiàn)實(shí)的用戶體驗(yàn)項(xiàng)目，可以通過(guò)該手段獲得一個(gè)非常清晰的眼動(dòng)結(jié)果。你可以在一個(gè)靈活機(jī)動(dòng)的實(shí)驗(yàn)室環(huán)境中使用EyeReader，也可以在FaceReader Online平臺(tái)中進(jìn)行在線測(cè)試（見(jiàn)下面的熱圖例子）。

2.4面部表情識(shí)別

面部表情識(shí)別系統(tǒng)，FaceReader是一個(gè)用于面部分析的軟件。它可以檢測(cè)面部表情。FaceReader已被訓(xùn)練為將表情歸入以下類別之一：快樂(lè)、悲傷、憤怒、驚訝、恐懼、厭惡和中性。這些情緒類別被心理學(xué)家Ekman描述為基本或人類統(tǒng)一的情緒。面部表情的強(qiáng)度各不相同，而且往往是各種情緒的混合。此外，人與人之間也有相當(dāng)多的差異。

FaceReader可以對(duì)上述的表情進(jìn)行分類。也可以自己軟件添加自定義表情。除了面部表情之外，FaceReader還提供了一些額外的分類。例如，它可以檢測(cè)目光方向以及眼睛和嘴巴是否閉合。

FaceReader根據(jù)以下步驟對(duì)面部表情進(jìn)行分類。

1.人臉識(shí)別。人臉在圖像中的位置是通過(guò)基于深度學(xué)習(xí)的人臉識(shí)別算法找到的，該算法在圖像中搜索不同比例的人臉區(qū)域。

該算法搜索圖像中不同比例的具有人臉外觀的區(qū)域。

2.面部建模。FaceReader使用了一種基于深度神經(jīng)網(wǎng)絡(luò)的面部建模技術(shù)。它合成了一個(gè)人工面部模型，描述了468個(gè)關(guān)鍵點(diǎn)的位置。

描述臉部468個(gè)關(guān)鍵點(diǎn)的位置。它是一種單程快速方法，可以直接估計(jì)臉部的全部關(guān)鍵點(diǎn)。在初步估計(jì)之后，關(guān)鍵點(diǎn)用主成分分析法進(jìn)行壓縮。這導(dǎo)致了描述臉部狀態(tài)的高度壓縮的矢量代表。

3.面部分類。然后，通過(guò)訓(xùn)練有素的深度人工神經(jīng)網(wǎng)絡(luò)對(duì)面部表情進(jìn)行分類，以識(shí)別面部的模式。

FaceReader直接從圖像像素中對(duì)面部表情進(jìn)行分類。超過(guò)20,000張經(jīng)過(guò)人工標(biāo)注的圖像被用來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。

該網(wǎng)絡(luò)被訓(xùn)練用來(lái)對(duì)Ekman定義的六種基本或普遍的情緒進(jìn)行分類：快樂(lè)、悲傷、憤怒、驚訝、恐懼和厭惡。此外，該網(wǎng)絡(luò)還被訓(xùn)練用來(lái)對(duì)FaceReader中的面部動(dòng)作單元進(jìn)行分類，以識(shí)別 "中性 "狀態(tài)和分析 "輕蔑"。

3.    FaceReader-Online在線面部表情眼動(dòng)分析平臺(tái)

面部表情分析引擎自07年發(fā)布以來(lái)，經(jīng)過(guò)16年迭代，目前已經(jīng)到了第九版。16年間各地超過(guò)1000個(gè)研究單位使用該軟件，發(fā)表超過(guò)3000篇科研論文。諾達(dá)思在此AI引擎的基礎(chǔ)上，結(jié)合微軟Azure云的優(yōu)勢(shì)，開(kāi)發(fā)了在線版的面部表情分析系統(tǒng)FaceReader-Online（以下簡(jiǎn)稱FRO）。

FRO通過(guò)情緒的捕捉與分析,可以了解受測(cè)人員對(duì)商業(yè)廣告、電影預(yù)告片、網(wǎng)站等的喜好度、注意力等，從而為客戶提供更客觀的評(píng)價(jià)和見(jiàn)解。FRO可以創(chuàng)建一個(gè)或多個(gè)項(xiàng)目，簡(jiǎn)言之，您只需給被試發(fā)一個(gè)測(cè)試鏈接，等待被試回應(yīng),完成測(cè)試后系統(tǒng)會(huì)自動(dòng)分析，結(jié)果清晰可見(jiàn),非常方便快捷。

2022年，在新技術(shù)的加持下，FRO的分析引擎也增加了眼動(dòng)分析功能，能通過(guò)受試者的電腦攝像機(jī)，自動(dòng)識(shí)別用戶在瀏覽網(wǎng)頁(yè)、使用產(chǎn)品原型時(shí)的情緒和注意力變化情況。

如何使用

只需三步便可完成FRO的相關(guān)設(shè)置：

1.    定義你的項(xiàng)目；

2.    邀請(qǐng)用戶測(cè)試，收集數(shù)據(jù)；

3.    查看分析結(jié)果。

3.1定義項(xiàng)目

在您從諾達(dá)思獲取賬號(hào)后，可以通過(guò)鏈接訪問(wèn)FRO平臺(tái)，登錄之后只需要選擇新建一個(gè)分析項(xiàng)目即可。接下來(lái)您需要上傳您的測(cè)試材料，比如視頻廣告，或者相關(guān)App素材，測(cè)試原型鏈接等，之后您需要設(shè)置您的測(cè)試流程，如何時(shí)給用戶呈現(xiàn)視頻或圖片材料，原型測(cè)試鏈接的相關(guān)指引，測(cè)試時(shí)長(zhǎng)有多少，結(jié)束后是否添加相關(guān)問(wèn)題等。設(shè)置好試驗(yàn)后，您可以進(jìn)行相關(guān)的預(yù)覽和測(cè)試。

3.2邀請(qǐng)用戶

        準(zhǔn)備好測(cè)試相關(guān)流程后，FRO會(huì)自動(dòng)生成一個(gè)在線測(cè)試鏈接，您可以將該鏈接直接發(fā)送給被測(cè)試的用戶人群，也可以將該鏈接整合到你已有的問(wèn)卷系統(tǒng)中。之后便可以輕松的在系統(tǒng)后臺(tái)中看到測(cè)試的進(jìn)度，以及收集到的數(shù)據(jù)質(zhì)量。

3.3查看分析結(jié)果

       FRO會(huì)對(duì)收集到的數(shù)據(jù)進(jìn)行自動(dòng)的分析，分析結(jié)束后我們便可以在后臺(tái)看到收集到的相關(guān)數(shù)據(jù)。分析數(shù)據(jù)前我們可以首先選擇對(duì)比的方式，我們可以對(duì)比不同用戶群體在使用同一個(gè)用戶界面時(shí)的結(jié)果和感受，也可以對(duì)比多個(gè)不同版本的用戶界面設(shè)計(jì)。除此以外，也能夠?qū)?shù)據(jù)做清洗，去除錄像效果較差的數(shù)據(jù)。

添加結(jié)果之后，FRO會(huì)以圖標(biāo)和表格的形式呈現(xiàn)數(shù)據(jù)，直觀對(duì)比不同版本的材料間，用戶在完成測(cè)試腳本期間表情的變化情況，如下圖示例中，可以看到新版網(wǎng)站用戶在尋找相關(guān)產(chǎn)品信息時(shí)，表情更加積極；用戶在瀏覽舊網(wǎng)站時(shí)，會(huì)有更多消極表情，而這些消極表情，主要是由于用戶瀏覽網(wǎng)站過(guò)程中的困惑，困難產(chǎn)生的，如用戶找不到相關(guān)信息時(shí)會(huì)不自覺(jué)的皺眉頭等。

眼動(dòng)分析中，除了傳統(tǒng)的熱區(qū)圖以外，我們還能對(duì)感興趣的頁(yè)面區(qū)域做劃分，了解用戶進(jìn)入當(dāng)前頁(yè)面瀏覽時(shí)第一次看到我們目標(biāo)區(qū)域花了多長(zhǎng)時(shí)間（首視時(shí)間），看相關(guān)區(qū)域一共花了多長(zhǎng)時(shí)間，以此可以定量對(duì)比不同版本的設(shè)計(jì)，對(duì)用戶產(chǎn)生的具體影響情況。

       限于篇幅，我們僅就面部表情和眼動(dòng)分析中的部分結(jié)果呈現(xiàn)做了展示，更多豐富的內(nèi)容可以進(jìn)入查看。也可聯(lián)系我們進(jìn)行免費(fèi)試用。

4.    應(yīng)用前景

      在豐富了FRO分析平臺(tái)從眼動(dòng)到表情識(shí)別的分析能力后，FRO的應(yīng)用方向迎來(lái)了更多的想象空間，除了傳統(tǒng)的一些用戶體驗(yàn)相關(guān)的視頻或者圖片素材的測(cè)試外，還能對(duì)一些概念原型做相關(guān)評(píng)估，包括但不限于如下內(nèi)容：網(wǎng)頁(yè)網(wǎng)站的可用性評(píng)估、廣告創(chuàng)意評(píng)估、圖片材料評(píng)估、產(chǎn)品貨架測(cè)試、產(chǎn)品包裝測(cè)試、虛擬門店測(cè)試、行為心理研究、預(yù)告片評(píng)估、精神疾病評(píng)估等。

     FRO能使得以往需要耗費(fèi)數(shù)萬(wàn)元一次的線下眼動(dòng)、表情測(cè)試，以標(biāo)準(zhǔn)化的線上測(cè)試的形式呈現(xiàn)，用以往五分之一的價(jià)格，便能完成一次表情+眼動(dòng)的定量實(shí)驗(yàn)研究，特別是在疾病流行的當(dāng)下，能幫助客戶更加高效的開(kāi)展遠(yuǎn)程的用戶體驗(yàn)測(cè)試項(xiàng)目。

關(guān)注諾達(dá)思公眾號(hào)，獲取更多產(chǎn)品信息及學(xué)術(shù)文章！