如何通過面部表情識(shí)別攻擊性駕駛行為?
盡管交通事故的原因很復(fù)雜,但主要原因是攻擊性駕駛行為。而其中,駕駛員的情緒狀態(tài)與駕駛行為密切相關(guān)。
司機(jī)在不同駕駛行為下的情緒是如何變化的?
能否通過情緒波動(dòng)提前識(shí)別危險(xiǎn)的駕駛行為?
來自東南大學(xué)的研究團(tuán)隊(duì)就探討了網(wǎng)約車司機(jī)在攻擊性駕駛和正常駕駛時(shí)的情緒變化模式(Ma et al.,2024),為研究情緒與駕駛行為之間的關(guān)系提供了一種新的途徑,為高級(jí)輔助駕駛系統(tǒng)提高駕駛安全性提供了駕駛員情緒感知和情緒波動(dòng)檢測(cè)的重要參考和指導(dǎo)。
情緒與駕駛行為
交通系統(tǒng)由道路使用者、車輛和道路組成,盡管交通事故的原因很復(fù)雜,但主要原因之一是攻擊性駕駛行為。影響駕駛行為的最重要因素之一是駕駛員的情緒狀態(tài)。
駕駛車輛是一項(xiàng)復(fù)雜的任務(wù),駕駛員可能會(huì)因周圍環(huán)境的刺激而分心。駕駛員的情緒狀態(tài)可以直接或間接地決定其駕駛行為,由此產(chǎn)生積極或消極的影響。過往大多數(shù)研究都在探究特定負(fù)面情緒,如憤怒、焦慮、恐懼等對(duì)駕駛行為的影響。憤怒可能導(dǎo)致駕駛表現(xiàn)下降,并導(dǎo)致駕駛員超速行駛或其他不安全駕駛行為。例如有研究表明,當(dāng)司機(jī)生氣時(shí),他們傾向于更晚、更用力地踩剎車(Zhang et al., 2016);對(duì)自然駕駛狀態(tài)下的數(shù)據(jù)分析表明,由憤怒引起的危險(xiǎn)駕駛通常是故意的,而不是由于認(rèn)知錯(cuò)誤,并且隨著駕駛員憤怒強(qiáng)度的增加,會(huì)發(fā)生更多的駕駛違規(guī)行為(Precht et al, 2017)。
一般來說,情緒可以分為兩個(gè)維度:(1)效價(jià)(valence),表明情緒狀態(tài)是積極的還是消極的;(2)喚醒(arousal),表明主體是活躍的還是不活躍的。相較于關(guān)注獨(dú)立的離散情緒,從情緒的維度角度更能從根本上解釋情緒和行為之間的關(guān)系。Taubman-Ben-Ari(2012)研究表明,高喚醒的積極情緒會(huì)促進(jìn)魯莽駕駛,而低喚醒的積極情緒則相反。這表明情緒的兩個(gè)維度對(duì)駕駛行為的影響是不同的。
如何測(cè)量駕駛行為中的情緒變化?
基于不同情緒可引起不同生理變化的理論,生理信號(hào)可用于情緒識(shí)別。但是采集生理數(shù)據(jù)的設(shè)備往往需要與駕駛員接觸,從而致使分心,進(jìn)而影響駕駛行為。除了生理信息外,面部表情等行為數(shù)據(jù)也可用于識(shí)別駕駛員的情緒(Xiao et al ., 2022)。有研究將面部表情數(shù)據(jù)與生理信號(hào)相結(jié)合,以識(shí)別駕駛員的實(shí)際情緒狀態(tài)(Oh et al., 2021)。與獲取生理信號(hào)的復(fù)雜過程相比,面部表情數(shù)據(jù)的獲取只需要簡(jiǎn)單的儀器。此外,非接觸式的測(cè)量方法減少了因觸碰而產(chǎn)生的潛在干擾。因此,通過面部表情來檢測(cè)駕駛員的情緒狀態(tài)具有顯著的優(yōu)勢(shì)。
此外,大多數(shù)研究都基于特定的靜態(tài)情緒,缺乏對(duì)情緒波動(dòng)的考慮。而在現(xiàn)實(shí)情景下,駕駛員的情緒是根據(jù)刺激而不斷變化的,因此僅僅通過自我報(bào)告和情緒誘導(dǎo)的方法測(cè)量情緒變化都存在過于主觀的的缺陷。
因此,本研究引入一個(gè)新的框架來分析不同駕駛行為的情緒波動(dòng)差異。首先考慮情緒的不穩(wěn)定性,分析了情緒波動(dòng)對(duì)駕駛行為的影響;其次,對(duì)情緒的描述關(guān)注兩個(gè)維度,即效價(jià)和喚醒度。通過分析駕駛員在真實(shí)駕駛過程中的面部表情視頻,得出這兩個(gè)指標(biāo)數(shù)據(jù),構(gòu)成實(shí)時(shí)、真實(shí)的數(shù)據(jù)集。最后,基于聚類方法得到的不同駕駛行為的情緒變化模式。這些模式可以用于在線監(jiān)測(cè)司機(jī)的情緒變化,從而提供給司機(jī)必要和及時(shí)的警告,減輕與情緒相關(guān)風(fēng)險(xiǎn)行為。
網(wǎng)約車司機(jī)的真實(shí)駕駛實(shí)驗(yàn)
實(shí)驗(yàn)共招募16名網(wǎng)約車司機(jī),平均年齡為36.38歲,駕駛經(jīng)驗(yàn)范圍為4 ~ 25年。
實(shí)驗(yàn)選擇在駕駛員的正常工作時(shí)間進(jìn)行測(cè)試,有利于駕駛員迅速進(jìn)入正常的駕駛狀態(tài)。實(shí)驗(yàn)設(shè)備包括VBOX- IISX10 GPS和雙攝像頭(前置和后置),分別安裝在車輛前儀表盤和擋風(fēng)玻璃上(圖1),以測(cè)量高精度的車輛運(yùn)動(dòng)學(xué)數(shù)據(jù),如位置、速度、加速度等,以及記錄司機(jī)的面部表情。使用諾達(dá)思的面部表情分析系統(tǒng)(FaceReader)分析司機(jī)的面部表情以獲得情緒數(shù)據(jù)(Iridiastadi, 2019)。
圖1 數(shù)據(jù)采集設(shè)置
FaceReader在檢測(cè)到面部后,會(huì)基于面部動(dòng)作編碼系統(tǒng)(Facial Action Coding System,FACS)和活動(dòng)外觀模型(Active Appearance Model,AAM),描述面部500多個(gè)關(guān)鍵點(diǎn)來生成準(zhǔn)確的面部三維模型。最終使用訓(xùn)練好的人工神經(jīng)網(wǎng)絡(luò)對(duì)面部表情進(jìn)行分類。
使用FaceReader分析面部表情,可以獲得六種基本情緒:快樂、悲傷、生氣、驚訝、害怕和厭惡,以及中性情緒。平均準(zhǔn)確率為99%。此外,FaceReader可以測(cè)量20個(gè)最常見的面部動(dòng)作單位(Action Unit, AU),以0 ~ 1的取值表示其強(qiáng)度,以此獲得實(shí)時(shí)效價(jià)和喚醒度數(shù)據(jù)。效價(jià)的計(jì)算為快樂情緒強(qiáng)度減去強(qiáng)度最高的負(fù)面情緒強(qiáng)度,喚醒度的計(jì)算基于表1所示的20個(gè)動(dòng)作單元的激活值。
表1
對(duì)于攻擊性駕駛行為的識(shí)別,參考過往研究使用VBOX采集的車輛運(yùn)動(dòng)學(xué)數(shù)據(jù)中的速度、縱向加速度(急加速或急制動(dòng))和橫向加速度(急變車道和急轉(zhuǎn)彎)的閾值來檢測(cè)。
由于車輛運(yùn)動(dòng)學(xué)數(shù)據(jù)和情緒數(shù)據(jù)采用相同的采樣頻率,因此可以基于時(shí)間戳對(duì)兩類數(shù)據(jù)進(jìn)行匹配。
整個(gè)研究以圖2所示分析框架進(jìn)行,用于分析攻擊性駕駛和正常駕駛下情緒波動(dòng)的差異。首先,該框架使用動(dòng)態(tài)加速(橫向和縱向)閾值來識(shí)別攻擊性駕駛行為;然后,通過分析攻擊性駕駛行為的情緒數(shù)據(jù)特征來確定時(shí)間窗口;最后,通過聚類分析不同駕駛行為的情緒效價(jià)和喚醒波動(dòng)。
圖2 用于分析情緒波動(dòng)的框架
消極效價(jià)與高喚醒度增加攻擊性駕駛行為
(一)攻擊性駕駛行為識(shí)別結(jié)果
研究在16名司機(jī)中發(fā)現(xiàn)了303種攻擊性駕駛行為。提取其發(fā)生前后15s的數(shù)據(jù),為了避免數(shù)據(jù)重復(fù),兩個(gè)提取的攻擊性駕駛樣本至少間隔一分鐘。結(jié)果如圖3,可以看到基于橫向和縱向加速度閾值的攻擊性駕駛和正常駕駛的識(shí)別結(jié)果。
圖3 駕駛員在一個(gè)工作日的攻擊性和正常駕駛行為識(shí)別
(二)攻擊駕駛行為的情緒波動(dòng)時(shí)間窗
以攻擊性駕駛前后15 s為情緒波動(dòng)序列長(zhǎng)度進(jìn)行分析,可得以下結(jié)果(圖4):從攻擊性駕駛行為發(fā)生前的第6秒開始,平均喚醒度持續(xù)上升,直到攻擊性駕駛行為發(fā)生時(shí)達(dá)到最高值;攻擊性駕駛行為發(fā)生后,平均喚醒度呈下降趨勢(shì)。這表明,情緒喚醒的持續(xù)增加是一種心理變化,往往會(huì)促進(jìn)攻擊性駕駛。攻擊性駕駛發(fā)生后,心理狀態(tài)逐漸平靜下來。此外,司機(jī)的情緒效價(jià)在攻擊性駕駛前后的6秒內(nèi)波動(dòng)劇烈。因此,本研究結(jié)果提示攻擊性駕駛發(fā)生前6秒的情緒波動(dòng)與攻擊性駕駛的發(fā)生有著本質(zhì)的關(guān)系。
圖4 攻擊性駕駛行為中情緒平均值
(三)攻擊性和正常駕駛時(shí)的情緒差異
對(duì)效價(jià)和喚醒度進(jìn)行聚類分析,將效價(jià)波動(dòng)分為積極、平靜和消極,喚醒波動(dòng)分為高度和低度。結(jié)果表明,在正常駕駛和攻擊性駕駛中,駕駛員的情緒變化存在差異。當(dāng)駕駛員處于消極情緒效價(jià)時(shí),其在攻擊性駕駛行為前中后期的平均消極程度高于正常駕駛的,且當(dāng)處于積極情緒效價(jià)時(shí),駕駛員在攻擊性駕駛行為前中后期的平均積極程度低于正常駕駛的。
這表明情緒效價(jià)對(duì)駕駛行為有影響。較低的消極效價(jià)增加了攻擊性駕駛行為的可能性,即負(fù)面情緒會(huì)促進(jìn)攻擊性駕駛;較高的積極效價(jià)降低了駕駛員攻擊性駕駛意圖的可能性。這與過往研究結(jié)果一致。然而,在積極情緒對(duì)駕駛行為的影響方面,過往研究存在不一致的觀點(diǎn)。本研究結(jié)果表明,積極效價(jià)的強(qiáng)度對(duì)駕駛行為產(chǎn)生不同的影響。在較高的積極效價(jià)強(qiáng)度下,駕駛員可能表現(xiàn)出更高的內(nèi)在動(dòng)機(jī)和更高的安全意識(shí)。然而,積極情緒對(duì)駕駛行為影響的內(nèi)在機(jī)制有待進(jìn)一步探索。
圖5 不同駕駛行為的效價(jià)和喚醒度聚類結(jié)果
(a/b)效價(jià)(攻擊性駕駛/正常駕駛),(c/d)喚醒度(攻擊性駕駛/正常駕駛)
圖5顯示了駕駛員在攻擊性駕駛和正常駕駛前后6秒情緒波動(dòng)時(shí)間窗內(nèi)的效價(jià)與喚醒度變化。結(jié)果顯示,駕駛員在積極、消極和平靜狀態(tài)下都可能表現(xiàn)出攻擊性駕駛行為。與正常駕駛相比,攻擊性駕駛行為發(fā)生前6秒內(nèi)駕駛員情緒效價(jià)波動(dòng)更大,尤其是處于積極情緒狀態(tài)時(shí)(圖5a,圖5b),即情緒不穩(wěn)定會(huì)增加司機(jī)攻擊性駕駛的可能性。攻擊性駕駛行為的喚醒度均高于正常駕駛時(shí)的喚醒度(圖5c,圖5d),即高喚醒度會(huì)增加攻擊性駕駛的可能性。結(jié)果均表明,即使是相同的效價(jià)值和喚醒度也會(huì)對(duì)駕駛員的駕駛行為產(chǎn)生不同的影響,因此只關(guān)注靜態(tài)情緒的研究是不合理的,必須考慮動(dòng)態(tài)情緒對(duì)駕駛的影響。
關(guān)注動(dòng)態(tài)情緒波動(dòng)以準(zhǔn)確識(shí)別駕駛行為意圖
本研究從微觀角度分析了駕駛員情緒波動(dòng)與駕駛行為之間的關(guān)系,獲得了攻擊性駕駛和正常駕駛的情緒變化模式。通過獲取真實(shí)駕駛情景下的駕駛數(shù)據(jù)和面部表情數(shù)據(jù),獲得了更真實(shí)可靠的情緒數(shù)據(jù)。通過分析攻擊性駕駛行為發(fā)生前、中、后的情緒數(shù)據(jù),發(fā)現(xiàn)攻擊性駕駛行為發(fā)生前6秒駕駛員情緒變化與攻擊性駕駛行為發(fā)生的相關(guān)性更高。此外,與正常駕駛相比,攻擊性駕駛時(shí)駕駛員情緒效價(jià)波動(dòng)更大,處于更負(fù)性的情緒狀態(tài),且情緒喚醒度更高。
未來研究應(yīng)考慮更多的測(cè)試場(chǎng)景以及更多的被試,提供更大的樣本,從具體駕駛事件、駕駛員性別和個(gè)體差異的角度研究情緒波動(dòng)與攻擊性駕駛之間的關(guān)系,以及設(shè)計(jì)更精準(zhǔn)的實(shí)驗(yàn)來探究環(huán)境、情緒與駕駛行為之間的因果關(guān)系。
本研究結(jié)果對(duì)駕駛員行為監(jiān)測(cè)和駕駛輔助預(yù)警系統(tǒng)的改進(jìn)具有重要的理論價(jià)值和現(xiàn)實(shí)意義。這為駕駛員情緒狀態(tài)檢測(cè)提供了一種新的方法??紤]駕駛員情緒的動(dòng)態(tài)波動(dòng),可以更準(zhǔn)確地識(shí)別駕駛員的駕駛行為意圖。通過動(dòng)態(tài)時(shí)間窗實(shí)時(shí)檢測(cè)駕駛員的情緒波動(dòng)并提前警告駕駛員,可以減輕潛在的危險(xiǎn)駕駛,從而提高道路安全。此外,駕駛員的情緒波動(dòng)水平可以作為指標(biāo)納入JZ考試,對(duì)容易出現(xiàn)不良情緒波動(dòng)的駕駛員進(jìn)行培訓(xùn)和指導(dǎo)。
參考文獻(xiàn)
Iridiastadi, H. (2019). Fatigue-related differences in human facial dimensions based on static images. IOP Conf. Series: Mater. Sci. Eng. 528.
Ma, Y., Xing, Y., Chen, S., & Wu, Y. (2024). Investigating emotion fluctuations in driving behaviors of online car-hailing drivers using naturalistic driving data. Travel Behaviour and Society, 36, 100819.
Oh, G., Ryu, J., Jeong, E., Yang, J. H., Hwang, S., Lee, S., & Lim, S. (2021). Drer: Deep learning–based driver’s real emotion recognizer. Sensors, 21(6), 2166.
Precht, L., Keinath, A., & Krems, J. F. (2017). Effects of driving anger on driver behavior–Results from naturalistic driving data. Transportation research part F: traffic psychology and behaviour, 45, 75-92.
Taubman-Ben-Ari, O. (2012). The effects of positive emotion priming on self-reported reckless driving. Accident Analysis & Prevention, 45, 718-725.
Xiao, H., Li, W., Zeng, G., Wu, Y., Xue, J., Zhang, J., ... & Guo, G. (2022). On-road driver emotion recognition using facial expression. Applied Sciences, 12(2), 807.
Zhang, T., Chan, A. H., Ba, Y., & Zhang, W. (2016). Situational driving anger, driving performance and allocation of visual attention. Transportation research part F: traffic psychology and behaviour, 42, 376-388.
相關(guān)產(chǎn)品
免責(zé)聲明
- 凡本網(wǎng)注明“來源:化工儀器網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:化工儀器網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。
- 本網(wǎng)轉(zhuǎn)載并注明自其他來源(非化工儀器網(wǎng))的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來源,并自負(fù)版權(quán)等法律責(zé)任。
- 如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。