本文要點(diǎn)：凝視方向（眼球運(yùn)動）、瞳孔大小和瞳孔光反射 （PLR） 的評估對于神經(jīng)學(xué)檢查和神經(jīng)科學(xué)研究至關(guān)重要，并且在重癥監(jiān)護(hù)到內(nèi)分泌學(xué)和藥物成癮，再到心臟病學(xué)和精神病學(xué)等各種臨床環(huán)境中，成為了強(qiáng)大的工具。然而，目前的床旁瞳孔測量通常是間歇性的、定性的、手動的，并且睜眼病例，限制了其在睡眠醫(yī)學(xué)、麻醉和重癥監(jiān)護(hù)中的應(yīng)用。本文將短波紅外 （SWIR， 900-1700 nm） 成像與圖像處理算法相結(jié)合，在閉上眼瞼后進(jìn)行快速 （~30 ms） 瞳孔測量和眼動追蹤。43名健康志愿者參加了兩項(xiàng)由可見光刺激或?qū)⒀矍蜻\(yùn)動引導(dǎo)至屏幕目標(biāo)的 PLR 實(shí)驗(yàn)。在一只眼睛閉上，另一只眼睛睜開的情況下同時進(jìn)行成像，作為基本實(shí)況。使用量化瞳孔區(qū)域周圍亮度變化的自定義方法或基于深度學(xué)習(xí) U-NET 的程序進(jìn)行數(shù)據(jù)分析。本文表明 SWIR 成像數(shù)據(jù)分析可以成功測量閉眼條件下刺激誘發(fā)的 PLR，揭示單個試驗(yàn)中的 PLR 事件和幾乎所有個體受試者的顯著 PLR，以及估計注視方向。基于神經(jīng)網(wǎng)絡(luò)的分析可以成功地使用閉眼 SWIR 數(shù)據(jù)來重建睜眼圖像的估計值并評估瞳孔大小。

活體成像

圖1. 睜眼和閉眼條件下的瞳孔光反射（PLR）評估

本文構(gòu)建并驗(yàn)證了一個實(shí)驗(yàn)裝置來評估 PLR（圖1a、b）。該設(shè)置包括一個下巴托、一個用于電磁輻射的紅外 （IR） LED 光源、攝像頭和一個用于提供可見光刺激的計算機(jī)屏幕。使用這種成像設(shè)置，可以進(jìn)行數(shù)小時的連續(xù)成像，因?yàn)檎彰鞯募t外曝光水平符合安全準(zhǔn)則，不會造成風(fēng)險。為了引發(fā) PLR，屏幕以大約 20 秒的間隔間歇性地呈現(xiàn)亮光刺激（持續(xù)時間 2 秒，眼睛附近 270 lux），首先，當(dāng)被試將目光向前時，該系統(tǒng)可以在睜眼條件下可靠地捕捉 PLR，使用 SWIR 相機(jī)捕獲的視頻數(shù)據(jù)中成熟的運(yùn)動估計算法 DLC 識別瞳孔邊界（圖1c）。接下來，本文開發(fā)了一種無需瞳孔分割即可工作的數(shù)據(jù)分析方法?；驹硎牵走吔绾椭車缒ぶg的對比允許在睜眼條件下進(jìn)行穩(wěn)健的分割。然而，預(yù)計在閉眼條件下的后續(xù)成像不一定會在瞳孔和周圍虹膜之間產(chǎn)生強(qiáng)烈的對比（即，不一定能觀察到清晰的瞳孔邊界）。為了解決這個問題，本文測量了固定圓圈內(nèi)的平均像素暗度，其中包括瞳孔和周圍光圈的區(qū)域（青色輪廓，圖1d）。當(dāng)瞳孔收縮時（例如，在 PLR 事件中），該固定圓圈內(nèi)的黑色像素面積減小，從而降低了圓圈中的平均像素暗度（圖1d，左）。

接下來，使用 SWIR 成像評估了閉眼條件下的 PLR。參與者在兩個實(shí)驗(yàn)過程中閉著一只眼睛，而另一只眼睛睜著。利用健康個體雙眼瞳孔動態(tài)的對稱性，本文將閉眼 SWIR 成像與用作地面實(shí)況的睜眼數(shù)據(jù)進(jìn)行了比較。圖 1e 顯示了從閉眼 SWIR 數(shù)據(jù)（使用如上所述的“固定圓暗度”方法）估計的瞳孔動力學(xué)的代表性軌跡，其中可以很容易地觀察到每個 PLR 事件周圍的偏轉(zhuǎn)。將閉眼 SWIR 數(shù)據(jù)估計值與地面實(shí)況開眼測量進(jìn)行比較（圖1e） 表明 SWIR 成像可以通過閉眼準(zhǔn)確捕捉 PLR 動態(tài)（圖1f） 并在具有不同虹膜顏色的參與者中表現(xiàn)良好（圖1g，h）。在整個數(shù)據(jù)集中，通過這種設(shè)置和參數(shù)，92.7% 的參與者可以揭示穩(wěn)健的 PLR（圖1f）。對于所有參與者，睜眼平均 PLR 事件時程和閉眼平均 PLR 事件時程之間的平均 Pearson 相關(guān)系數(shù)為 0.57 （范圍：-0.36 至 0.99，SD = 0.38），平均 R 平方值為 0.47 （范圍：0-0.98，SD：0.37）。

圖2. 對照實(shí)驗(yàn)表明閉眼成像克服了潛在的混雜因素的影響

接下來，本文通過照實(shí)驗(yàn)排除了幾個潛在的混雜因素（圖 2）。首先，驗(yàn)證了本文的估計方法反映了與實(shí)際瞳孔成像相關(guān)的信息，而不是那些時間前后被視覺刺激照亮的眼瞼的可能信息（即，確保固定圓圈黑暗的瞬間減少（解釋為較小的瞳孔）不僅僅反映更亮的眼瞼）。有幾個方面表明情況并非如此：（i）本文的 PLR 時間過程的形狀高度不對稱（急劇收縮后逐漸重新擴(kuò)張），而光刺激是“開-關(guān)”方波，（ii）PLR 效應(yīng)在光刺激終止后持續(xù)很長時間（可見光終止但瞳孔需要更長時間才能重新擴(kuò)張），以及（iii）同樣被可見光刺激照亮的對照前額區(qū)域無法預(yù)測瞳孔動態(tài)。此外，（iv）本文進(jìn)行了一項(xiàng)對照實(shí)驗(yàn)，其中屏障阻止任何來自屏幕的光線到達(dá)閉上的眼睛（圖 2a-d）。在本實(shí)驗(yàn)中，所有 8 名參與者的閉眼均觀察到了穩(wěn)健的平均 PLR 響應(yīng)（平均響應(yīng)見圖2e），表明照明的變化是由瞳孔收縮引起的。對于所有參與者，睜眼平均 PLR 事件時間過程與閉眼平均 PLR 時間過程之間的平均 Pearson 相關(guān)系數(shù)為 0.7（范圍：0.24–0.99，SD = 0.29），平均 R 平方值為0.56（范圍：0.06–0.99，SD：0.38）。經(jīng)過 Fisher 變換的所有參與者的 Pearson 系數(shù)與零之間的差異具有統(tǒng)計學(xué)意義（t(7)?=?3.85, p?=?0.006, 95% CI [0.48, 2.03]），R 平方值也具有統(tǒng)計學(xué)意義。因此，至關(guān)重要的是，即使閉眼且未暴露于光刺激，閉眼成像也可以檢測到強(qiáng)大的 PLR。其次，本文通過實(shí)證驗(yàn)證了直接和協(xié)同 PLR 反應(yīng)的幅度確實(shí)相似（如前所述，在 ~5% 以內(nèi)17），從而驗(yàn)證了本文以一只睜開的眼睛作為評估閉眼成像的基本事實(shí)的方法是足夠的（圖 2f）。由于參與者在屏障黑暗一側(cè)的眼睛沒有暴露在光線下，因此在實(shí)驗(yàn)中雙眼睜開時測量的瞳孔直徑可用于計算在相同條件下閉眼時測得的黑暗度變化的校準(zhǔn)函數(shù)。如圖 2g 所示，固定圈的黑暗度和瞳孔直徑高度相似并呈現(xiàn)線性相關(guān)性 (R2 = 0.96；圖 2h)。第三，本文驗(yàn)證了當(dāng)雙眼自然閉上時（圖 2i、j）也可以在閉眼條件下實(shí)現(xiàn)穩(wěn)健的 PLR 成像——無需用手指將眼睛閉上，這一過程可能會導(dǎo)致眼瞼拉伸并形成有利的成像條件。所有參與者（N = 6）在自然閉合和拉伸眼瞼時均表現(xiàn)出穩(wěn)健的 PLR 反應(yīng)。

圖3. 通過深度學(xué)習(xí)分析SWIR 數(shù)據(jù)進(jìn)行閉眼捕捉 PLR 動態(tài)

為了用數(shù)據(jù)分析來補(bǔ)充直觀的“固定圓圈暗度”方法，研究者們采用了基于深度學(xué)習(xí)的圖像處理方法來識別閉眼 SWIR 數(shù)據(jù)中的瞳孔動態(tài)。研究者們使用 U-NET 架構(gòu)訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)模型，其中包含睜眼和閉眼的圖像對（“訓(xùn)練數(shù)據(jù)”）。該模型的輸出（“測試數(shù)據(jù)”）僅基于閉眼的一組圖像，每張圖像代表眼睛睜開時的估計圖像，研究者們可以從中提取瞳孔大?。ㄒ院撩诪閱挝唬?。將閉眼數(shù)據(jù)（或控制前額區(qū)域）得出的瞳孔大小模型估計值與地面真實(shí)睜眼數(shù)據(jù)進(jìn)行比較。圖 3a展示了該模型基于閉眼 SWIR 數(shù)據(jù)成功估計瞳孔大小的代表性示例。定量分析證實(shí)了 PLR 事件周圍的成功估計（圖 3b）。實(shí)況與閉眼估計值之間的中位 MAE 約為 0.40 毫米，明顯低于實(shí)況與基于對照圖像的估計值之間的 MAE，0.52 毫米，t(40) = 4.32，p = 0.0001，95% CI [0.06, 0.17]，通過配對雙尾 t 檢驗(yàn)（圖 3c）。結(jié)果表明，通過使用閉眼圖像中對照區(qū)域無法獲得的信息（例如瞳孔變化），神經(jīng)網(wǎng)絡(luò)預(yù)測得到了顯著改善。

圖4. SWIR數(shù)據(jù)的 DLC 分析可捕捉閉眼時的注視方向

最后，研究者們越過了瞳孔測量法，進(jìn)行了一項(xiàng)單獨(dú)的實(shí)驗(yàn)，研究了參與者注視九個屏幕位置時的凝視方向估計，可以從閉眼 SWIR 數(shù)據(jù)中成功提取凝視方向（圖 4a）。為了量化閉眼條件下凝視方向信息的精度，研究者們將瞳孔位置的真實(shí)信息（從應(yīng)用于睜眼數(shù)據(jù)的 DLC 模型獲得的坐標(biāo)，方法）與基于閉眼 SWIR 數(shù)據(jù)的瞳孔位置坐標(biāo)（從訓(xùn)練用于識別眼瞼上黑眼圈的 DLC 模型獲得的坐標(biāo)）進(jìn)行了比較。計算了每只眼睛相對于注視十字準(zhǔn)線時的瞳孔位置的相對瞳孔位置，作為 (0,0) 原點(diǎn)。圖 4b 展示了單個參與者的代表性示例，其中可以很容易地在閉眼數(shù)據(jù)中檢測到朝向目標(biāo)的水平和垂直眼球運(yùn)動。圖 4c 顯示了此參與者的睜眼真實(shí)情況與閉眼估計之間的相對差異分布，分別為垂直偏移（y 軸）和水平偏移（x 軸）。在所有參與者（n = 40）中，瞳孔位置估計的中位 MAE 分別為垂直和水平偏移 1.4 毫米和 3.4 毫米。最后，研究者們根據(jù)設(shè)置的幾何形狀，將眼睛圖像平面中的 2D 偏移轉(zhuǎn)換為視角度 (DVA）。這表明，研究者們的凝視方向估計具有典型的準(zhǔn)確度，分別反映了垂直軸和水平軸的8.9° 和 14° 的誤差（圖 4d、e）。通過將真實(shí)數(shù)據(jù)（閉眼和睜眼的同時數(shù)據(jù)）與替代數(shù)據(jù)（閉眼數(shù)據(jù)與睜眼數(shù)據(jù)，其中100,000 個實(shí)驗(yàn)片段隨時間隨機(jī)打亂）進(jìn)行比較，確定了該估計準(zhǔn)確度的統(tǒng)計顯著性。研究者們發(fā)現(xiàn)，在混洗控制數(shù)據(jù)中，凝視方向估計比偶然預(yù)期的準(zhǔn)確度明顯更高 (p?=?0.000005, df?=?100,038)。

本文利用一種系統(tǒng)和分析方法，結(jié)合 SWIR 成像系統(tǒng)和專用的數(shù)據(jù)分析方法，通過閉眼非接觸式監(jiān)測瞳孔大小和注視方向 (眼球運(yùn)動) 的快速 (~30 毫秒) 動態(tài)。實(shí)驗(yàn)重點(diǎn)關(guān)注健康參與者睜開一只眼 (作為基本事實(shí)) 而閉上另一只眼時對可見光刺激的 PLR 反應(yīng)。使用當(dāng)前設(shè)置和參數(shù)作為初步概念驗(yàn)證，研究者們已經(jīng)可以證明“固定圈暗度”分析方法可以在單次試驗(yàn)數(shù)據(jù)和絕大多數(shù) (92.7%) 個體受試者中穩(wěn)健地揭示 PLR (圖 1)。此外，基于深度學(xué)習(xí)的方法可以可靠地預(yù)測閉眼時的 PLR 動態(tài) (圖 3)，并且可以估計閉眼時的注視方向，誤差為 8.9–14° DVA (圖 4)。目前，本研究報道的方法是實(shí)現(xiàn)閉眼時快速跟蹤瞳孔大小和注視方向的非接觸式方法，在研究和臨床護(hù)理方面具有巨大潛力。PLR 具有強(qiáng)大的刻板動態(tài)，是驗(yàn)證這項(xiàng)技術(shù)的理想環(huán)境。該研究方法可以進(jìn)一步開發(fā)，以跟蹤許多閉眼領(lǐng)域（包括睡眠、麻醉、重癥監(jiān)護(hù)等）中瞳孔大小和眼球運(yùn)動的持續(xù)變化。

參考文獻(xiàn)

Ben Barak-Dror, O., Hadad, B., Barhum, H. et al. Touchless short-wave infrared imaging for dynamic rapid pupillometry and gaze estimation in closed eyes. Commun Med 4, 157 (2024).