【導(dǎo)讀】2016年被廣泛認(rèn)為是VR元年，隨著VR智能眼鏡、VR跑步機(jī)、VR攝影機(jī)等等VR虛擬現(xiàn)實(shí)產(chǎn)品相繼問世，眼動(dòng)追蹤等相關(guān)技術(shù)開始進(jìn)入高速發(fā)展階段。這其中也能為用戶帶來更為震撼的視覺感受，隨著眼鏡移動(dòng)而進(jìn)行場景的變換，這就像是我們自己的眼睛一樣，那這些VR產(chǎn)品是如何實(shí)現(xiàn)眼球追蹤技術(shù)的呢？本文介紹兩種MEMS技術(shù)在眼動(dòng)追蹤中的應(yīng)用。
什么是眼動(dòng)追蹤
眼動(dòng)追蹤（Eye Tracking），是指通過測量眼睛的注視點(diǎn)的位置或者眼球相對(duì)頭部的運(yùn)動(dòng)而實(shí)現(xiàn)對(duì)眼球運(yùn)動(dòng)的追蹤。眼動(dòng)儀是一種能夠跟蹤測量眼球位置及眼球運(yùn)動(dòng)信息的一種設(shè)備，在視覺系統(tǒng)、心理學(xué)、認(rèn)知語言學(xué)的研究中有廣泛的應(yīng)用。
移動(dòng)端的眼動(dòng)追蹤技術(shù)也開始發(fā)展，蘋果申請(qǐng)了若干相關(guān)專利，通過“該技術(shù)可以根據(jù)用戶視線延遲顯示屏操作的執(zhí)行，還可以改變用戶界面，生成并執(zhí)行相關(guān)信息。例如，當(dāng)用戶輸入文本時(shí)如果出現(xiàn)拼寫錯(cuò)誤，且眼睛正在注視錯(cuò)詞，系統(tǒng)將自動(dòng)修正；如果設(shè)備發(fā)現(xiàn)用戶的視線沒有注視錯(cuò)詞，系統(tǒng)將延遲修正。蘋果認(rèn)為該功能可以讓操作更直觀。”（該描述來自蘋果2012年9月提交的專利申請(qǐng)）
LG和三星也曾推出過具有眼動(dòng)追蹤技術(shù)的手機(jī)。如三星Galaxy SIII就可以通過檢測用戶的眼睛狀態(tài)來控制鎖屏的時(shí)間，同時(shí)眼球還可以來控制頁面的上下滾動(dòng)。
無創(chuàng)眼動(dòng)追蹤
一種比較常用的無創(chuàng)眼動(dòng)追蹤方式為視頻/圖像捕捉。攝像頭拍攝得到眼部圖片，具有一些可以提取的特征，經(jīng)過某些圖像處理的算法提取出這些特征參數(shù)，從而確定眼球位置，用于判定人眼注視的方向和目標(biāo)，計(jì)算結(jié)果由處理器CPU反應(yīng)于你所使用的VR/AR設(shè)備上。
根據(jù)7invensun的介紹，眼圖錄像法和角膜反射法都屬于該類方法。
眼圖錄像法主要是通過辨認(rèn)眼球的特征如瞳孔外形、異色邊緣（虹膜、虹膜邊界）、近距指向光源的角膜反射來實(shí)現(xiàn)眼動(dòng)跟蹤。根據(jù)云視頻的宣傳，其所提到的能夠讀懂人“眼神意識(shí)”的視頻技術(shù)，就是基于此項(xiàng)技術(shù)。然而虹膜識(shí)別+瞳孔運(yùn)動(dòng)識(shí)別雖然可以捕捉人眼的動(dòng)作但卻無法檢測到人眼的注視點(diǎn)，這才是最硬的傷！
首先虹膜識(shí)別和瞳孔識(shí)別都是基于一個(gè)平面的，要測量注視點(diǎn)就必須保證頭部是固定的，讓眼睛同頭和注視點(diǎn)的相對(duì)位置一致才可以。人眼作為人體最精細(xì)的器官之一，注視點(diǎn)轉(zhuǎn)移僅需要一個(gè)微小的動(dòng)作，而人類僅僅因?yàn)楹粑斐傻念^部動(dòng)作就足以讓測量誤差造成定位偏移。然后我們?cè)偻艘蝗f步講，即使頭部是固定的，對(duì)于虹膜的識(shí)別也沒那么容易，歐洲人的人眼特征較為明顯，識(shí)別相對(duì)容易，但也不是一個(gè)家用普通攝像頭就可以判斷眼球特征的，而亞洲人瞳孔多為深褐色，人眼特征較弱，普通攝像頭幾乎無法捕捉。因此從云視鏈的眼球追蹤技術(shù)的出發(fā)點(diǎn)來說，通過眼神就能推送出你想要的信息是不可能的了！
角膜反射法是目前眼球追蹤領(lǐng)域廣泛認(rèn)可并應(yīng)用的方法，主要通過攝像頭捕捉人眼特征，通過算法建立人眼二維或者三維注視點(diǎn)估計(jì)模型，通過算法判斷人眼動(dòng)作和注視點(diǎn)。眼球的特殊構(gòu)造會(huì)形成一到多個(gè)浦肯野像，基于這種方法的眼球追蹤一般定位第一浦肯野像，通過定標(biāo)步驟，可以測量出處在垂直平面現(xiàn)實(shí)定標(biāo)點(diǎn)表面上人眼的注視點(diǎn)。
——《云視鏈背后的“讀眼”技術(shù)，并不那么好實(shí)現(xiàn)》
有創(chuàng)眼動(dòng)追蹤
有創(chuàng)手段包括在眼睛中埋置眼動(dòng)測定線圈或使用微電極描記眼電圖。眼電圖（electrooculography ）檢測方式通過電極測量當(dāng)眼球移動(dòng)時(shí)的電位變化，其原理是眼球可以被考慮為偶極子。其優(yōu)點(diǎn)是成本低，但普及型差。
圖示為眼電圖方法及收集信號(hào)示意圖
MEMS技術(shù)與眼動(dòng)追蹤相結(jié)合
技術(shù)優(yōu)點(diǎn)
MEMS（Micro electro mechanical systems，微機(jī)電系統(tǒng)/微機(jī)械/微系統(tǒng)），是采用微電子技術(shù)、集成電路技術(shù)及其加工工藝制作而成的微米級(jí)別機(jī)械器件。MEMS往往會(huì)采用常見的機(jī)械零件和工具所對(duì)應(yīng)微觀模擬元件，例如它們可能包含通道、孔、懸臂、膜、腔以及其它結(jié)構(gòu)。
MEMS傳感器、驅(qū)動(dòng)器同樣可以實(shí)現(xiàn)眼球追蹤功能，并且具有極大的發(fā)展?jié)摿?。MEMS器件的特征長度從1毫米到1微米，相比之下頭發(fā)的直徑大約是50微米。MEMS器件主要優(yōu)點(diǎn)是體積小、重量輕、功耗低、可靠性高、靈敏度高、易于集成等，是微型傳感器/驅(qū)動(dòng)器的主力軍，正在逐漸取代傳統(tǒng)機(jī)械器件。
其成本有可能通過工藝優(yōu)化、批量生產(chǎn)大幅度降低，主要原因是由于MEMS生產(chǎn)不同于傳統(tǒng)加工制造生產(chǎn)，MEMS采用類似于集成電路的制造工藝，由于產(chǎn)品體積小，在一個(gè)二十厘米的硅片上可一次性生產(chǎn)出上千器件。若單個(gè)MEMS傳感器芯片面積為5mmx5mm （也有大量MEMS傳感器可以小于毫米尺度），則一個(gè)8英寸(直徑20厘米)硅片(wafer)可切割出約1000個(gè)MEMS傳感器芯片，分?jǐn)偟矫總€(gè)芯片的成本則可大幅度降低。由于具有上述優(yōu)勢，基于MEMS的眼動(dòng)追蹤系統(tǒng)在AR/AR系統(tǒng)中具有不可比擬的優(yōu)勢，也將成為VR/AR裝置小型化、低成本化的重要資本。
圖示為8英寸硅片上的MEMS芯片（5mmX5mm）示意圖
圖示為硅片，其上的重復(fù)單元可稱為芯片（chip 或die），每個(gè)重復(fù)單元可含有若干MEMS傳感器，甚至包含相應(yīng)的集成電路。
技術(shù)原理（蘋果專利及滑鐵盧大學(xué)成果）
下面介紹MEMS眼球追蹤技術(shù)一項(xiàng)來自蘋果專利（微型眼動(dòng)追蹤系統(tǒng)與方法US 20150238079 A1），該蘋果專利為可使用與移動(dòng)端的微型眼動(dòng)追蹤系統(tǒng)與方法。其專利介紹如下：
本發(fā)明公開了一種微型眼動(dòng)跟蹤系統(tǒng)，包括一個(gè)攝像頭（應(yīng)是與MEMS大小相近的微型攝像機(jī)），一個(gè)微機(jī)電系統(tǒng)（MEMS）設(shè)備和處理器。相機(jī)拍攝眼睛的圖像，MEMS裝置控制相機(jī)的視角方向，處理器接收來自相機(jī)的眼睛的圖像，確定相機(jī)圖像內(nèi)的眼睛的位置，并控制MEMS以保持相機(jī)指向眼睛。
該方法首先由相機(jī)拍攝獲得眼睛的圖像，然后處理器通過該圖像確定圖像內(nèi)眼睛的位置，并控制MEMS以保持相機(jī)指向眼睛。在另一個(gè)實(shí)例中，該微機(jī)電系統(tǒng)裝置控制相機(jī)的可調(diào)焦距。首先由該處理器確定眼睛圖像的聚焦?fàn)顩r，再通過MEMS設(shè)備調(diào)整攝像機(jī)以保持所需的聚焦條件。在所提及的第三個(gè)實(shí)例中，該MEMS設(shè)備可以控制相機(jī)變焦。該處理器確定眼睛在整體圖像中的大小，然后通過MEMS設(shè)備控制攝像機(jī)以保持眼睛圖像在整體相機(jī)圖像內(nèi)的特定大小。
圖示為蘋果基于MEMS的眼動(dòng)追蹤示意圖
由于MEMS驅(qū)動(dòng)器極?。蓮?.1微米至幾個(gè)微米），可以直接應(yīng)用于手機(jī)等移動(dòng)端的微型眼動(dòng)追蹤系統(tǒng)中。上圖展示了一個(gè)采用MEMS驅(qū)動(dòng)器對(duì)攝像頭進(jìn)行移動(dòng)/轉(zhuǎn)動(dòng)來控制拍攝的例子。主要原理為采用兩個(gè)MEMS驅(qū)動(dòng)器（1405a和1405b）連接平臺(tái)（底座）和攝像機(jī)及鏡頭。兩個(gè)MEMS驅(qū)動(dòng)器中，一個(gè)連接在攝像機(jī)一側(cè)來產(chǎn)生水平方向的移動(dòng)，另一個(gè)連接在底部或頂部來產(chǎn)生垂直方向的移動(dòng)。
專利中并沒有特地指出采用何種MEMS驅(qū)動(dòng)器，專利更側(cè)重于構(gòu)建這樣一個(gè)系統(tǒng)。實(shí)際MEMS中有非常多的方法可以實(shí)現(xiàn)伸縮。MEMS常用的伸縮結(jié)構(gòu)有彈簧spring，spring大部分屬于被動(dòng)器件。主動(dòng)伸縮的話可以通過熱膨脹（加熱之后物體膨脹，例子有雙晶片）、壓電效應(yīng)（加電之后產(chǎn)生力以及相應(yīng)的位移）或靜電驅(qū)動(dòng)（通過靜電力產(chǎn)生位移）。
MEMS的彈簧結(jié)構(gòu)
MEMS中一些主動(dòng)位移結(jié)構(gòu)
另一項(xiàng)來自加拿大滑鐵盧大學(xué)（N.Sarkar：SCANNING DIFFRACTIVE OPTIC ELEMENTS FOR UNTETHERED EYETRACKING MICROSYSTEMS）的MEMS眼動(dòng)追蹤技術(shù)則是完全基于MEMS器件的方案，取消了體積較大的攝像頭。
眼睛與眼角膜具有不同的直徑，這是該設(shè)計(jì)的原理基礎(chǔ)。該方案通過采用下圖所示的簡單設(shè)計(jì)從而實(shí)現(xiàn)在尺寸、價(jià)格、功率、帶寬、準(zhǔn)確性上的改進(jìn)。
該設(shè)計(jì)使用一束低輻射（1-10μW/cm2），紅外（850nm）、發(fā)散（50mrad）的光束。光束從激光源發(fā)出后射向掃描儀scanner，掃描儀scanner具有一個(gè)平面，功能類似于鏡子，將入射光束反射。再由掃描儀scanner操控該光束射向眼角膜，然后從角膜表面反射（在掠射角從60?到90?）到一個(gè)光電二極管。光電二極管的作用為接受光信號(hào)，產(chǎn)生電信號(hào)。輸出電信號(hào)隨輸入光強(qiáng)增大而增大。隨著眼睛的轉(zhuǎn)動(dòng)，掃描儀scanner控制光束追蹤眼角膜上能夠使光電二極管接受到最大信號(hào)的點(diǎn)。
值得注意的是，其光電二極管的表面可作為一個(gè)空間濾波器，使其不需要大面積平坦的微鏡。相應(yīng)地，該設(shè)計(jì)使用了一個(gè)300微米大小的掃描儀（Fresnel zone plate scanner）。其支撐anchor可以實(shí)現(xiàn)掃描儀scanner兩個(gè)自由度（藍(lán)色支撐以及紅色支撐均可旋轉(zhuǎn)）的偏轉(zhuǎn)，可以完成光束的較大范圍操縱。
下圖為另一種同樣具有兩個(gè)自由度的掃描儀scanner，其工作原理與上圖類似，通過支撐anchor的旋轉(zhuǎn)對(duì)掃描儀進(jìn)行旋轉(zhuǎn)，從而操縱光束的角度。其中間載荷為垂直排列的兩個(gè)cylindrical lens patterns用以投射十字準(zhǔn)線（crosshair）。
進(jìn)行色彩描繪后的掃描儀scanner的掃描電鏡圖，其整體尺寸小于一毫米（1000微米）
其制作的掃描儀scanner模塊產(chǎn)品原型
結(jié)語
2016年被廣泛認(rèn)為是VR元年，眼動(dòng)追蹤等相關(guān)技術(shù)開始進(jìn)入高速發(fā)展階段。本文介紹兩種MEMS技術(shù)在眼動(dòng)追蹤中的應(yīng)用。隨著游戲娛樂、虛擬實(shí)境、甚至智能手機(jī)對(duì)眼動(dòng)追蹤需求日益旺盛，MEMS技術(shù)將通過其不可比擬的體積優(yōu)勢為眼動(dòng)追蹤提供重大改進(jìn)，打造出更具便攜性的VR/移動(dòng)設(shè)備，從而大幅提升用戶苛刻的體驗(yàn)訴求，在虛擬設(shè)備中進(jìn)一步幫助用戶達(dá)到真實(shí)的感受。
本文系知乎用戶“阿hong”所著。
【推薦閱讀】
【推薦閱讀】
