情感識別技術(shù)
計算機對從
傳感器采集來的信號進行分析和處理,從而得出對方(人)正處在的情感狀態(tài),這種行為叫做情感識別。從生理心理學(xué)的觀點來看,情緒是有機體的一種復(fù)合狀態(tài),既涉及體驗又涉及生理反應(yīng),還包含行為,其組成分至少包括情緒體驗、情緒表現(xiàn)和情緒生理三種因素。目前對于情感識別有兩種方式,一種是檢測生理信號如呼吸、心律和體溫等,另一種是檢測情感行為如面部特征表情識別、語音情感識別和姿態(tài)識別。
“情感識別”,并不是說計算機能直接識別或測量情感狀態(tài),應(yīng)該解釋為“通過觀察表情、行為和情感產(chǎn)生的前提環(huán)境來推斷情感狀態(tài)”。因為情感狀態(tài)是內(nèi)在的并包含生理和心理的變化,這樣只能獲得情感狀態(tài)的一些可觀測的東西,如表情、行為等等。假設(shè)這些東西的觀測可靠的話,那么潛在的情感狀態(tài)就可以推斷出來。只有將情感識別看作一種模式識別問題、情感表達(dá)看作模式合成問題,計算機進行情感交流才具有可行性。
情感計算的發(fā)展
情感計算研究的提出最早可以追溯到20世紀(jì)90年代初,耶魯大學(xué)心理系的Salovey教授提出了情感智能的概念,開展了一系列的研究。該概念隨后被Goleman發(fā)展為與智商(IQ)相對的情商(EQ),并隨著Goleman的暢銷書而迅速流行,在心理、認(rèn)知、計算機等領(lǐng)域掀起了一個研究情感智能的小高潮。MIT的Picard教授根據(jù)這些新的概念和研究方向,于1997年出版了《情感計算》一書,希望賦予智能機器感知、理解和表達(dá)情感的能力。
進入新世紀(jì)以后,特別是近年來,隨著普適計算、人本計算、社會計算等概念和研究方向的提出,自然的人機交互日益成為各研究領(lǐng)域的研究內(nèi)容和目標(biāo),情感計算也自然地成為各學(xué)科共同關(guān)注的熱點、焦點。中國國家自然科學(xué)基金委也不失時機地支持了“情感計算理論與方法”的研究。
情感計算從本質(zhì)上,是一個典型的模式識別問題。智能機器通過多種傳感器,獲取人的表情、姿態(tài)、手勢、語音、語調(diào)、血壓、心率等各種數(shù)據(jù),結(jié)合當(dāng)時的環(huán)境、語境、情境等上下文信息,識別和理解人的情感。在實際的自然交互系統(tǒng)中,智能機器還需要對上述信息作出及時的、恰當(dāng)?shù)?、情感化的反?yīng)。情感之間距離的定義和計算方法是情感計算的核心問題,例如需要定義和計算“微笑、笑、大笑、狂笑”之間的距離,以便把它們分別聚類,從而使系統(tǒng)能夠識別出不同程度的笑。遺憾的是,目前情感計算的研究還只能對情感進行粗分類,即識別7種典型的情感。
目前,我國在情感計算這一領(lǐng)域的研究主要在人臉識別。這一方面是因為人臉表情容易獲取,易于分析處理,其成果具有重要的應(yīng)用前景等;另一方面,也反映了情感計算研究的一個普遍的問題,即盡管人類是通過表情、語言、動作等各種信息的融合,識別和理解情感,但是,當(dāng)前多模態(tài)情感數(shù)據(jù)獲取、分析、融合、識別和理解,以及情景等上下文信息的融合依然是情感計算研究中富有挑戰(zhàn)性的課題。實現(xiàn)具有情感反饋的自然的人機交互是情感計算研究的最終目標(biāo),這需要在上述情感理解的基礎(chǔ)上,研究人類情感反饋和表達(dá)的機制,建立模型。
目前國內(nèi)的研究成果已有基于已有的情緒模型,提出了虛擬人的認(rèn)知結(jié)構(gòu),建立了一種新的基于動機驅(qū)動的自主情緒模型。清華大學(xué)戴振龍的論文則介紹了一種人臉表情的合成方法,能夠生成具有細(xì)微表情動作的虛擬說話人。可以看出,這方面的研究在國際上依然是自然交互領(lǐng)域的一個新興的方向,面臨著許多挑戰(zhàn)性的問題,具有廣闊的發(fā)展前景。
情感計算研究的主要內(nèi)容
情感計算指的是對與情緒相關(guān)、由情緒引發(fā)、能夠影響情緒的各種因素的計算 ,情感計算研究的目的就是要建立起能感知、識別以及理解人類情感,并對人類情感進行智能、靈敏以及友好反應(yīng)的計算機系統(tǒng)。情感計算研究主要包括了三個方面的內(nèi)容 :情感識別、情感發(fā)生 、情感表達(dá) 。
1、情感發(fā)生機理的研究。
人類情感的發(fā)生、發(fā)展是一個復(fù)雜、多變的過程 ,例如不僅人的情緒變化會導(dǎo)致情感的變化 ,人體的化學(xué)反應(yīng)也會引發(fā)情感的波動。 并且,人的身體、行為上也會隨著情感強度、類型、誘發(fā)過程甚至社交規(guī)則的不同而表現(xiàn)各異 ,這給情感計算帶來 了一定的困難。
2、情感信息的獲取以及情感狀態(tài)和表達(dá)模式之間的關(guān)系研究。
人類情感信息表現(xiàn)在內(nèi)、外兩個層面 。 獲取外在情感信息,例如聲音 、手勢 、面部表情等可以通過多媒體技術(shù)來獲取 ,對于內(nèi)在情感信息,例如心跳、脈搏、呼吸、體溫等則需要使用特殊的生理傳感器獲取。 情感狀態(tài)和表達(dá)模式之間的關(guān)系是情感識別研究的基本內(nèi)容 ,其關(guān)鍵在于尋找表達(dá)信號和情感特征的最佳匹配關(guān)系。
3、情感模型的建立和理解研究 。
情感計算一般分為離散狀態(tài)、情感空間、基于規(guī)則三種計算模型。 目前,情感建模研究取得了初步進展 ,取得了一些代表性的研究成果 ,例如通過總結(jié)和歸納、分析環(huán)境中發(fā)生的各種事件以及相互之間可能引發(fā)的各種情感的對應(yīng)關(guān)系的OCC 情感識別模型、通過建立與人相似的應(yīng)對策略機制指引智能體做出與人情感狀態(tài)一致的行為反應(yīng)的 EMA 模型等等。 情感建模的目的是要尋找最能適合計算機模擬人類的認(rèn)知情感,并且使之可供計算機執(zhí)行,提升人機交互的水平。
4、情感的合成和表達(dá)。
個性化的計算機程序(低層次的情感計算技術(shù)) 雖然能夠識別計算機用戶的興趣 、愛好和偏愛 ,但它并不能識別計算機使用者的情感 ,對使用者情感沒有共 鳴、互動 的能力,通過情感的合成和表達(dá)(例如 OCC 模型)可以對事件 、對象以及智能體等進行綜合分析和表達(dá)。
5、情感計算的應(yīng)用研究。
計算機的情感計算能力進一步推動了計算機技術(shù)的發(fā)展,通過和人機接口技術(shù) 、人工智能推理、計算機視覺和聽覺等計算機前沿研究技術(shù)結(jié)合 ,應(yīng)用領(lǐng)域不斷拓展。
一是通過情感計算建立起的“情感鏡像 ”,可以幫助“人”了解自己在各種情況下的反應(yīng) ,而且更具客觀性;
二是在文本一語音相互轉(zhuǎn)換中發(fā)揮重要作用。 例如通過情感計算對輸入的計算機文本進行語音轉(zhuǎn)換并在轉(zhuǎn)換的過程中表達(dá)使用者的情感 ,實現(xiàn)了語言障礙者在網(wǎng)絡(luò)社會中進行自然 、和諧的交流夢想 ,他們也可以“發(fā)出”體現(xiàn)自己情感的語言;
三是擁有情感計算能力的計算機可以對人類情感進行有效的獲取 、分析 、識別并作出相應(yīng) 的反應(yīng) ,這些反應(yīng)切合使用者情感 ,成為人機交互的關(guān)鍵突破;
四是在其他領(lǐng)域的應(yīng)用,例如情感計算可以推動心理學(xué)從感性認(rèn)知上升到可計算模型、排減特殊患者的不良情緒進行更好的康復(fù) 、利用語音識別技術(shù)提升計算機測謊能力等等。
情感識別技術(shù)研究
情感識別指的是通過觀察表情 、行為和情感產(chǎn)生的具體 環(huán)境來 推斷內(nèi)在情感 狀態(tài) 的一種模式識別 。 情感計算通過計算針對不同類型 、個體取得的個性化測量數(shù)據(jù) ,在測量數(shù)據(jù)的基礎(chǔ)上進行共性化研究從而發(fā)現(xiàn)情感識別的通用模式 。
現(xiàn)階段進行的情感識別研究主要集中在面部表情 、語音情感以及生理信號情感研究。
1、面部表情的情感識別
由于面部表情是最容易控制的一種 ,而且受先天生理影響 ,單純的面部表情識別準(zhǔn)確性并不高 ,但是相對的識別模型比較簡單 。 例如 Paul Ekman 等提出的面部動作編碼系統(tǒng)(FACS) ,描述了基本情感以及對應(yīng)的產(chǎn)生的肌肉運動的動作單元, 依據(jù)FACS系統(tǒng)制造的面部識別器,仿真測試準(zhǔn)確率可以達(dá)到 98%以上。 但 面部識別器的處理效率較低 ,一種表情處理時間需要將近 5min ,對于處理連續(xù)表情還存在一定困難。
面部表情的情感識別受到多方面因素的影響,現(xiàn)階段對人臉分析及識別的技術(shù)方法主要分為兩大類 :一是基于靜態(tài)圖像 (單一圖像) 的方法 ,一是基于動態(tài)圖像序列的方法。 前者分析的數(shù)據(jù)較少,對單幀圖像分析比較成功,適合實時表情的識別;后者將面部表情變化的時間和空間信息結(jié)合起來,識別率較高,但計算量也較大。
2、 語音情感的識別研究
由于語音情感的不可視,語音情感識別要比面部表情識別困難得多。 人的語音信號包含了多方面的信息 ,必須要尋找情感和語音模式之間的對應(yīng)關(guān)系 ,而且這些對應(yīng)特征計算機還是可 以提取的。 情感對語音的影響主要體現(xiàn)在兩個方面 ,一是語速的頻率和時間,一是語言的音量 和清晰度。 通過利用聲學(xué)和語 言學(xué)來描述說話方式的計算機應(yīng)用程序— — “情感編輯器”,除了在輸入情感參數(shù)之外還進行了語法語義的分析 ,對語音頻率和音量進行控制 ,對語音形成較好的情感識別和合成效果。
語音情感特征的分析需要大量的語音實驗分析資料 ,語音情感自動識別技術(shù)就是建立在對語音信號產(chǎn)生機制的深入研究和分析基礎(chǔ)上的,現(xiàn)階段 ,語音情感自動識別技術(shù)還需要迫切解決兩個根本性的問題:一是語音信號中情感識別特征的抽?。欢翘囟ㄕZ音數(shù)據(jù)的模式識別 。
3、生理模式的情感識別
不同的生理信號的特征模式也是情感識別的重要依據(jù)之一 。 人的生理信號比起面部表情和語音 ,識別難度更大,所以目前生理模式的情感識別研究還處于初級階段 ,哪些信號可以轉(zhuǎn)化為情感參數(shù) 、信號各個方面的權(quán)重、比例應(yīng)該是多少 ,這些都還需要進行進一步的研究和探索。
情感計算為人機交互提供了重要的渠道和有力的模型支撐 ,雖然基于各種原理的情感模型還無法準(zhǔn)確、清晰地對人的情感進行完全模擬 ,但隨著情感計算數(shù)據(jù)庫的不斷完善和對觀察數(shù)據(jù)的不斷分析 ,情感建模和情感識別技術(shù)必將取得進一步的發(fā)展 。