計(jì)算機(jī)對(duì)從傳感器采集來的信號(hào)進(jìn)行分析和處理，從而得出對(duì)方（人）正處在的情感狀態(tài)，這種行為叫做情感識(shí)別。從生理心理學(xué)的觀點(diǎn)來看，情緒是有機(jī)體的一種復(fù)合狀態(tài)，既涉及體驗(yàn)又涉及生理反應(yīng)，還包含行為，其組成分至少包括情緒體驗(yàn)、情緒表現(xiàn)和情緒生理三種因素。目前對(duì)于情感識(shí)別有兩種方式，一種是檢測(cè)生理信號(hào)如呼吸、心律和體溫等，另一種是檢測(cè)情感行為如面部特征表情識(shí)別、語音情感識(shí)別和姿態(tài)識(shí)別。

 

“情感識(shí)別”，并不是說計(jì)算機(jī)能直接識(shí)別或測(cè)量情感狀態(tài)，應(yīng)該解釋為“通過觀察表情、行為和情感產(chǎn)生的前提環(huán)境來推斷情感狀態(tài)”。因?yàn)榍楦袪顟B(tài)是內(nèi)在的并包含生理和心理的變化，這樣只能獲得情感狀態(tài)的一些可觀測(cè)的東西，如表情、行為等等。假設(shè)這些東西的觀測(cè)可靠的話，那么潛在的情感狀態(tài)就可以推斷出來。只有將情感識(shí)別看作一種模式識(shí)別問題、情感表達(dá)看作模式合成問題，計(jì)算機(jī)進(jìn)行情感交流才具有可行性。

 

情感計(jì)算的發(fā)展

 

情感計(jì)算研究的提出最早可以追溯到20世紀(jì)90年代初，耶魯大學(xué)心理系的Salovey教授提出了情感智能的概念，開展了一系列的研究。該概念隨后被Goleman發(fā)展為與智商(IQ)相對(duì)的情商(EQ)，并隨著Goleman的暢銷書而迅速流行，在心理、認(rèn)知、計(jì)算機(jī)等領(lǐng)域掀起了一個(gè)研究情感智能的小高潮。MIT的Picard教授根據(jù)這些新的概念和研究方向，于1997年出版了《情感計(jì)算》一書，希望賦予智能機(jī)器感知、理解和表達(dá)情感的能力。

 

進(jìn)入新世紀(jì)以后，特別是近年來，隨著普適計(jì)算、人本計(jì)算、社會(huì)計(jì)算等概念和研究方向的提出，自然的人機(jī)交互日益成為各研究領(lǐng)域的研究?jī)?nèi)容和目標(biāo)，情感計(jì)算也自然地成為各學(xué)科共同關(guān)注的熱點(diǎn)、焦點(diǎn)。中國(guó)國(guó)家自然科學(xué)基金委也不失時(shí)機(jī)地支持了“情感計(jì)算理論與方法”的研究。

 

情感計(jì)算從本質(zhì)上，是一個(gè)典型的模式識(shí)別問題。智能機(jī)器通過多種傳感器，獲取人的表情、姿態(tài)、手勢(shì)、語音、語調(diào)、血壓、心率等各種數(shù)據(jù)，結(jié)合當(dāng)時(shí)的環(huán)境、語境、情境等上下文信息，識(shí)別和理解人的情感。在實(shí)際的自然交互系統(tǒng)中，智能機(jī)器還需要對(duì)上述信息作出及時(shí)的、恰當(dāng)?shù)摹⑶楦谢姆磻?yīng)。情感之間距離的定義和計(jì)算方法是情感計(jì)算的核心問題，例如需要定義和計(jì)算“微笑、笑、大笑、狂笑”之間的距離，以便把它們分別聚類，從而使系統(tǒng)能夠識(shí)別出不同程度的笑。遺憾的是，目前情感計(jì)算的研究還只能對(duì)情感進(jìn)行粗分類，即識(shí)別7種典型的情感。

 

目前，我國(guó)在情感計(jì)算這一領(lǐng)域的研究主要在人臉識(shí)別。這一方面是因?yàn)槿四槺砬槿菀撰@取，易于分析處理，其成果具有重要的應(yīng)用前景等；另一方面，也反映了情感計(jì)算研究的一個(gè)普遍的問題，即盡管人類是通過表情、語言、動(dòng)作等各種信息的融合，識(shí)別和理解情感，但是，當(dāng)前多模態(tài)情感數(shù)據(jù)獲取、分析、融合、識(shí)別和理解，以及情景等上下文信息的融合依然是情感計(jì)算研究中富有挑戰(zhàn)性的課題。實(shí)現(xiàn)具有情感反饋的自然的人機(jī)交互是情感計(jì)算研究的最終目標(biāo)，這需要在上述情感理解的基礎(chǔ)上，研究人類情感反饋和表達(dá)的機(jī)制，建立模型。

 

目前國(guó)內(nèi)的研究成果已有基于已有的情緒模型，提出了虛擬人的認(rèn)知結(jié)構(gòu)，建立了一種新的基于動(dòng)機(jī)驅(qū)動(dòng)的自主情緒模型。清華大學(xué)戴振龍的論文則介紹了一種人臉表情的合成方法，能夠生成具有細(xì)微表情動(dòng)作的虛擬說話人。可以看出，這方面的研究在國(guó)際上依然是自然交互領(lǐng)域的一個(gè)新興的方向，面臨著許多挑戰(zhàn)性的問題，具有廣闊的發(fā)展前景。

 

 

情感計(jì)算指的是對(duì)與情緒相關(guān)、由情緒引發(fā)、能夠影響情緒的各種因素的計(jì)算 ，情感計(jì)算研究的目的就是要建立起能感知、識(shí)別以及理解人類情感，并對(duì)人類情感進(jìn)行智能、靈敏以及友好反應(yīng)的計(jì)算機(jī)系統(tǒng)。情感計(jì)算研究主要包括了三個(gè)方面的內(nèi)容 ：情感識(shí)別、情感發(fā)生 、情感表達(dá) 。

 

1、情感發(fā)生機(jī)理的研究。 

 

人類情感的發(fā)生、發(fā)展是一個(gè)復(fù)雜、多變的過程 ，例如不僅人的情緒變化會(huì)導(dǎo)致情感的變化 ，人體的化學(xué)反應(yīng)也會(huì)引發(fā)情感的波動(dòng)。 并且，人的身體、行為上也會(huì)隨著情感強(qiáng)度、類型、誘發(fā)過程甚至社交規(guī)則的不同而表現(xiàn)各異 ，這給情感計(jì)算帶來 了一定的困難。

 

2、情感信息的獲取以及情感狀態(tài)和表達(dá)模式之間的關(guān)系研究。 

 

人類情感信息表現(xiàn)在內(nèi)、外兩個(gè)層面 。 獲取外在情感信息，例如聲音 、手勢(shì) 、面部表情等可以通過多媒體技術(shù)來獲取 ，對(duì)于內(nèi)在情感信息，例如心跳、脈搏、呼吸、體溫等則需要使用特殊的生理傳感器獲取。 情感狀態(tài)和表達(dá)模式之間的關(guān)系是情感識(shí)別研究的基本內(nèi)容 ，其關(guān)鍵在于尋找表達(dá)信號(hào)和情感特征的最佳匹配關(guān)系。

 

3、情感模型的建立和理解研究 。 

 

情感計(jì)算一般分為離散狀態(tài)、情感空間、基于規(guī)則三種計(jì)算模型。 目前，情感建模研究取得了初步進(jìn)展 ，取得了一些代表性的研究成果 ，例如通過總結(jié)和歸納、分析環(huán)境中發(fā)生的各種事件以及相互之間可能引發(fā)的各種情感的對(duì)應(yīng)關(guān)系的OCC 情感識(shí)別模型、通過建立與人相似的應(yīng)對(duì)策略機(jī)制指引智能體做出與人情感狀態(tài)一致的行為反應(yīng)的 EMA 模型等等。 情感建模的目的是要尋找最能適合計(jì)算機(jī)模擬人類的認(rèn)知情感，并且使之可供計(jì)算機(jī)執(zhí)行，提升人機(jī)交互的水平。

 

4、情感的合成和表達(dá)。 

 

個(gè)性化的計(jì)算機(jī)程序(低層次的情感計(jì)算技術(shù)) 雖然能夠識(shí)別計(jì)算機(jī)用戶的興趣 、愛好和偏愛 ，但它并不能識(shí)別計(jì)算機(jī)使用者的情感 ，對(duì)使用者情感沒有共 鳴、互動(dòng) 的能力，通過情感的合成和表達(dá)(例如 OCC 模型)可以對(duì)事件 、對(duì)象以及智能體等進(jìn)行綜合分析和表達(dá)。

 

5、情感計(jì)算的應(yīng)用研究。 

 

計(jì)算機(jī)的情感計(jì)算能力進(jìn)一步推動(dòng)了計(jì)算機(jī)技術(shù)的發(fā)展，通過和人機(jī)接口技術(shù) 、人工智能推理、計(jì)算機(jī)視覺和聽覺等計(jì)算機(jī)前沿研究技術(shù)結(jié)合 ，應(yīng)用領(lǐng)域不斷拓展。 

 

一是通過情感計(jì)算建立起的“情感鏡像 ”，可以幫助“人”了解自己在各種情況下的反應(yīng) ，而且更具客觀性；

 

二是在文本一語音相互轉(zhuǎn)換中發(fā)揮重要作用。 例如通過情感計(jì)算對(duì)輸入的計(jì)算機(jī)文本進(jìn)行語音轉(zhuǎn)換并在轉(zhuǎn)換的過程中表達(dá)使用者的情感 ，實(shí)現(xiàn)了語言障礙者在網(wǎng)絡(luò)社會(huì)中進(jìn)行自然 、和諧的交流夢(mèng)想 ，他們也可以“發(fā)出”體現(xiàn)自己情感的語言；

 

三是擁有情感計(jì)算能力的計(jì)算機(jī)可以對(duì)人類情感進(jìn)行有效的獲取 、分析 、識(shí)別并作出相應(yīng) 的反應(yīng) ，這些反應(yīng)切合使用者情感 ，成為人機(jī)交互的關(guān)鍵突破；

 

四是在其他領(lǐng)域的應(yīng)用，例如情感計(jì)算可以推動(dòng)心理學(xué)從感性認(rèn)知上升到可計(jì)算模型、排減特殊患者的不良情緒進(jìn)行更好的康復(fù) 、利用語音識(shí)別技術(shù)提升計(jì)算機(jī)測(cè)謊能力等等。

 

 

情感識(shí)別指的是通過觀察表情 、行為和情感產(chǎn)生的具體 環(huán)境來 推斷內(nèi)在情感 狀態(tài) 的一種模式識(shí)別 。 情感計(jì)算通過計(jì)算針對(duì)不同類型 、個(gè)體取得的個(gè)性化測(cè)量數(shù)據(jù) ，在測(cè)量數(shù)據(jù)的基礎(chǔ)上進(jìn)行共性化研究從而發(fā)現(xiàn)情感識(shí)別的通用模式 。 

 

現(xiàn)階段進(jìn)行的情感識(shí)別研究主要集中在面部表情 、語音情感以及生理信號(hào)情感研究。

 

1、面部表情的情感識(shí)別

 

由于面部表情是最容易控制的一種 ，而且受先天生理影響 ，單純的面部表情識(shí)別準(zhǔn)確性并不高 ，但是相對(duì)的識(shí)別模型比較簡(jiǎn)單 。 例如 Paul Ekman 等提出的面部動(dòng)作編碼系統(tǒng)(FACS) ，描述了基本情感以及對(duì)應(yīng)的產(chǎn)生的肌肉運(yùn)動(dòng)的動(dòng)作單元， 依據(jù)FACS系統(tǒng)制造的面部識(shí)別器，仿真測(cè)試準(zhǔn)確率可以達(dá)到 98％以上。 但 面部識(shí)別器的處理效率較低 ，一種表情處理時(shí)間需要將近 5min ，對(duì)于處理連續(xù)表情還存在一定困難。

 

面部表情的情感識(shí)別受到多方面因素的影響，現(xiàn)階段對(duì)人臉分析及識(shí)別的技術(shù)方法主要分為兩大類 ：一是基于靜態(tài)圖像 (單一圖像) 的方法 ，一是基于動(dòng)態(tài)圖像序列的方法。 前者分析的數(shù)據(jù)較少，對(duì)單幀圖像分析比較成功，適合實(shí)時(shí)表情的識(shí)別；后者將面部表情變化的時(shí)間和空間信息結(jié)合起來，識(shí)別率較高，但計(jì)算量也較大。

 

2、 語音情感的識(shí)別研究

 

由于語音情感的不可視，語音情感識(shí)別要比面部表情識(shí)別困難得多。 人的語音信號(hào)包含了多方面的信息 ，必須要尋找情感和語音模式之間的對(duì)應(yīng)關(guān)系 ，而且這些對(duì)應(yīng)特征計(jì)算機(jī)還是可 以提取的。 情感對(duì)語音的影響主要體現(xiàn)在兩個(gè)方面 ，一是語速的頻率和時(shí)間，一是語言的音量 和清晰度。 通過利用聲學(xué)和語 言學(xué)來描述說話方式的計(jì)算機(jī)應(yīng)用程序— — “情感編輯器”，除了在輸入情感參數(shù)之外還進(jìn)行了語法語義的分析 ，對(duì)語音頻率和音量進(jìn)行控制 ，對(duì)語音形成較好的情感識(shí)別和合成效果。

 

語音情感特征的分析需要大量的語音實(shí)驗(yàn)分析資料 ，語音情感自動(dòng)識(shí)別技術(shù)就是建立在對(duì)語音信號(hào)產(chǎn)生機(jī)制的深入研究和分析基礎(chǔ)上的，現(xiàn)階段 ，語音情感自動(dòng)識(shí)別技術(shù)還需要迫切解決兩個(gè)根本性的問題：一是語音信號(hào)中情感識(shí)別特征的抽取；二是特定語音數(shù)據(jù)的模式識(shí)別 。

 

3、生理模式的情感識(shí)別

 

不同的生理信號(hào)的特征模式也是情感識(shí)別的重要依據(jù)之一 。 人的生理信號(hào)比起面部表情和語音 ，識(shí)別難度更大，所以目前生理模式的情感識(shí)別研究還處于初級(jí)階段 ，哪些信號(hào)可以轉(zhuǎn)化為情感參數(shù) 、信號(hào)各個(gè)方面的權(quán)重、比例應(yīng)該是多少 ，這些都還需要進(jìn)行進(jìn)一步的研究和探索。

 

情感計(jì)算為人機(jī)交互提供了重要的渠道和有力的模型支撐 ，雖然基于各種原理的情感模型還無法準(zhǔn)確、清晰地對(duì)人的情感進(jìn)行完全模擬 ，但隨著情感計(jì)算數(shù)據(jù)庫(kù)的不斷完善和對(duì)觀察數(shù)據(jù)的不斷分析 ，情感建模和情感識(shí)別技術(shù)必將取得進(jìn)一步的發(fā)展 。