前言:在人臉識別應用百花齊放的這幾年,人類也一直在嘗試基于人臉展開更多的探索,包括強化技術的深度以及應用的廣度。但過去幾年,無論哪種場景下的人臉應用更多的仍是聚焦在身份認證環(huán)節(jié),其間,微表情識別的應用初步將對人臉的探索延伸到對人心的解析上,但其技術原理依舊停留在面部行為識別。本次我們通過對中威電子市場總監(jiān)俞江峰的訪談了解到一種新的探索“人心”的技術——基于血譜光學成像技術的情感人工智能,這項技術完全改寫了一貫的面部識別技術邏輯,通過多學科技術融合應用將“讀心術”研究引入到了一個新的高度。
Q:a&s總經理、總編輯關玉娟
A: 中威電子市場總監(jiān) 俞江峰
Q:貴司當前在情感人工智能方面有哪些前沿的技術探索和產品方案?
A:我們目前主要是和加拿大紐洛斯人工智能公司合作,共同專注于基于情感人工智能方面的產品研發(fā)和行業(yè)業(yè)務拓展,現(xiàn)階段,我們已經在心率、心理壓力、血壓、呼吸率等檢測指標上進行了深入研究,并形成場景性情感分析和公共安全情感分析兩大產品業(yè)務方向。
其中公共安全情感分析產品可以廣泛應用于機場、車站、軌道交通等涉及公共安全的安檢場景;場景性情感分析產品可以分為測謊類、情緒類、健康類等指標集,可廣泛應用于公檢法審訊、心理咨詢、養(yǎng)老看護等行業(yè)。
另外在產品方面,主要推出了面向學校的學生心理健康教育與心理健康測評系統(tǒng)。這套系統(tǒng)是以情感人工智能為核心,利用視頻非接觸式多導儀技術檢測學生的心率、心率變異性( HRV )、呼吸率、心理壓力等生理與心理指標,并充分融入心理健康評測與心理健康教育工作;實時動態(tài)的檢測、識別、理解學生的心理變化,為學生心理健康管理、心理輔導、心理干預等工作提供多維數(shù)據服務;建立心理健康教育資源平臺,實現(xiàn)專業(yè)資源的互聯(lián)、互通、共享。
由此實現(xiàn)學生心理健康教育、心理健康測評與數(shù)據分析綜合管理的專業(yè)系統(tǒng)。目前我們已經和浙江大學、北京工業(yè)大學、浙江師范大學在合作進行相關的課題研究。
還有我們的非接觸人臉血譜分析系統(tǒng),該套系統(tǒng)是心理學、精神衛(wèi)生醫(yī)學領域等專業(yè)心理學以及心理健康研究分析工具,通過安排特定的評估環(huán)境、設計特定的評估流程、播放特定的刺激背景視頻,通過專業(yè)攝像機采集被試在測試過程中的人臉血流信息,并通過DeepAffex情感分析引擎分析獲取被試的心率、心率變異性(HRV)、心理壓力等生理、心理指標,供研究人員更加專業(yè)的評估、分析被試的心理狀態(tài),可有效輔助心理研究人員進行心理專業(yè)方向建模分析。
在司法行業(yè)應用上,我們計劃在今年安博會期間將全面推出基于人臉血譜分析的非接觸式測謊系列產品。
Q:情感人工智能的技術原理是什么?
A:情感人工智能主要基于神經科學、心理學、生理學,其核心的血譜光學成像(TOI)技術是紐洛斯研發(fā)的一種基于視頻提取人臉皮膚血流信息,通過機器學習建模,進而實現(xiàn)檢測人類情感的技術。其主要技術原理是:光線打到人的臉上并不是馬上就被反射回來的,因為皮膚是半透明的,光線會穿透皮膚。但光線進到皮下后會碰到兩種蛋白質:棕色的黑色素和紅色的血紅蛋白。光線碰到兩種蛋白質后有些被吸收,有些從皮膚上被反射出去,反射出去的光則會被攝像頭捕捉到。攝像頭的感光器件對光線中的光子很敏感,不同光子的發(fā)光頻率不一樣,攝像頭的感光器件接收到不同的光子,通過后臺的信號處理可以把兩種蛋白質反射光線的光子結果進行分離,分離之后只留下血紅蛋白反射的信息,把一段時間內(30秒左右)的畫面連起來,后臺AI就能看出血紅蛋白的波動,這就是血流的變化。
基于血譜光學成像技術,可以通過使用攝像頭遠程非接觸提取人的面部血流信息,然后血譜光學成像對關鍵檢測區(qū)域進行識別提取血流信息,最后再通過DeepAffex情感智能引擎分析和預測生理、心理狀態(tài)。與市面上的人臉、人像分析不同,DeepAffex情感智能引擎能對人體的生理狀態(tài)(心率、血壓、呼吸頻率、梅爾波、熱波……)和心理狀態(tài)(心理壓力、內心情緒狀態(tài)、個體情緒)進行測量分析,從而穿過表層現(xiàn)象看內心活動。
這個過程中,我們上傳的并不是原視頻,而是通過視頻提取的各項血流參數(shù)信息,這種方式可以最大程度的保護受監(jiān)測者的個人隱私安全。
Q:情感人工智能和微表情識別技術有什么差異?
A: 微表情識別主要是基于人的臉部特征,對輸入的人臉圖像或者視頻流進行監(jiān)測,捕捉的是人們在0.2秒內發(fā)生的瞬間性表情,再通過心理學FACS面部行為識別符號來映射人像的內心活動。而情感人工智能主要是基于血譜光學成像(TOI)技術+專業(yè)的情感智能引擎分析系統(tǒng)來檢測人實時的生理指標與心理指標變化情況,從而反映出真實的內心活動。
后續(xù),我們計劃把情感人工智能和微表情識別技術相結合,推進多種算法融合,比如融合面部識別+語音識別技術,通過多特征的提取、識別、分析,豐富監(jiān)測的樣本,讓識別分析結果更趨于客觀準確。
情感人工智能技術的應用場景,其實也非常具有想象力,下一步我們將展開測謊設備的研發(fā)。傳統(tǒng)的測謊設備一般是通過皮膚貼片導電系統(tǒng)進行,但這套系統(tǒng)的應用對于設備配置、操控都具有很高的要求,需要由專業(yè)的人才來實施操控,這無疑加大了設備的使用成本。我們即將推出的基于血譜光學成像技術的視頻測謊方案,可以通過檢測人物面部血流中血紅蛋白變化情況,實時反映人的各種生理、心理指標的變化,系統(tǒng)可自動告警異常情況,事后還可再進行無限回放。
Q:情感人工智能正處于初步發(fā)展階段,用戶的接受程度如何?對投入產出比是否存在顧慮?
A:用戶需求很旺盛。在投入產出比這方面,很多時候我們和用戶的合作其實是雙向的。比如和學校用戶的合作,高校采購中威電子的學生心理健康教育與心理健康測評系統(tǒng)及相關設備,一是為了構建學生心理健康管理系統(tǒng),二是為了從事心理學、神經學等方面的學術研究。
這個過程中,我們可以從用戶那里收獲的也有兩方面:一是用戶大量的樣本數(shù)據,當然是用戶愿意且授權的情況下,這些數(shù)據可以用來提升我們的算法能力,提升檢測結果的廣度和精度;二是高校的學術研究成果,比如學術論文,這些前沿的學術理論可以更好的引導我們在后續(xù)的產品及應用上的研發(fā)方向,為我們節(jié)省了很多算法訓練以及后續(xù)的技術研究成本。
Q:不同的行業(yè)領域,用戶的需求具有較大的差異性,如何實現(xiàn)對不同用戶需求的快速響應?
A: 我們在產品設計過程研發(fā)了基礎生理與心理指標模型,不同行業(yè)應用場景,業(yè)務模型只要根據場景選擇特定指標進行優(yōu)化配置,即可實現(xiàn)不同場景的特殊需求。用戶需求響應最大的工作量還是在于不同行業(yè)用戶的業(yè)務流程需求,這仍然需要我們緊跟用戶需求,以用戶需求為導向來進行針對性的應用功能開發(fā)。
比如司法領域的典型場景是監(jiān)獄和看守所,我們開發(fā)的功能主要是用于犯人的心理健康管理。一個細微的需求便是監(jiān)獄里每周會有夜談環(huán)節(jié),我們的系統(tǒng)可以用來監(jiān)測犯人在夜談過程中的心理波動、情緒反應,這些監(jiān)測數(shù)據可以幫助監(jiān)獄和看守所實現(xiàn)群體健康管理體系的優(yōu)化。
又比如在公檢法審訊過程,通過視頻非接觸式采集嫌疑人在被訊問過程中的生理與心理波動情況,實現(xiàn)對訊問問題的可疑點排查,為案件分析提供必要的輔助。
在精神衛(wèi)生健康領域,可以實現(xiàn)對特殊群體日常生理與心理健康便捷采樣,通過周期性健康狀態(tài)跟蹤分析,了解特定對象發(fā)病的可能性,及時做好干預與預案機制。
Q:公司圍繞著情感人工智能的技術研究,人才團隊組成大概是什么樣的情況?
A:現(xiàn)階段公司的基礎核心技術團隊主要與加拿大紐洛斯研究中心合作為主,紐洛斯主要負責基礎技術研究,包括樣本采集、開發(fā)并優(yōu)化算法模型以及如何轉化、解讀指標數(shù)據等。中威電子這邊更多是負責業(yè)務場景的應用模型的開發(fā),不同的場景適配的應用模型是不一樣的,所以我們需要按場景所需開發(fā)不同的業(yè)務場景應用模型,實現(xiàn)產品化與解決方案落地。
Q:一套應用模型的開發(fā)周期有多長?
A:主要看環(huán)境的復雜程度。簡單環(huán)境和需求之下,比如測謊功能,因為我們前期會對環(huán)境進行強制約束,所以模型的適配會很快速便捷。但易受到光線、人流等因素干擾的應用環(huán)境對于技術的要求就很高,這種應用模型開發(fā)起來會比較長。
Q:在推進這項技術落地應用過程中,你們認為最大的困難點在哪里?
A:首先,用戶對這方面的需求比較旺盛,但同時也存在需求分散、零碎的情況,這種情況下,對于我們的挑戰(zhàn)在于,如何從中選擇一個最合適的落地應用場景,讓團隊可以集中精力去投入,真正的發(fā)揮這項技術的實用價值。
另外是樣本數(shù)據采集的問題,由于這是一個新興的領域,對樣本的環(huán)境、條件和要求都較高,采樣具有一定復雜度,任何不嚴謹?shù)牟蓸臃绞蕉伎赡茉斐蓪λ惴ň鹊挠绊?,因此采集樣本的周期較長。
Q:如何看待情感人工智能技術的市場競爭及未來發(fā)展?jié)摿Γ?/strong>
A:不論微表情識別還是基于血譜成像的情感人工智能,其實兩三年前這一塊的市場就已經有人在關注并衍生出一些相關的技術概念和算法模型,只不過一直沒有較為成熟的產品出來,但隨著技術研究的深入、用戶市場的培育以及相關產品的陸續(xù)面世,情感人工智能的應用市場將會被迅速打開,屆時也許會重現(xiàn)當前人臉識別市場的盛況。
這主要是因為,現(xiàn)階段基于人臉識別的應用市場已經進入到了全面開發(fā)的階段,除了專注于個人身份認證的應用之外,人臉特征的單一性也決定了通過抓拍一張人臉后續(xù)將沒有辦法去做更深入的研究,但如果能夠把人的情緒、行為等其他方面的特征信息識別分析出來,那么,圍繞著人的研究數(shù)據將會更豐富且更立體精準,由此也可以拓展出更豐富且個性化的應用,由此可見,情感人工智能或將成為人工智能的下一個高點。
當然,這個市場并非一家企業(yè)能把它做大,情感人工智能需要更多技術的融合,我們也非常期待那些能夠和中威電子情感人工智能業(yè)務形成互補的合作伙伴的加入,包括多種技術方面的互補以及業(yè)務上的互補,通過產學研多方力量來共同推進情感人工智能市場的發(fā)展壯大!
編后語:
受限于應用場景以及功能的固化,在單一人臉識別或視頻技術無法進一步探索人類內心活動的情況之下,視頻情感人工智能以其具有連續(xù)、實時、遠程、非接觸的采集生理和心理信息的特點,為“人臉”到“人心”的研究奠定了初步的基礎,從而也為公共安全、遠程教育、養(yǎng)老看護、司法審訊等領域的個性化應用帶來了新的想象空間。
從人臉識別到微表情識別再到現(xiàn)在的情感人工智能,基于深度學習技術的人臉應用不斷迎來新的技術突破和應用方向的多元化,而從知面到知心,依賴相關系統(tǒng)設備的投入應用,也讓我們更多的“觸摸”到人工智能所帶來的人文關懷。