隨著全球人口老齡化的加劇，以阿爾茨海默病為代表的認(rèn)知癥被認(rèn)為是二十一世紀(jì)最大的健康危機(jī)之一。近期，微軟亞洲研究院與上海市精神衛(wèi)生中心展開聯(lián)合研究，借助微軟 Azure OpenAI 服務(wù)中的多模態(tài)大模型以及智能代理(AI agent)技術(shù)，開發(fā)了個(gè)性化認(rèn)知訓(xùn)練框架“憶我”(ReMe)，擴(kuò)展了自動(dòng)化認(rèn)知訓(xùn)練的訓(xùn)練范圍，為數(shù)字化認(rèn)知訓(xùn)練提供了新方法，有望幫助延緩認(rèn)知下降。這項(xiàng)創(chuàng)新工具將助力推進(jìn)認(rèn)知訓(xùn)練研究，為各類認(rèn)知障礙，包括輕度認(rèn)知障礙的早期預(yù)防和非藥物干預(yù)提供新的方法。

　　多模態(tài)大模型帶來(lái)更全面的認(rèn)知訓(xùn)練方法

　　認(rèn)知癥，也稱認(rèn)知障礙，是一類影響思維、記憶、注意力、理解、判斷力和語(yǔ)言等認(rèn)知功能的疾病，包括阿爾茨海默病、帕金森病、路易體癡呆、腦血管性認(rèn)知障礙等。認(rèn)知癥的發(fā)展是一個(gè)漸進(jìn)且不可逆的過(guò)程，雖然目前臨床上還沒(méi)有完全能夠治愈該疾病的藥物，但及早診斷和提前干預(yù)有助于延緩認(rèn)知功能的衰退，而認(rèn)知訓(xùn)練已被證實(shí)是緩解病程進(jìn)展的有效手段。

　　伴隨多模態(tài)大模型的不斷發(fā)展，其新能力也在不斷涌現(xiàn)，如提供即時(shí)的多模態(tài)分析、實(shí)現(xiàn)基于世界知識(shí)的開放式問(wèn)答、提供充滿情感的語(yǔ)音交互、整合處理多種感知數(shù)據(jù)等。微軟亞洲研究院的研究員們由此提出了一個(gè)設(shè)想：多模態(tài)大模型或許能在認(rèn)知訓(xùn)練方面發(fā)揮重要作用。

　　帶著這一想法和諸多疑問(wèn)，微軟亞洲研究院與上海市精神衛(wèi)生中心展開了深入探討與合作。上海市精神衛(wèi)生中心(俗稱“600號(hào)”)系上海交通大學(xué)醫(yī)學(xué)院附屬醫(yī)院，有著雄厚的技術(shù)實(shí)力和豐富的臨床經(jīng)驗(yàn)。開發(fā)個(gè)性化認(rèn)知訓(xùn)練框架“憶我”主要與老年精神科團(tuán)隊(duì)合作，該科室作為上海交通大學(xué)阿爾茨海默病診治中心，是全國(guó)最早從事阿爾茨海默研究的科室，2022年被評(píng)為國(guó)家核心高級(jí)認(rèn)知障礙診療中心(全國(guó)唯一獲批精神?？漆t(yī)院)，并獲得“全國(guó)優(yōu)秀記憶門診”、“記憶門診培訓(xùn)基地”稱號(hào)。圍繞阿爾茨海默病發(fā)病機(jī)制這一課題，該科室展開了卓有成效的工作，形成了一定的研究特色。團(tuán)隊(duì)對(duì)于認(rèn)知障礙的診治，倡導(dǎo)“從不太早，永不言遲”，并創(chuàng)新地提出“老年認(rèn)知障礙防治上海防治模式”，希望為健康老齡提供切實(shí)有用的幫助。

　　通過(guò)與中心專家的交流，研究員們了解到，當(dāng)前臨床上的認(rèn)知訓(xùn)練主要依靠照護(hù)者或治療師自行開展，或使用軟件驅(qū)動(dòng)的數(shù)字療法開展。前者依賴大量人力，成本高昂，給照護(hù)者帶來(lái)了沉重的負(fù)擔(dān);后者則往往類似于標(biāo)準(zhǔn)化考試，缺乏靈活性，患者僅能解答預(yù)設(shè)的謎題，與提高認(rèn)知所需的記憶訓(xùn)練相去甚遠(yuǎn)。此外，現(xiàn)有的數(shù)字療法在軟件應(yīng)用的便捷性、互動(dòng)性和直觀性方面也存在一定不足，影響了患者的依從性(病人按照醫(yī)生規(guī)定進(jìn)行治療的行為)。就認(rèn)知障礙患者而言，持之以恒的訓(xùn)練對(duì)于緩解癥狀至關(guān)重要。

　　上海市精神衛(wèi)生中心老年科副主任醫(yī)師岳玲指出：“認(rèn)知障礙影響的記憶類型多樣，包括工作記憶、情景記憶和語(yǔ)義記憶等，但現(xiàn)有訓(xùn)練任務(wù)的設(shè)計(jì)較為單一，限制了訓(xùn)練內(nèi)容的廣度，很多老人也曾反映游戲內(nèi)容‘枯燥’、‘沒(méi)意思’。在多模態(tài)大模型出現(xiàn)之前，軟件驅(qū)動(dòng)的認(rèn)知訓(xùn)練主要集中于工作記憶訓(xùn)練，而對(duì)于與患者日常生活密切相關(guān)的情景記憶和語(yǔ)義記憶訓(xùn)練則鮮有涉及。特別是對(duì)于阿爾茨海默病患者，最早受損的往往是與自我相關(guān)的記憶。多模態(tài)大模型的智能化和個(gè)性化特點(diǎn)，為認(rèn)知訓(xùn)練提供了新的可能性，使其更貼近日常生活?！?/p>

　　漲知識(shí)：

　　工作記憶：指進(jìn)行臨時(shí)信息處理的能力，如心算或復(fù)述新聞內(nèi)容。當(dāng)這部分記憶受損時(shí)，患者可能在對(duì)話中忘記早先提及的信息。

　　情景記憶：涉及自我的記憶，例如記得早餐吃了什么，到過(guò)某地或與某人的對(duì)話內(nèi)容等。

　　語(yǔ)義記憶：也稱為知識(shí)記憶，涵蓋廣泛的事實(shí)性知識(shí)，例如知道法國(guó)的首都是巴黎。

　　基于微軟Azure OpenAI服務(wù)，讓認(rèn)知訓(xùn)練既通用又個(gè)性化

　　綜合上海市精神衛(wèi)生中心專家的建議與患者的需求，微軟亞洲研究院的研究員們從易用性、界面友好性、功能專業(yè)性和入門難易度等多個(gè)維度出發(fā)，開發(fā)了個(gè)性化認(rèn)知訓(xùn)練框架“憶我”(ReMe)。該工具以微軟 Azure OpenAI 服務(wù)為基礎(chǔ)模型，具備即時(shí)交互響應(yīng)功能，支持文字、圖像、語(yǔ)音等多種模態(tài)的輸入輸出，以對(duì)話機(jī)器人的形式為用戶提供全新的認(rèn)知訓(xùn)練體驗(yàn)。

　　“憶我”應(yīng)用界面

　　“將多模態(tài)大模型的通用能力與專業(yè)知識(shí)相結(jié)合，應(yīng)用到認(rèn)知訓(xùn)練領(lǐng)域，打造一個(gè)專業(yè)的領(lǐng)域智能體，是我們面臨的一個(gè)挑戰(zhàn)?！蔽④泚喼扪芯吭焊呒?jí)研究員王子龍表示，“此前，我們已經(jīng)開展了一系列研究，探索如何通過(guò)思維鏈(Chain of Thoughts)、檢索增強(qiáng)生成(Retrieval Augmented Generation, RAG)等技術(shù)，使多模態(tài)大模型能夠更好地整合專有領(lǐng)域知識(shí)，從而優(yōu)化智能代理的行為邏輯和性能。這些研究確保了智能代理能夠使用更新和更全面的領(lǐng)域知識(shí)，保持其在特定領(lǐng)域中發(fā)揮最前沿的能力，更好地進(jìn)行交互和訓(xùn)練任務(wù)?！?/p>

　　從使用流程和功能來(lái)看，個(gè)性化認(rèn)知訓(xùn)練框架“憶我”首先通過(guò)手機(jī)或可穿戴設(shè)備上傳個(gè)人記憶內(nèi)容，隨后采用更貼近生活的方式，進(jìn)行個(gè)體化的情景記憶或世界知識(shí)的開放性記憶訓(xùn)練。研究員們還提供了一個(gè)訓(xùn)練框架，讓該領(lǐng)域的醫(yī)生等研究者可以利用內(nèi)置的認(rèn)知游戲模板快速創(chuàng)建個(gè)性化的訓(xùn)練游戲。除此之外，該工具還包括交互式的評(píng)估，以便追蹤患者的認(rèn)知水平，并根據(jù)需要調(diào)整訓(xùn)練任務(wù)。

　　不僅如此，微軟亞洲研究院與上海市精神衛(wèi)生中心還在不斷向該訓(xùn)練框架擴(kuò)展更多訓(xùn)練功能和任務(wù)，除了開放性的和個(gè)體化的訓(xùn)練任務(wù)外，通過(guò)語(yǔ)音對(duì)話的自然交互體驗(yàn)，也兼容并實(shí)現(xiàn)已被驗(yàn)證有效的成熟認(rèn)知訓(xùn)練任務(wù)。例如鍛煉思維靈活性的顏色識(shí)別、鍛煉工作記憶的數(shù)學(xué)運(yùn)算等。同時(shí)，微軟亞洲研究院也在嘗試基于傳感器技術(shù)，通過(guò)可穿戴設(shè)備以機(jī)會(huì)感知(opportunistic sensing)的方式記錄日常生活中的重要節(jié)點(diǎn)和事件，促進(jìn)更便捷的個(gè)性化個(gè)人記憶訓(xùn)練。

　　推進(jìn)臨床證據(jù)獲得，釋放人工智能在醫(yī)療領(lǐng)域的更大價(jià)值

　　“在此次合作中，微軟亞洲研究院所展現(xiàn)出的開放合作精神、專業(yè)技術(shù)實(shí)力和快速創(chuàng)新能力，給我們留下了深刻的印象。這些特質(zhì)對(duì)于推動(dòng)技術(shù)在醫(yī)療健康領(lǐng)域的應(yīng)用至關(guān)重要。接下來(lái)，上海市精神衛(wèi)生中心計(jì)劃以此框架為基礎(chǔ)，設(shè)計(jì)認(rèn)知訓(xùn)練的新方法，開展一系列嚴(yán)謹(jǐn)?shù)呐R床實(shí)驗(yàn)，驗(yàn)證這種個(gè)性化認(rèn)知訓(xùn)練框架的有效性，以獲得更多的臨床證據(jù)?！痹懒後t(yī)生表示。

　　隨著證據(jù)的逐步積累，微軟亞洲研究院將持續(xù)對(duì)個(gè)性化認(rèn)知訓(xùn)練框架“憶我”進(jìn)行改進(jìn)和迭代，期望該工具能夠逐漸擴(kuò)展應(yīng)用范圍，最終能夠在社區(qū)和家庭環(huán)境中幫助提升認(rèn)知障礙患者的健康水平，減輕看護(hù)人員和家屬的負(fù)擔(dān)。

　　除了認(rèn)知訓(xùn)練，基于多模態(tài)大模型的代理干預(yù)技術(shù)未來(lái)有望應(yīng)用于更廣泛的領(lǐng)域，例如情緒調(diào)節(jié)、習(xí)慣改善以及孤獨(dú)癥等輔助干預(yù)。微軟亞洲研究院副院長(zhǎng)邱鋰力博士表示，微軟亞洲研究院將繼續(xù)通過(guò)研究與創(chuàng)新，推動(dòng)人工智能技術(shù)在臨床決策、疾病預(yù)測(cè)、藥物發(fā)現(xiàn)等醫(yī)療健康領(lǐng)域的應(yīng)用，進(jìn)而幫助醫(yī)療機(jī)構(gòu)提高醫(yī)療服務(wù)的質(zhì)量和效率，為患者帶來(lái)更精準(zhǔn)、更個(gè)性化的治療方案。

　　注：本文所述的微軟亞洲研究院在醫(yī)療健康領(lǐng)域的研究均為科研探索性質(zhì)，且均在專業(yè)醫(yī)療和醫(yī)學(xué)研究機(jī)構(gòu)的合作指導(dǎo)下進(jìn)行，旨在推動(dòng)科學(xué)進(jìn)步并為人類未來(lái)的醫(yī)療健康應(yīng)用提供理論和技術(shù)支持。所有研究均嚴(yán)格遵守微軟負(fù)責(zé)任的 AI 流程的指導(dǎo)，并遵循公平、包容、可靠性與安全性、透明、隱私與保障、負(fù)責(zé)的原則。文中所提及的技術(shù)和方法目前均處于研究和開發(fā)階段，尚未形成商業(yè)產(chǎn)品或服務(wù)，也不構(gòu)成任何醫(yī)療建議或治療方案。我們鼓勵(lì)讀者在面對(duì)健康問(wèn)題時(shí)咨詢合格的醫(yī)療專業(yè)人士。