近日，深圳北理莫斯科大學(xué)粵港澳情感智能與普適計(jì)算聯(lián)合實(shí)驗(yàn)室在多模態(tài)抑郁癥檢測(cè)研究方面取得新進(jìn)展。胡希平教授、王偉教授和陳健同學(xué)的研究成果《IIFDD: Intra and Inter-modal Fusion for Depression Detection with Multi-modal Information from Internet of Medical Things》在計(jì)算機(jī)科學(xué)領(lǐng)域的頂級(jí)期刊Information Fusion（影響因子：18.6, DOI：https://doi.org/10.1016/j.inffus.2023.102017）發(fā)表。深圳北理莫斯科大學(xué)為第一作者單位和第一通訊單位。該成果也是學(xué)校首次以第一單位和通訊單位在該期刊上發(fā)表研究成果。

傳統(tǒng)的抑郁癥檢測(cè)方法依賴(lài)于臨床專(zhuān)家根據(jù)患者的癥狀或通過(guò)抑郁測(cè)試量表對(duì)患者進(jìn)行診斷。然而這種方法往往是主觀(guān)的，而且取決于醫(yī)生的專(zhuān)業(yè)知識(shí)。隨著醫(yī)療物聯(lián)網(wǎng)（IoMT）的發(fā)展，越來(lái)越多的設(shè)備被設(shè)計(jì)用于收集抑郁檢測(cè)信息，包括音頻、視頻和文本數(shù)據(jù)，這些數(shù)據(jù)能夠有效且全面反映一個(gè)人的情緒。因此，研究人員越來(lái)越關(guān)注開(kāi)發(fā)基于 IoMT 技術(shù)的多模態(tài)智能抑郁檢測(cè)方法，以提高抑郁診斷的準(zhǔn)確性和客觀(guān)性。

圖1： 基于 IoMT 的多模態(tài)信息融合的抑郁檢測(cè)示例

在論文中，胡希平教授團(tuán)隊(duì)發(fā)現(xiàn)了現(xiàn)有的抑郁癥智能檢測(cè)算法中存在著模態(tài)內(nèi)與模態(tài)間特征挖掘與融合不充分的問(wèn)題，通過(guò)引入注意力機(jī)制與改進(jìn)多模態(tài)Transformer，提出了模態(tài)內(nèi)模態(tài)間融合抑郁癥檢測(cè)框架，大幅提高了基于文本、語(yǔ)言、視覺(jué)三種模態(tài)數(shù)據(jù)的抑郁癥檢測(cè)算法的效果。在公開(kāi)的抑郁癥語(yǔ)料庫(kù)CMDC與EATD-Corpus上的實(shí)驗(yàn)表明，論文提出的IIFDD框架在相同的實(shí)驗(yàn)設(shè)置下，能達(dá)到最高的抑郁癥分類(lèi)性能

該成果由深北莫粵港澳情感智能與普適計(jì)算聯(lián)合實(shí)驗(yàn)室的陳健、胡雨竺、賴(lài)麒峰、王偉教授、陳俊鑫教授、劉晗副教授、Gautam Srivastava教授、Ali Kashif Bashir教授和胡希平教授共同完成。合作單位包括：中山大學(xué)、大連理工大學(xué)、加拿大Brandon University、英國(guó)Manchester Metropolitan University。

團(tuán)隊(duì)相關(guān)教師信息：

胡希平教授：http://www.ow37q1z.xyz/info/5721/77161.htm

王偉教授：http://www.ow37q1z.xyz/info/5721/78351.htm