人类的情绪从来不是一套简单的标签，它既有面部肌肉的细微变化，也有心跳、皮肤电导、脑电波这些难以伪装的生理反应。过去我们总觉得机器很难理解这些复杂的信号，但深度学习的出现让这件事突然变得现实起来。尤其是当研究者开始把面部表情和生理信号拆开来看，单模态的研究路线反而让问题变得更清晰，也更容易找到突破口。

面部表情是可见的，它直观、自然，但也容易被伪装。生理信号是隐性的，它真实、难以控制，却充满噪声。两者各有价值，也各有难点。正因为如此，单模态研究并不是退而求其次，而是为了更精准地理解每一种信号的独立贡献。只有把每条路走扎实，未来的多模态融合才有真正的基础。

基于最新发表的综述《Deep learning-based emotion recognition using unimodal facial expressions or physiological signals: A revie》，今天我们的的核心任务就是把深度学习在单模态情绪识别中的技术演进讲清楚，把数据集、模型、预处理、评价协议这些看似琐碎但极其关键的环节串成一个系统框架，同时把研究里反复强调的隐性风险摊开来说。数据泄漏、评价偏差、泛化不足，这些问题在情绪识别领域几乎是普遍存在的隐患，甚至比模型结构本身更影响最终的可靠性。

这项研究由一个跨国团队完成，主力来自澳大利亚 Deakin University 的 IISRI，包括 Mohsen Golafrouz、Houshyar Asadi、Mohammad Anwar Hosen、Amin Khatami、Siamak Pedrammehr、Lei Wei。团队还汇集了来自 Sohar University 和 James Cook University 的 Mohammad Reza Chalak Qazani，来自 Royal Holloway 的 Li Zhang，来自Swinburne University 的 CP Lim 和Saeid Nahavandi，以及来自 RMIT University 的 Mojgan Fayyazi。这个阵容本身就说明了研究的跨学科属性，从智能系统到计算机视觉，从生理信号处理到深度学习架构设计，几乎覆盖了情绪识别的所有关键领域。

1.从传统到深度学习的范式迁移

情绪识别的研究并不是从深度学习开始的，早期的研究者更像是工匠，他们依赖特征工程，用手工挑选眉毛角度、嘴角弧度、心率变化、皮肤电导波形的统计特征，再用传统分类器去做判断。那时候的模型更像是规则系统，能用，但不稳。

深度学习的出现改变了整个游戏规则。卷积网络让图像中的表情细节自动浮现，循环网络让时序信号的变化被自然捕捉，端到端的训练方式让特征提取和分类不再割裂。情绪识别从此进入了一个新的时代，模型开始自己学习情绪的结构，而不是依赖人为定义。

不过，现有的综述文章大多存在一些明显的不足。很多研究偏向某一种模态，比如只讲 EEG 或只讲面部表情，导致整体视角不够完整。结构上也常常是堆砌模型和数据集，缺乏系统性的分析框架，更缺少对评价协议和数据泄漏问题的批判性讨论。

图1：使用单峰分析进行基于深度学习的情绪识别的一般流程。

这项研究的差异化就在这里。它坚持聚焦单模态，把每一种信号的深度学习方法拆开讲清楚，同时把评价协议和数据泄漏问题放在核心位置。更重要的是，它试图构建一个跨模态的统一分析框架，让研究者能够用同一套标准去审视不同信号的深度学习方法，这在情绪识别领域是非常重要的。

2.系统性综述的技术标准

为了让综述更有说服力，研究采用了系统性的检索方法。研究团队从多个主流数据库中筛选文献，包括 IEEE Xplore、ScienceDirect、SpringerLink、Scopus 和 Google Scholar。检索关键词覆盖情绪识别、深度学习、面部表情、生理信号等多个方向，时间范围锁定在深度学习快速发展的十年间。

纳入标准非常明确，必须是单模态研究，必须使用深度学习或深度学习与传统方法的混合架构，必须有可量化的实验指标。排除标准也很严格，凡是多模态研究、纯传统机器学习方法、缺乏实验细节的文章，都不会进入最终分析。

筛选流程从标题和摘要开始，再到全文审查，最终形成一个结构化的数据提取表。提取维度包括数据集规模、预处理策略、深度学习架构、评价协议、泛化能力以及是否存在数据泄漏风险。这些维度构成了研究的分析骨架，也让后续的技术解读更有逻辑性。

3.情感识别基础：从情绪模型到应用场景

聊情感识别，绕不开一个最基本的问题，人类的情绪到底怎么被机器理解。研究界常用两种方式来描述情绪，一种是把情绪拆成几个“基本类目”，另一种是把情绪放进一个连续空间里，用坐标来表达。

前一种方式来自心理学家对人类表情的长期观察，认为人类有一些跨文化的基础情绪，比如愤怒、悲伤、快乐、惊讶、恐惧、厌恶。这些情绪像是人类共同的“表情字典”，机器只要学会识别这些字典里的词，就能理解大部分情绪状态。

另一种方式更像是把情绪放进一个二维坐标系，横轴是愉悦程度，纵轴是激活程度。愉悦程度从负到正，激活程度从低到高。这样一来，情绪不再是离散的标签，而是一个点的位置。比如高愉悦高激活的点可能对应兴奋，低愉悦低激活的点可能对应沮丧。这种方式更适合处理生理信号，因为信号本身就是连续的。

说到单模态，意思是只用一种数据源来识别情绪。面部表情是最直观的模态，摄像头一拍就能看到肌肉的变化，但问题也很明显，人可以伪装表情，甚至可以完全不动脸。生理信号就不一样了，心跳、皮肤电、脑电这些东西骗不了人，情绪一来，它们就跟着变化。不过生理信号的采集比拍照麻烦得多，需要设备、需要贴片、需要环境控制，所以单模态的选择往往取决于应用场景。

应用场景其实非常广。医疗领域可以用情绪识别来监测抑郁、焦虑，甚至帮助医生判断患者的心理状态。教育领域可以用它来判断学生的专注度和压力水平，让教学系统更智能。驾驶场景里，情绪识别可以判断司机是否疲劳或紧张，提高安全性。机器人和智能交互更不用说，机器如果能理解人的情绪，互动体验会完全不同。

4.深度学习情感识别的技术谱系：统一的五维分类法

图2：情感识别中使用的深度学习技术概述。

要理解这项研究的技术框架，可以把它想象成一个五维的坐标系统，每个维度都对应情绪识别的一个关键环节。

第一个维度是模态，也就是数据源。面部表情属于视觉模态，生理信号属于时序模态，两者的特性完全不同，模型设计也不同。

第二个维度是数据集和情绪诱发方式。面部表情数据集通常是拍摄好的图像或视频，生理信号数据集则需要实验诱发，比如播放电影、音乐、图片，让受试者产生情绪，再记录信号。

第三个维度是数据处理和表示。视觉数据需要裁剪、对齐、增强，生理信号需要滤波、去噪、分段。不同的预处理方式会直接影响模型性能。

第四个维度是深度学习方法论。视觉模态常用卷积网络，时序模态常用循环网络或一维卷积，最近也开始用 Transformer。不同架构适合不同数据结构。

第五个维度是评价协议和泛化能力。主体依赖的评价方式通常性能很高，但不具备真实场景的泛化能力。主体独立的评价方式更严格，但性能往往下降明显。跨数据集的泛化更是难上加难。

在这五维框架里，有三条方法论轴线特别关键。第一条是特征工程和端到端的对比。传统方法依赖手工特征，深度学习则倾向端到端。第二条是主体依赖和主体独立的差异。主体依赖容易过拟合，主体独立才是真实世界。第三条是单数据集和跨数据集的差别。单数据集的高性能不代表模型真的强，跨数据集才是检验模型的终极方式。

5.单模态面部表情识别，视觉深度学习的成熟体系

面部表情识别是深度学习最早攻克的领域之一，技术体系已经非常成熟。卷积网络长期占据主导地位，从最早的简单 CNN，到 VGG、ResNet，再到各种轻量化网络，视觉模型的演进几乎伴随整个深度学习的发展。

后来出现了三维卷积网络，把时间维度也纳入建模，让模型不仅能看静态表情，还能看表情变化的过程。再往后，注意力机制开始流行，像 ACNN、pACNN、gACNN 这些模型都试图让网络关注关键区域，比如眼睛、嘴角、眉毛，让识别更精准。

最近几年，视觉 Transformer 开始进入表情识别领域。它的优势是能捕捉全局依赖，不像卷积那样只能看局部。不过 Transformer 对数据规模要求很高，表情数据集普遍偏小，所以它的表现有时不稳定。

说到数据集，FER2013 是最常用的，它规模大但质量一般。CK+ 是实验室环境的数据集，表情夸张，容易识别。JAFFE 是日本女性的表情数据集，规模小但干净。RAF-DB 是更贴近真实场景的数据集，表情自然但难度高。

面部表情识别有几个老问题一直存在。表情遮挡是最典型的，比如戴口罩、戴眼镜、手挡脸，这些都会让模型失效。光照和姿态变化也很麻烦，侧脸、逆光、低光都会影响识别。数据集偏差更是普遍问题，很多数据集的表情都很“标准化”，不符合真实世界。评价协议不一致也会导致性能虚高，有些研究用主体依赖的方式评估，结果看起来很漂亮，但换个受试者就不行了。

6.生理信号情绪识别：多模态时序深度学习的挑战区

如果说面部表情是情绪识别的“显性渠道”，生理信号就是情绪识别的“底层真相”。它们藏在皮肤电、心跳、脑电、肌肉活动、眼动、血氧变化里，骗不了人，但也难伺候。每一种信号都有自己的脾气，深度学习模型要想吃透它们，得有耐心，也得有技术。

生理信号的共同特点是时序性强、噪声多、个体差异大。模型不仅要能抓住时间上的细微变化，还要能在一堆噪声里找到真正的情绪线索。更麻烦的是，不同人的生理反应差别巨大，同样的刺激，有人心跳飙升，有人纹丝不动。主体独立的模型在这里往往吃亏，性能掉得厉害。

下面我们按信号类型逐个拆解，让你看到这片领域的真实复杂度。

EEG：脑电信号的高维迷宫

脑电是情绪识别里最复杂的信号之一。它维度高、噪声大、伪迹多，稍微动一下眉毛都可能让信号乱成一锅粥。深度学习在 EEG 上的主力模型是 CNN-LSTM、注意力机制和 Transformer。卷积负责抓局部模式，循环网络负责时间依赖，注意力和Transformer 则试图从全局视角理解脑电的动态结构。

EEG 的预处理是个大工程。滤波、去伪迹、分段，每一步都可能影响最终性能。主体独立的表现普遍不理想，跨人泛化几乎是所有 EEG 模型的痛点。

更严重的是数据泄漏。很多研究把脑电信号切成窗口，但没有把同一个试次的窗口严格分开，导致训练集和测试集共享信息。模型看起来很准，其实是“提前偷看了答案”。研究里反复强调，这种窗口切分是 EEG 研究里最常见的隐性风险。

ECG：心电信号的节律密码

心电信号比脑电简单一些，但也不算容易。它的主力模型是 1D-CNN、双向 LSTM 和CRNN。心率变异性是 ECG 情绪识别的核心特征，深度学习模型往往能自动学到这些节律变化。

自监督学习在 ECG 上开始展现潜力。因为心电数据难采集，标注成本高，自监督可以让模型先学“心跳的基本规律”，再去识别情绪。

评价协议对 ECG 的影响非常大。主体依赖的结果往往很漂亮，但主体独立一上来，性能就掉得让人心疼。

GSR：皮肤电的低维世界

皮肤电是生理信号里最简单的模态之一。它维度低、结构简单，CNN 就能搞定大部分任务。问题在于数据集普遍很小，主体独立的表现也不稳定。

皮肤电的优势是采集方便，但缺点是信息量有限。它更像是情绪的辅助信号，而不是主力。

PPG：光电容积脉搏的光影游戏

PPG 是用光来测脉搏，信号结构比心电更柔和。深度学习常用 CNN、双向 LSTM 和ResNet-BiLSTM 来处理它。很多研究会把 PPG 转成频谱图或小波图，让模型从“图像”角度理解节律变化。

GAN 在 PPG 上被用来做数据增强，效果有时不错，但也有风险，生成的数据可能不够真实。

remote PPG 是一个很有意思的方向，它直接从视频里提取脉搏信号。听起来很酷，但光照变化、运动干扰都会让信号乱掉，模型要想稳定表现，难度不小。

RR：呼吸信号的稀缺战场

呼吸信号的数据少得可怜。研究者通常用 RVS 加 CNN 来处理它。呼吸节律确实能反映情绪，但数据太少，模型很难泛化。

EMG：肌电信号的噪声丛林

肌电信号是噪声大户。肌肉活动复杂，伪迹多，模型要想从中找情绪线索，得有强大的抗噪能力。常见方法是 CNN 加频域特征，让模型同时看时域和频域。

EOG / Eye Tracking：眼动的行为密码

眼动信号可以反映注意力和情绪状态。深度学习常用 LSTM 和 GRU 来处理它。也有研究把眼动序列转成类似文本的结构，用序列模型来理解。

问题在于数据集稀缺，眼动设备也不算普及，所以研究量不大。

fNIRS：近红外脑成像的高维挑战

fNIRS 是一种用光来测脑部血氧变化的技术。它维度高、采样低，预处理复杂。深度学习常用 CNN、LSTM-FCN 和 DBN 来处理它。

主体独立的研究开始出现，但数量仍然有限。fNIRS 的潜力很大，但门槛也高。

7.评价协议与数据泄漏，当前研究最严重的隐性风险

研究里最尖锐的批判集中在评价协议和数据泄漏。很多研究的高性能其实是“虚高”，原因不在模型，而在实验设计。

主体依赖的评价方式让模型只在同一个人的数据上测试，结果自然好看。但真实世界里，模型必须面对不同的人，主体独立才是硬标准。

数据泄漏更是致命。重叠窗口、同一试次的片段同时进入训练和测试、没有按受试者划分，这些问题都会让模型提前看到测试数据。性能被严重高估，研究结论也随之失真。

跨数据集泛化几乎没人做。模型在一个数据集上表现很好，换个数据集就不行了。这说明模型学到的不是情绪，而是数据集的特征。

8.未来方向是从模型性能到系统可靠性的转向

研究最后的观点很明确，情绪识别的研究不能再停留在“准确率竞赛”。未来的核心目标是可靠性和泛化能力。

标准化评价协议是第一步。必须统一主体独立的划分方式，必须杜绝窗口泄漏。

大规模、多主体、多场景的数据集是第二步。没有数据，模型再强也没用。

自监督学习和对比学习会成为关键技术。它们能让模型在无标注数据上学习底层规律，提高泛化能力。

Transformer 和轻量化模型也会继续发展。前者适合复杂结构，后者适合实时应用。

低研究度模态值得更多关注。呼吸、眼动、肌电这些信号虽然难，但信息量独特。

多模态融合是最终方向。单模态有局限，多模态才能让情绪识别真正接近人类水平。

未来的情绪识别不再追求“高准确率”，而是追求“高可靠性”和“高泛化能力”。这是从模型性能到系统可信度的转型，也是情绪识别走向真实世界的必经之路。