AAAI 2026：趣丸科技提出LLM情感动态轨迹评估框架，填补行业空白
近日，由趣丸科技与北京大学软件工程国家工程研究中心共同发表的《Detecting Emotional Dynamic Trajectories: An Evaluation Framework for Emotional Support in Language Models（检测情感动态轨迹：大语言模型情感支持的评估框架）》论文，获AAAI 2026录用。
AAAI 由国际人工智能促进协会（Association for the Advancement of Artificial Intelligence, AAAI）主办，是人工智能领域极具影响力的国际顶级学术会议之一，也是中国计算机学会（CCF）推荐的 A 类国际学术会议，在全球学术界和工业界具有广泛影响力。本届会议共收到来自世界各地的投稿摘要31000篇，最终录用4167篇，录用率仅为17.6%，创历史新低。
情感支持是人类与人工智能交互的核心能力，现有的大语言模型（LLMs）评估往往依赖于简短、静态的对话，未能捕捉到情感支持的动态和长期性质。
对于大语言模型情感能力的评价是做好自研的关键，我们分析了情感支持对话（ESC）目前现状和存在的问题。随着大型语言模型的进步，ESC 已从情绪识别和生成扩展到包括更广泛的以人为中心的任务，例如角色扮演，心理陪伴，以及随意聊天，开发有效的情绪支持不仅能减少负面情绪，还能通过持续、高质量的互动帮助维持积极的情绪状态。
因此，我们提出了一套全新的、检测情感动态轨迹的评估框架（简称ETrajEval），用于更加科学、系统地评估大语言模型在长期对话中提供情感支持的能力。
论文地址：
https://arxiv.org/abs/2511.09003v1
项目代码：
https://github.com/QuwanAI/ETrajEval
现有的评估方法增进了我们对语言学习模型情感能力的理解，但这些方法存在两个主要局限性：
缺乏长期和动态的互动。
过分强调以模型为中心的响应质量。
为了更好地评估LLMs的情感支持能力，我们采用以用户为中心的视角，关注用户在整个交互过程中的情感轨迹。如果一个模型能够持续改善并稳定用户的情绪状态，则认为该模型具有情感支持能力。
基于心理学理论，我们的框架解决了以下关键问题：
我们构建了一个包含 328 个交互环境，以及环境中可能出现的影响人类情绪变化的 1152 个干扰事件。以模拟真实的情绪变化，并评估模型在不断演变的情境下的适应性。
我们利用基于心理学理论的情绪调节策略（例如情境选择和认知重评）来约束模型响应，从而鼓励符合已验证治疗原则的支持性行为。
我们模拟了涉及重复情绪干扰的长期动态交互。用户的情绪轨迹被建模为一阶马尔可夫过程，并应用因果调整的情绪估计来实现对情绪状态的无偏追踪。
基于此框架，我们提出了三个轨迹层面的指标：平均情绪水平 (BEL)、情绪轨迹波动 (ETV) 和情绪质心位置 (ECP)。这些指标共同表征了用户情绪状态的动态变化，并可作为评估情绪波动和稳定性的指标。这些组件共同构成了一个动态评估框架，该框架由三大支柱组成：评估环境、动态交互和基于情感轨迹的指标。
我们的主要贡献如下：
评估建模：我们提出了一种动态的、长期的评估框架，该框架使用马尔可夫过程和因果调整估计来跟踪用户的情感轨迹。它引入了三个轨迹级指标（BEL、ETV、ECP），并包含了完整的理论论证。
数据集：我们构建了一个包含 328 个情绪情境和 1,152 个干扰事件的大规模基准，并使用来自心理学的已验证的情绪调节策略来约束模型响应。
实验验证：通过对各类当前业界领先的模型进行广泛评估，我们发现它们在长期情感支持能力方面存在显著差异。本评估方法为开发更具情感支持的模型提供了可操作的见解。
BEL 的结果揭示了几个关键发现。首先，顶级的开源模型和闭源模型在整体情感支持能力方面没有显著差异；其次，专门为角色扮演设计的模型在维持用户积极情绪状态方面并未优于通用型语言学习模型 (LLM)。第三，模型在英语对话中展现出比中文对话中显著更强的长期情感支持能力，大多数模型都能帮助用户在英语对话中维持更高的平均情绪水平。最后，在具体策略应用方面，模型在根据用户状态动态调整英语对话策略方面存在不足；相反，在中文对话中，模型引导用户改变外部环境以改善情绪的策略应用明显较弱。
（一）情绪质心位置可视化
我们通过比较不同LLM的情感质心（根据经验转移模型计算得出的预期情感位置），进一步分析了它们的情感引导能力。M如图所示，横轴（Cx) 代表轨迹的整体情绪积极性，而纵轴（Cy−Cx）捕捉了回合间的情绪集中度或一致性。
上图结果显示模型之间存在明显差异：表现最佳的模型，特别是那些BEL和ETV得分高的模型，均表现出较高的性能。这些数值表明，模型在引导用户达到积极稳定的情绪状态方面具有强大的能力。相比之下，质心值较低的模型要么无法维持积极的情绪发展进程，要么用户情绪轨迹波动性更大。值得注意的是，一些针对英语指令进行调整的模型（例如 ChatGPT-4o-Latest、kimi-K2-Preview）的质心定位优于其对应的中文模型，这表明不同语言的预训练和对齐方式在情绪调节策略上存在差异。
（二）情绪轨迹可视化
为了更直观地理解我们提出的评估框架，我们针对三种情绪干扰程度（0、1 和 3 次干扰事件）进行了可视化分析。下图揭示了以下几点：
（1）ETV 得分较高的模型能更有效地帮助用户从低落的情绪状态中恢复，这印证了我们之前的论断。
（2）在没有干扰事件的情况下，这些模型可以在相对较短的时间内将用户的情绪恢复到中性水平。
（3）多次干扰事件会降低情绪恢复的速度；然而，具有更强情绪支持能力的模型对这类干扰表现出更强的抵抗力。
（三）基于因果增强的情感修正估计
为了评估我们情感识别模型与人类感知的一致性并验证我们的估计校准方法，我们构建了一个人工标注的多轮对话数据集。该数据集包含近2000个中英文多轮对话，这些对话选自Daily Dialog和CPED语料库。我们邀请了三位专家标注员，在现有标注的基础上，对这些对话中每一轮的情感进行二元标注。详情请参考附录。
如表3所示，我们的研究结果主要体现在两个方面。首先，对比实验表明，我们提出的估计校准方法能够有效降低混杂因素的影响，从而提升模型的情感识别能力。应用我们提出的无偏估计方法后，不同模型的情感识别性能均得到提升。值得注意的是，与其他现有模型相比，我们的方法达到了目前最先进的水平。其次，我们的评估模型结合校准方法，与人类判断具有高度一致性，在中文对话上的准确率达到75%，在英文对话上的准确率达到90%。
本文提出了一种情感动态轨迹分析框架，用于评估语言模型的情感支持能力。该框架的核心在于模拟真实的用户-模型交互过程，通过构建背景上下文、引入多策略约束以及融入事件驱动的扰动来引导交互。我们从三个角度设计了动态轨迹分析的评价指标，并利用因果推断来校准评估结果。实验结果表明，我们的方法能够更全面、多维度地评估模型的情感支持能力，且与人类评估结果高度一致。
我们还带来了其他几个关联开源项目，欢迎交流与体验：
测评体系和框架：PQAEF
https://github.com/QuwanAI/PQAEF
情感陪伴能力测评基准和数据集：MoodBench
https://github.com/QuwanAI/MoodBench
https://huggingface.co/datasets/Quwan/MoodBench
https://www.modelscope.cn/datasets/QuwanAI/MoodBench
趣丸开天情感陪伴大模型（8b）：
https://modelscope.cn/models/QuwanAI/quwan-ktian-8b-0922/summary
https://huggingface.co/Quwan/quwan-ktian-8b-0922
