研究表明，像Alexa和Siri这样的对话代理(ca)在解释和探索用户体验方面不如人类有效，并且可能会表现出偏见。随着自动移情变得越来越普遍，需要关键的监督来减轻潜在的危害。来源:SciTechDaily.com

　　像Alexa和Siri这样的对话代理(ca)被设计用来回答问题、提供建议，甚至表现出同理心。然而，新的研究表明，与人类相比，它们在解释和探索用户体验方面存在不足。

　　ca由大型语言模型(llm)提供支持，这些模型摄取大量人工生成的数据，因此可能容易产生与获取信息的人类相同的偏见。

　　康奈尔大学、奥林学院和斯坦福大学的研究人员测试了这一理论，他们促使人工智能在与65个不同身份的人交谈时表现出同理心。

　　价值判断与有害意识形态

　　研究小组发现，ca会对某些身份做出价值判断——比如同性恋和穆斯林——并可能鼓励与有害意识形态相关的身份，包括纳粹主义。

　　该研究的主要作者、斯坦福大学博士后安德里亚·夸德拉说:“我认为，自动移情可能会产生巨大的影响，并有巨大的积极潜力，比如在教育或医疗保健领域。”

　　她说:“它(自动同理心)不发生的可能性非常小，所以当它发生时，我们有批判性的观点很重要，这样我们就可以更有意识地减轻潜在的伤害。”

　　夸德拉将呈现“同理心的幻觉?”人机交互中情感表现的注释”，CHI '24，计算机械协会关于计算系统中人类因素的会议，5月11日至18日在檀香山举行。康奈尔大学的研究合著者包括副教授Nicola Dell、计算机科学教授Deborah Estrin和信息科学副教授Malte Jung。

　　情绪反应与解释

　　研究人员发现，总体而言，法学硕士在情绪反应方面得分较高，但在解释和探索方面得分较低。换句话说，法学硕士能够根据他们的训练对查询做出回应，但无法深入挖掘。

　　戴尔、埃斯特林和荣格说，他们之所以想到这项工作，是因为夸德拉正在研究老年人使用早期ca的情况。

　　埃斯特林说:“她目睹了这项技术在交易目的上的有趣应用，比如虚弱的健康评估，以及开放式的回忆体验。”“在这个过程中，她清楚地看到了令人信服和令人不安的‘同理心’之间的紧张关系。”

　　参考文献:《同理心的错觉?》《人机交互中的情感表现笔记》，作者:Andrea Cuadra, Maria Wang, Lynn Andrea Stein, Malte F. Jung, Nicola Dell, Deborah Estrin和James A. Landay, 2024年5月11日，CHI '24。DOI: 10.1145/3613904.3642336

　　这项研究的资金来自美国国家科学基金会;Cornell Tech Digital Life Initiative博士奖学金;斯坦福PRISM Baker博士后奖学金;以及斯坦福大学以人为中心的人工智能研究所。