提升AI可信度：MIT团队开发新工具对抗“幻觉”

来源：MIT News

尽管大型语言模型的能力令人印象深刻，但它们仍然远非完美。这些人工智能模型有时会出现“幻觉”，生成不正确或没有依据的信息来回应查询。

由于这个幻觉问题，模型的响应通常需要由人工审查员进行验证，尤其是在医疗或金融等高风险环境中。然而，验证过程往往要求人们阅读模型引用的长文档，这项繁琐且容易出错的任务可能会让一些用户望而却步，从而不愿意使用生成式 AI 模型。

为帮助人工验证者，MIT 的研究人员创建了一个用户友好的系统，使人们能够更快地验证大型语言模型的响应。这个名为 SymGen 的工具可以让 LLM 生成带有引用的响应，直接指向源文档中的具体位置，比如数据库中的某个单元格。

用户可以悬停在文本响应的高亮部分，以查看模型用于生成特定词汇或短语的数据。同时，未高亮的部分则显示需要额外关注以进行检查和验证的短语。

“我们让人们能够选择性地关注他们需要更加关注的文本部分。最终，SymGen 能够提高人们对模型响应的信心，因为他们可以轻松地仔细检查，以确保信息的可靠性。”电气工程与计算机科学研究生、SymGen 论文的共同第一作者 Shannon Shen 表示。

通过用户研究，Shen 和他的合作者发现，使用 SymGen 进行验证的时间比手动流程缩短了约 20%。通过使人们验证模型输出的过程更快、更简单，SymGen 有助于识别在各种实际应用中使用的 LLM 的错误，从生成临床记录到总结金融市场报告。

Shen 的论文合作者还包括共同第一作者、EECS 研究生Lucas Torroba Hennigen；EECS 研究生 Aniruddha “Ani” Nrusimha；Good Data Initiative 的** Bernhard Gapp；以及高级作者 David Sontag，EECS 教授、MIT Jameel Clinic 成员、计算机科学与人工智能实验室（CSAIL）临床机器学习组的负责人；还有助理教授 yoon Kim，CSAIL 的成员。该研究最近在语言建模会议上进行了展示。

符号引用

为了帮助验证，许多 LLM 被设计为生成引用，指向外部文档，并提供语言基础的响应，以便用户进行检查。然而，这些验证系统通常是事后考虑的，并没有考虑到人们在筛选大量引用时所需的努力，Shen 说。

“生成式 AI 的目的是减少用户完成任务所需的时间。如果您需要花费数小时阅读这些文档，以验证模型的说法是否合理，那么在实际应用中生成的内容就不那么有帮助了。”Shen 表示。

研究人员从将要进行验证工作的人的角度来解决这个问题。

SymGen 用户首先向 LLM 提供可以作为参考的数据，例如包含篮球比赛统计信息的表格。然后，研究人员进行一个中间步骤，而不是立即要求模型完成任务，比如从这些数据生成比赛摘要。他们提示模型以符号形式生成响应。

在这个提示下，每当模型希望在响应中引用词汇时，必须写出数据表中包含该信息的具体单元格。例如，如果模型想在响应中引用“波特兰开拓者”这个短语，它将用数据表中包含这些词的单元格名称替换该文本。

“因为我们有这个中间步骤，使文本以符号格式呈现，我们能够实现非常精细的引用。我们可以明确指出，输出中每一段文本具体对应数据中的哪一部分。”Torroba Hennigen 表示。

SymGen 然后使用基于规则的工具解析每个引用，将相应的文本从数据表复制到模型的响应中。

“这样，我们知道它是逐字复制的，因此可以确保与实际数据变量对应的文本部分不会出错。”Shen 补充道。

简化验证

模型能够生成符号响应，是由于其训练方式。大型语言模型接受来自互联网的大量数据，其中一些数据以“占位符格式”记录，代码替代了实际值。

当 SymGen 提示模型生成符号响应时，它使用类似的结构。

“我们以特定的方式设计提示，以发挥 LLM 的能力。”Shen 补充说。

在用户研究中，大多数参与者表示 SymGen 使验证 LLM 生成的文本变得更容易。他们验证模型响应的速度比使用标准方法快约 20%。

然而，SymGen 的效果受源数据质量的限制。LLM 可能引用错误的变量，而人工验证者可能对此毫不知情。

此外，用户必须以结构化格式（如表格）提供源数据，以便输入到 SymGen。目前，该系统仅适用于表格数据。

展望未来，研究人员正在增强 SymGen 的功能，以便处理任意文本和其他数据形式。有了这个能力，它可以帮助验证 AI 生成的法律文件摘要的某些部分。他们还计划与医生一起测试 SymGen，以研究它如何识别 AI 生成的临床摘要中的错误。

这项工作部分由 LiBERTy Mutual 和 MIT 智能探索计划资助。