大型语言模型可信度评估的全面研究

一项由伊利诺伊大学香槟分校与斯坦福大学、加州大学伯克利分校、人工智能安全中心和微软研究院共同开展的研究，对生成式预训练transformer模型（GPT）的可信度进行了全面评估。研究团队发布了一个综合评估平台，并在最近的论文《DecodingTrust：全面评估GPT模型的可信度》中详细介绍了他们的发现。

研究揭示了一些以前未公开的与可信度相关的漏洞。例如，GPT模型容易被误导，产生有毒和有偏见的输出，并可能泄露训练数据和对话历史中的隐私信息。有趣的是，尽管GPT-4在标准基准测试中通常比GPT-3.5更可靠，但在面对旨在绕过安全措施的恶意提示时，GPT-4反而更容易受到攻击。这可能是因为GPT-4更严格地遵循了误导性指令。

研究团队从八个可信度角度对GPT模型进行了全面评估，包括对抗性鲁棒性、有毒性和偏见、隐私泄露等方面。他们构建了多种评估场景，以测试模型在不同条件下的表现。

在对抗性演示方面，研究发现GPT-3.5和GPT-4对反事实示例具有一定的抵抗力，但在某些情况下也可能被误导。关于有毒性和偏见，两种模型在良性提示下对大多数刻板印象主题的偏差较小，但在误导性提示下，它们可能会产生有偏见的内容，尤其是GPT-4。

隐私方面，研究发现GPT模型可能会泄露训练数据中的敏感信息，如电子邮件地址。在某些情况下，利用额外知识可以显著提高信息提取的准确率。总体而言，GPT-4在保护个人身份信息方面表现更好，但两种模型在特定类型的敏感信息保护上都相对稳健。

研究团队强调，这项工作旨在鼓励更多研究者参与，以预防潜在的恶意利用。他们希望这个基准能促进合作，推动更强大、更可信的模型开发。为此，他们设计的评估代码具有高度可扩展性和易用性，只需一个命令就能对新模型进行完整评估。

值得注意的是，研究团队与相关产品部门合作，确认这些发现不会影响当前面向客户的服务。这部分归功于已实施的一系列缓解措施。研究结果也已与模型开发商分享，以便进一步改进。