全面评估GPT模型的可信度

生成式预训练transformer模型(GPT)的可信度一直是学术界和产业界关注的焦点。为了系统地回答这个问题,多所知名高校和研究机构联合发布了一个大型语言模型(LLMs)综合可信度评估平台,并在最新论文《DecodingTrust:全面评估GPT模型的可信度》中进行了详细介绍。

这项研究从八个可信度角度对GPT模型进行了全面评估,包括对抗性攻击的鲁棒性、有毒和有偏见输出、隐私信息泄露等方面。研究发现了一些之前未曾公布的与可信度相关的漏洞。例如,GPT模型容易被误导产生有毒和有偏见的输出,还可能泄露训练数据和对话历史中的隐私信息。

有趣的是,虽然在标准基准上GPT-4通常比GPT-3.5更可靠,但在面对恶意设计的系统提示或用户提示时,GPT-4反而更容易受到攻击。这可能是因为GPT-4更精确地遵循了误导性指令。

研究团队对模型在不同场景下的表现进行了深入分析。例如,在评估对文本对抗攻击的鲁棒性时,他们构建了三种评估场景,包括标准基准测试、不同指导性任务说明下的测试,以及更具挑战性的对抗性文本测试。

在有毒性和偏见方面的研究发现,GPT模型在良性和中性系统提示下对大多数刻板印象主题的偏差并不大。但是,在误导性系统提示下,两种GPT模型都可能被"诱骗"同意有偏见的内容。与GPT-3.5相比,GPT-4更容易受到有针对性的误导性系统提示的影响。

关于隐私泄露问题,研究发现GPT模型可能会泄露训练数据中的敏感信息,如电子邮件地址。在某些情况下,利用补充知识可以显著提高信息提取的准确率。此外,模型还可能泄露对话历史中注入的私人信息。

总的来说,这项研究为我们提供了对GPT模型可信度的全面评估,揭示了一些重要的可信度差距。研究团队希望这项工作能够鼓励更多研究者在此基础上继续深入,共同努力创造出更强大、更可信的模型。