GPTモデルの信頼性を総合的に評価する

生成型事前学習transformerモデル(GPT)の信頼性は、学術界と産業界の関心の中心であり続けています。この問題に体系的に答えるために、多くの著名な大学と研究機関が共同で、大規模言語モデル(LLMs)の包括的信頼性評価プラットフォームを発表し、最新の論文《DecodingTrust:GPTモデルの信頼性を包括的に評価する》で詳細に紹介しました。

この研究は、GPTモデルを8つの信頼性の観点から包括的に評価しました。これには、対抗攻撃に対するロバスト性、有害で偏見のある出力、プライバシー情報の漏洩などが含まれます。研究では、これまで公表されていなかった信頼性に関連するいくつかの脆弱性が発見されました。例えば、GPTモデルは有害で偏見のある出力を生成するよう誤導されやすく、トレーニングデータや対話履歴に含まれるプライバシー情報を漏洩する可能性もあります。

興味深いことに、標準的なベンチマークではGPT-4は通常GPT-3.5よりも信頼性が高いですが、悪意のある設計のシステムプロンプトやユーザープロンプトに直面した際には、GPT-4は逆に攻撃を受けやすくなります。これは、GPT-4が誤解を招く指示に対してより正確に従うからかもしれません。

研究チームは、異なるシナリオにおけるモデルのパフォーマンスについて詳細な分析を行いました。例えば、テキストの対抗攻撃に対するロバスト性を評価する際、彼らは標準ベンチマークテスト、異なる指示的タスク説明に基づくテスト、そしてより挑戦的な対抗テキストテストを含む三つの評価シナリオを構築しました。

有毒性や偏見に関する研究では、GPTモデルは良性および中立的なシステムプロンプトの下で大多数のステレオタイプテーマに対する偏見はそれほど大きくないことが明らかになっています。しかし、誤解を招くシステムプロンプトの下では、両方のGPTモデルが偏見のある内容に同意するよう「誘導」される可能性があります。GPT-3.5と比較して、GPT-4はターゲットを絞った誤解を招くシステムプロンプトの影響を受けやすいです。

プライバシー漏洩の問題に関して、研究によると、GPTモデルはトレーニングデータ内のセンシティブな情報、例えばメールアドレスを漏らす可能性があります。場合によっては、補足的な知識を利用することで、情報抽出の精度を大幅に向上させることができます。さらに、モデルは会話履歴に注入されたプライベートな情報を漏らす可能性もあります。

全体として、この研究は私たちにGPTモデルの信頼性についての包括的な評価を提供し、いくつかの重要な信頼性のギャップを明らかにしました。研究チームは、この作業がより多くの研究者がこれを基にしてさらに深く掘り下げ、より強力で信頼できるモデルを共同で創造することを奨励することを望んでいます。