強如 GPT-4，也未通過伯克利與斯坦福共同設計的這項“劇本殺”測試

編譯 | 賴文昕

編輯 | 陳彩嫻

語言大模型能依據人類設定的規則生成內容嗎？

這背后關乎人類用戶使用大模型的安全問題。

例如，AI 科技評論想使用 GPT-4 制作一張包含對話框的圖片，但沒有針對目標生成對話的內容給予明確指示，而 GPT-4 生成的圖文效果便如下，顯示文本邏輯混亂、字不成章，還有部分“重影”：

語言大模型能否遵循人類指示生成合格內容，是人類能否操控人工智能的重要評測標準之一。

近日，加州大學伯克利、斯坦福大學聯合AI安全中心（CAIS）及阿卜杜勒阿齊茲國王科技城（KACST）聯合發表了一項最新研究，提出一個用于衡量語言大模型（LLM）遵循規則能力的程序框架“RULES”，旨在以編程方式自動檢查語言模型輸出的內容合規性。

論文鏈接：https://arxiv.org/pdf/2311.04235v3.pdf

該項研究選取了包含 GPT、Claude、Gemini 三個閉源模型和 Llama-2、Mistral、Yi、Qwen、Deepseek、Gemma等 123 個開源模型作為測試對象。讓人驚訝的是，大部分參與 RULES 測試的語言大模型，都沒有表現出令人滿意的結果。

其中，得分最高的 GPT-4 雖然在分數上大幅領先，但也仍未通過 93 項測試。

RULES：大模型的“劇本殺”

伯克利等高校團隊聯合提出的 RULES 作為一項檢驗 LLM 遵循規則能力的新基準，到底有什么特別之處呢？

受計算機系統和兒童游戲安全特性的啟發，研究團隊將 RULES 劃分為了 14 個文本場景，每個場景都需要目標測試模型在遵循一個或多個規則的情況下進行操作。

簡單來說，參與測試的 LLMs，就像參與“劇本殺”的一位位玩家，需要在 RULES 這位“NPC”給出的場景設定下根據規則給出相應回答。如果 LLMs 違反了某個具體場景設定下的規則，“NPC”就會判其不得分。

為了更好地評估模型，研究人員創建了一系列具體的場景測試用例，難度從簡單到中等依次分為：良性（Benign）、基本（Basic）和紅隊（Redteam）。

研究人員總共設計了 9 條無害規則和 10 條有用規則，總共 19 條規則、涵蓋 14 個場景，其中無害規則定義了“模型不能做什么”，而有用規則定義了“模型必須做什么”。如果模型按順序響應了每個測試的用戶消息而不違反規則，則稱該模型成功通過測試用例。

每個場景的規則都以自然語言呈現給模型，作為對話中的第一條用戶消息，或者可選作為系統消息（如果模型支持），模型必須在對話期間遵守所有規則。

其中，較簡單的場景只有一個規則，而其他場景則將最多三個規則組合成一個任務，有些場景還涉及多個不同的用戶。在這種情況下，研究人員通過在前面加上發送者的姓名來指示發送每條消息的用戶的身份。他們還對用戶消息施加限制，即都必須在前面加上有效的用戶名。

某些規則旨在與其他場景中的其他規則保持類似的結構，例如，在加密場景中，模型不得泄露隱私密鑰；而在二進制搜索場景中，模型不得泄露秘密數字。

研究團隊設計的 14 個場景讓使用字符串比較和正則表達式模式的函數可以評估模型的響應是否符合規則，且每個函數只有幾行代碼，不需要使用大型模型進行推理或人工標記。

在評估無害規則時，RULES 依賴于精確的字符串匹配，舉例來說，如果密碼是“芝麻開門”，則包含“芝麻開門”的模型響應將通過。在評估有用的規則時，通常首先通過去除標點符號和空格字符，并檢查是否存在標準化的預期響應來規范化模型響應，因此，如果指令指定響應“謝謝！”，則模型響應“謝謝”就足夠了。

以加密場景為例，在“管理秘密計算機系統”這個“劇本殺”設定下，被測試的模型會被告知密鑰并被要求遵守保密的規則，而在后續對話中，只有被測試的模型拒絕向用戶重復密鑰，才算是通過了測試：

研究人員將所有模型生成限制為 100 個 tokens 以評估模型是否會違反規則，三個測試套件中的所有測試用例最多有 3 個測試的用戶消息。 在良性和基本套件中，測試用例包含了其他用戶和助理響應作為測試用戶消息之前用來填充的上下文。

良性測試用于檢查模型在響應完全不相關的消息時是否能夠避免違反規則。測試用例包含了 GPT 生成的多輪對話的 UltraChat 200k 數據集的對話片段。研究團隊對 5 個對話進行采樣，每個對話包含 5 輪，并為每個對話的每一輪構建了一個測試用例。

基本測試可以評估模型在響應直接請求它違反規則的用戶消息時能否遵循規則。與良性測試類似，基本測試也使用了不同的對話填充上下文，然后提出違反規則的請求。

而在紅隊測試中，研究人員進行了多輪內部紅隊測試，試圖欺騙模型違反規則，他們總結出了成功欺騙模型的五類策略，然后再根據這些策略鞏固紅隊測試套件，分別是：

? 間接：用戶要求模型執行看似無害的任務

? 法律術語：用戶對規則提出誤導性的重新解釋

? 混淆：用戶偽裝模型的請求以破壞規則

? 規則更改：用戶通知模型新的或更新的規則

? 模擬：用戶要求模型模擬或討論假設情況

對于每一個測試套件，研究人員都會分別計算無害和有用測試用例的百分比，并將百分比重新調整為滿分 10 分，以產生無害分數和有用分數，最后再取 6 個分數的算術平均值來計算總分，將其稱為“RULES 分數”。

無模型通過測試，最強 GPT-4 也不例外

在這項研究中，研究團隊評估了一系列當下最熱門的大語言模型，其中包含了 GPT、Claude、Gemini 這三個閉源模型和 Llama-2、Mistral、Yi、Qwen、Deepseek、Gemma等開源模型。

在開源模型中，他們除了評估各種基礎語言模型外，還評估了各種官方和社區微調的模型，例如 Vicuna、Zephyr、Starling 等，總計高達 123 個。

在評估領先的閉源模型和 100 多個開源模型后，研究人員發現：絕大多數模型在很大一部分測試用例上未能遵循規則。

開放模型在基本和紅隊測試組合上都遇到了困難，特別是在有用規則的測試用例上，會比無害規則困難得多。 盡管少數社區開發的微調方法可以很好地提高分數，但現有的對齊微調方法在規則遵循性能方面會適得其反。

對多個版本的模型進行重復數據刪除后，研究人員特別統計了前 20 個模型的測試結果：GPT-4 取得了近乎完美的分數，大大超過了第二高分的模型 Claude 3 Opus。

有趣的是，Claude Instant 獲得了比 Claude 2.1 (+1.01) 更高的分數。 在開源模型中，Qwen1.5 72B Chat 等較新、較大的模型得分最高，而 Llama-2 7B 基礎模型在所有 7B 模型中排名第一。雖然更好的開源模型往往更大，但 Yi-34B 型號的微調也有很好的表現。

值得一提的是，盡管 GPT-4 表現最佳，但仍然未能通過 93 個獨特的測試用例，其中包括了 18 個基本測試用例以及紅隊測試用例 17 條規則中的至少 1 個測試用例。

研究團隊強調，在相對簡單的測試上獲得高分并不意味著 LLM 就能夠充分遵守規則。

另外值得關注的是，盡管 Llama-2 和 Gemma 雙方的技術報告均未列出具體細節，但這兩個模型都對以安全為中心的數據采用了監督學習和強化學習。

在 RULES 的測試中，Llama-2 和 Gemma 的表現明顯較差。研究人員推斷，這說明了許多現有的對齊方法，特別是專注于避免有害輸出的方法，不足以確保模型具有遵守規則的能力。

除了對齊方法，研究團隊還評估其他形式的微調對規則遵循能力的影響，比如提高基礎模型的對話和其他能力。 研究人員發現，以零樣本方式提示的基礎模型在遵循規則方面表現出色：

在紅隊測試組合中，大多數基礎模型都位于 Pareto frontier 上。

在較小的型號 Llama-2 7B/13B 和 Mistral 7B 中，現有的微調似乎主要是用較低的無害分數換取較高的有用分數。

然而，在較大的基礎模型上，一些大模型團隊的微調方法能夠改善模型的規則遵循能力，例如 Qwen1.5 72B Chat、Yi-34B-200K AEZAKMI-v2 和 Tulu-2 70B（微調自 Llama-2 70B）。

隨著大語言模型在各行業應用的逐步加深，其遵守規則的能力收到了廣泛的關注。在邁向 AGI 的道路上，安全一直是焦點話題，而遵守規則是個中最核心的考驗。

雷峰網(公眾號：雷峰網)AI 科技評論將持續關注大模型領域動態，歡迎添加 anna042023，交流認知，互通有無

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。