又快又聰明，阿里發布 Qwen-Audio-3.0-Realtime：實時語音大模型四項功能升級

7月15日，阿里巴巴發布實時語音交互對話模型Qwen-Audio-3.0-Realtime，在智商、Agent 工具調用、共情對話和雙工交互流暢度四條主線上同步升級，力求“又快又聰明”。模型包括推理更強的Plus 版本和速度更快的Flash 版本，適用于智能客服、教育培訓、娛樂互動與情感陪伴等場景。今年5月，模型的Preview版本曾在全球權威第三方評測平臺Artificial Analysis榜單斬獲了兩項冠軍，超越GPT-Realtime-2。

為壓低時延，實時語音模型往往犧牲推理深度，智商衰減。Qwen-Audio-3.0-Realtime針對日常對話、簡單問答等對時延敏感的場景，可直接生成回復，毫秒級響應。在考驗“AI會不會答”的語音問答基準 VoiceBench 上，以書面化的標準 prompt和口語化的prompt提問，Plus版本得分分別為92.5和90.5，僅下降 2.0——意味著模型能扛住真人說話的隨意性。在更難的多輪音頻對話挑戰AudioMultiChallenge 基準測試中，Flash版本標準和口語化prompt得分分別為 43.6和38.1，僅下降5.5。今年5月，模型的Preview 版本Fun-Realtime-Audiochat在“語音推理能力”指標上曾以 97.6% 登頂Artificial Analysis。

文本大模型的Agent能力已相當成熟，但語音模型往往是“能聊天不能辦事”，模型要邊聽邊判斷何時該調工具，往往需要用戶明顯說出“幫我打開 XX"”才能觸發工具，且切回閑聊后，容易出現上下文斷裂。Qwen-Audio-3.0-Realtime無需明確的指令，即可自行調用外部工具，調用結果還會自動融入對話記憶，一次調用的結果會被記住，后面幾輪追問都能接著用。例如用戶先問“附近有什么川菜館”，再追問“評分 4.5 以上的哪家最近”，模型會自動銜接地圖工具的上一次返回結果繼續檢索。模型基于 FunctionCall 標準協議，可以完成 MCP、API、知識庫的引入。

共情對話是本版本最能改變用戶主觀體驗的部分。Qwen-Audio-3.0-Realtime 擺脫了傳統語音助手的機械感，可根據對話語境動態調整語氣、節奏、音調與情感，比如在辯論場景中，模型能準確抓取對方論點并快速組織反駁，并保持恰當的語氣強度。在情感陪伴中，則通過語調、節奏與笑聲、嘆息、猶豫等副語言信號進行共情回應。在專門考“AI 說得像不像人”的 S2S 語音指令遵循公開基準 VStyle 上，模型取得 SOTA 成績。

雙工交互流暢度意為即模型能邊說邊聽，像真人一樣隨時打斷、插話，而非一問一答的對講機模式。Qwen-Audio-3.0-Realtime內置“多模態感知的雙工控制”子模型，通過分析音頻信號、語義內容與說話人聲紋特征，來判斷如何交談。比如在餐廳、開放工區等嘈雜環境中，它不會被背景噪聲誤打斷；在多人討論中能鎖定主對話對象、忽略旁聽者交談；在多說話人切換時，則能根據語義線索自然過渡。因此，今年5月，模型的Preview 版本在對話流暢度指標上曾以 97.6% 登頂Artificial Analysis。此外，模型的API還預留了 audio_prompt 字段，用戶可上傳提前錄制的音頻樣本，鎖定聲紋，聚焦特定的說話人。

上述能力的提升源于模型采用的 On-Policy Distillation（在線策略蒸餾）框架。研究團隊將文本大模型的完整推理能力蒸餾至語音模型——語音模型一邊自己生成回答、一邊由文本大模型實時糾正。同時引入多教師蒸餾策略：口語多輪偏好教師保障口語化表達與指令遵循，通用教師負責基礎問答與推理，Agentic 教師鎖定工具調用與復雜任務，音頻理解教師處理副語言與音頻語義信息，確保模型在四條主線上均不偏科。