<mark id="oztn4"></mark>
0
作者丨王 悅
編輯丨陳彩嫻
2023 年下半年，產品與應用成為 GPT 討論的話題中心。相比模型的參數與能力，AIGC 的落地更能考驗各個廠商的“秀肌肉”。
這其中，有著廣大用戶基礎的實時互動技術（RTE）場景順理成章地和 AIGC 進行了緊密地耦合，而游戲AI 就是兩者結合的一次探索和嘗試。
以家喻戶曉的角色扮演類推理游戲《誰是臥底》為例，這類游戲往往同時有多位玩家在線互動，要求玩家實時反應，并輸出符合常識的邏輯推理，一度被認為是 GPT 技術的“攔路虎”。但現在，也已經被國內的技術廠商完美解決！
在 10 月24-25 日聲網所舉辦的 RTE 2023 實時互聯網大會上，雷峰網發現，《誰是臥底》這種類型的游戲已經可以用 RTE ? AIGC 的方式“重做一遍”，可支持多名真人玩家實時在線互動，在用 RTE 技術保障音視頻可以敏捷響應的同時，還可以用 AI 驅動虛擬玩家，毫不違和地融入游戲中。
雷峰網觀察到，即使在游戲中需要實時計算、推理信息然后快速輸出語音的情況下，AI 角色也能應對地游刃有余，沒有以往的反應遲緩或答非所問，完全融入真人的游戲場景中。
此外，主持人還可以向游戲背后的大模型提出需求，大模型對其他玩家輸出的信息進行理解和處理后，會將判斷出的線索及時反饋給主持人，增加了游戲的豐富度與趣味度。
用 AIGC 打造虛擬角色、生成虛擬互動對話內容、進行角色之間的情感計算等，這在過去是“天方夜譚”，而今卻是觸手可及，這背后離不開 AI 和 RTE 技術的雙雙進步。
聲網創始人兼 CEO 趙斌感慨，在過去的一年中，利用 AI 能力對音視頻領域進行賦能，使得沉浸感與真實感的效果獲得了突飛猛進的進步。
在 AIGC 技術的加持下，今年的聲網 RTE 大會除了“高清”，也首次將另一個目標提到了同等高度：智能。
GPT 時代，RTE 有了新的可能性。
一、顛覆：AIGC 變革 RTE
疫情消散后，RTE 用戶基數和用量保持穩定增長，RTE 場景用戶規模持續擴張。
之前的 RTE 「大戶」——泛娛樂領域，用戶仍然保持持續增長狀態，增速跑贏大盤。
而今年不同的是，流媒體直播領域對 RTC 的使用逐漸增長，其中WebRTC 流媒體直播觀眾數日增量 15000 人，聲網極速直播用量相較于 2022 年增長 400%。
在 RTE 領域保持良好勢頭的同時，AI 的突飛猛進會給 RTE 的發展帶來哪些新機遇？
趙斌指出了聲網把握住的三個方面：
一是音頻 + AI ，將以鳳鳴 AI 引擎為支撐，使音頻邁向極致沉浸 + 極致擬真的方向；
二是視頻 + AI，將會實現畫質提升、AI 美顏、虛擬背景、AI 驅動表情+動作，使視頻更美、更真、更好看；
三是虛擬人 + AIGC ，虛擬人將能解決社交供需不平衡的問題，引領交互對象變化，AI 助理、AI 女友、AI 玩家會逐漸被接受，最終創造情感和情緒價值。
AIGC 除了給 RTE 帶來機遇外，也切實提高了應用開發效率，同時產生了對高質量 API 的更強需求，云原生應用可能分為 API + APP 兩層。
“AIGC 這么強大，我們一起用它做點什么吧！”會場屏幕的黑色背景中出現了這樣一句話。隨即，趙斌一頁一頁翻開 PPT，向大家娓娓道來 AIGC 對 RTE 領域帶來的顛覆與變革：
聲網首創 RTE??AIGC，讓各種大模型都能實時語音對話，進而賦能行業場景下 AIGC 實時音頻“聊天”、“自然語言對話”玩法；
在提升 QoE 體驗層面，AIGC 能展示對用戶留存和使用行為的強大影響，比如從表情升級高清使得打賞率大幅提升、CDN 升級極速直播使得送禮率增長 12.3%、AI 降噪開啟后可降低音頻流量成本10%+；
RTE + 企業服務層面，企業音視頻眾泰正在改變“煙囪式”系統建設，無所不達的實時網絡+無所不及的音視頻能力，成為企業數字化轉型的重要支撐；
RTE + IoT 層面，構建人、車、家的智能化生態，實時互動正在成為智能家居新標配；
在主論壇的圓桌對話中，喜馬拉雅首席科學家盧恒也表示，作為全國最大的有聲內容平臺，喜馬拉雅從文本處理到音頻內容生成的過程中都使用了大量的AI技術，目前，AIGC 生成的音頻內容日均播放量已超過250萬小時。
10月24日，在RTE 2023大會主論壇的首個演講即將結束之際，趙斌對 RTE 行業的未來提出了六點展望的方向，其中一個是：AIGC 將為每個人創造替身、分身。
這一點，與隨后演講的聲網首席科學家、CTO 鐘聲不謀而合?！癆GI 將走進實時互動，實現人人可分身，幫助在應用場景中復制名師、網紅，甚至普通人也將通過AI分身豐富體驗、緩解時間稀缺的瓶頸。”
Founders Space創始人兼CEO 史蒂夫·霍夫曼在演講中同樣也分享了相似的觀點。他認為，在AI賦能的RTE未來，我們將看到每個人都會擁有更加個性化的體驗，更加動態的程序將隨著圖形、音頻、視頻的實時變化而變化，AI將帶來前所未有的連接方式。在更深層次上，AI還將為人類提高生產力水平，帶來動態的虛擬世界，感受到更多的沉浸體驗。
趙斌預測的另一個方向是：AIGC 顛覆主流人機交互界面，觸屏或鍵盤鼠標將變為自然語言對話。
的確，AIGC 和 RTE 正在上演一個共生、突破和顛覆的篇章。
二、突破：RTE 在多種場景下的新考驗
“我們對音視頻能力的要求是智能化，希望人和設備的交互性更強，對話延遲更低，在設備上呈現的視頻畫面也能更加清晰、智能?！痹?0月25日舉辦的 RTE??AIGC 閉門研討會上，國內某 VR 眼鏡的設備廠商如是說。
的確，當下各行業對音視頻能力的要求已是今非昔比。
過去，更加側重于傳輸的穩定性、清晰度、安全性等方面，傳統 RTC 從 Communication 的視角出發，只要能滿足對語義信息的高質量、高效率傳遞，即是優秀的表現，其使用場景也集中于音視頻通話、視頻會議、在線課堂等。
而當下，則更加強調用戶實時互動體驗的質量，RTE 從 Engagement 的視角出發，希望能夠達到時空的共享，諸如 K 歌合唱、云蹦迪、虛擬演唱會等新興場景也不斷涌現。
可以說，從 RTC 到 RTE、從Communication 到 Engagement，是實時交互從基礎能力向場景能力的進化。而要實現這個進化，AI 能力的添加是必不可少的部分。
尤其是疫情以來，用戶對實時互動體驗提出了更高要求。諸如教育、泛娛樂、金融、IoT 等各個行業也開始探索用 AI 賦能 RTE。
而線上教育尤為甚之。一方面，用戶期待使用 AI 能力在線上教室中達到音頻的強降噪和高保真，最好能夠強力抑制 100+ 種突發噪聲，降噪算法的性能較之前也需得到較大的提升；另一方面，希望看到高畫質、低碼率的高清視頻，能夠實現 2K60fps 的視頻和屏幕共享實時處理。
針對線上教育領域，聲網教育行業負責人錢奮在大會上分享了智慧教室方案，這是 RTE??AIGC 的實踐之一。
智慧教室中使用聲網鳳鳴 AI 引擎，擁有AI 降噪能力，獨創以人聲為對象的深度學習建模算法，能夠精準分離人聲和噪聲，使得師生聽到的聲音更純凈。同時，AI 回聲消除能力可以抑制非線性回聲，回聲殘留率低至0.1%，雙講語音保護高達 90%，使得聲音更清晰。
值得一提的是，鳳鳴 AI 引擎也能自適應 AI 調試音頻參數，動態預估回聲延時，讓設備維護的過程更加更簡單。
除了在線教育之外，泛娛樂領域也廣泛地運用AI能力。
為了使新一代泛娛樂視頻產品有“超級畫質”，在保證「人更美」、「溝通更流暢」的基礎上，開發了「AI 攝影師」，通過視頻算法，可以實現對專業攝像機移動機位、變焦、模擬燈光效果的模擬。
目前較受歡迎的玩法有 AI 人像邊緣光、 AI 鏡頭律動、AI 人像光影、AI 追光打光、AI 虛擬背景打光等，可以通過 AI 算法去增加畫面中的特效。
「這一系列功能目前在各大APP 上是很受歡迎的，用戶對這種功能的使用率幾乎可以達到100%?！孤暰W泛娛樂產品總監李斯特在論壇上演講時說到。
同時，聲網也在積極用鳳鳴 AI 引擎打造下一代音頻社交的能力。李斯特表示，聲網實現了百人合唱、一站接入，突破了百人合唱的關鍵技術，采用云端合流模式，使得主伴唱人聲和 BGM 通過云端合流轉碼同步到觀眾端。AI 還實現了「優聲優唱」功能，能夠對合唱者進行打分，優選唱得好的進入合唱流，以保證聽眾體驗。
除此之外，聲網 IoT 行業產品總監馮曉東分享了智能家居領域 RTE 和 AIGC 結合的案例、華為云媒體服務資深產品經理盧志航從政企數字化轉型的角度剖析了音視頻底座的重要性。
由此可見，用戶更高的實時體驗要求催生了聲網更智能化的 RTE，聲網 RTE??AIGC 方案也在多個領域得到了切實的應用。
三、共生：RTE 結合 AI 之后
「在過去的12個月里，我們投入了巨大的精力和時間，成為了行業里面第一家能夠提供 RTE??AIGC 能力模塊的服務商。這個能力模塊使我們看到，大模型進化雖然到了今天這個程度，但絕大多數交互界面仍然是文字聊天的方式。」聲網 CEO 趙斌在10月24日的主論壇演講時說道。
文本交互的技術門檻較低，但其總是免不了單調，只能單一、線性地輸入、輸出問題，缺少對情感、語流語調的感知，人機之間的互動效果也不盡人意。并且，文本輸入相對于語音輸入，需要持續手動編輯文字，交互頻率和效率也會大打折扣。
雖然最近 ChatGPT- 4 提供了語音對話能力，但基本上只能局限于自身平臺，很難通用地和各種不同的大模型平臺結合。
聲網所提供的 RTE??AIGC 模塊，可以跟其他模型平臺結合，包括私有化部署的開源小規模模型，能夠把文字交流的互動方式轉化成接近自然對話的語音對話。
語音對話相比文字對話會提供更強的沉浸感，更自然的交流模式以及接近人與人對話的低延遲體驗。
「這一方案還能解決 AI 互動場景整體開發上線難度大的問題，一些開發者缺少 AIGC 所需的開發經驗和能力儲備，也沒有足夠的閑暇時間進行場景調研和玩法設計，聲網的整體解決方案就可以來幫助快速上線參考?！孤暰W AIGC 產品負責人杜浦對雷峰網(公眾號：雷峰網)說到。
聲網 RTE??AIGC SDK 能夠靈活調用國內外的主流大模型，亦可以進行開源?模型的私有化部署。
除模型能力以外，RTE??AIGC 的解決方案也擁有較強的語音能力，可以實現 AI 實時變聲、聲音克隆，能保留多倫對話的記憶，還可以用語音驅動虛擬分身。
基于 AIGC 和 RTE 的合力，聲網能以實時音視頻+實時消息+虛擬形象的方式，提供相較于其他音視頻解決方案更沉浸的視聽體驗。
以這些能力為基礎，聲網 AIGC 產品團隊打通了 1v1 語音聊天、語音群聊、視頻直播的幾個產品方向。
AI 語音助手是其中的典型代表。從用戶發言到 AI 助手響應對話，這其中需要完成級別所有句子、判斷語音結束、AI 生成流式回答、語音合成數據返回、語音驅動嘴形者五個過程，但平均時延為 1.9 秒，高于行業內平均水平。
無論是語音助手、語音群聊還是數字人視頻直播的形式，背后都需要有聲網的 AIGC 能力支持。鳳鳴 AI 引擎無疑是聲網形成自身獨特優勢的「功臣」之一。
在24日下午的音視頻技術專場中，聲網音頻算法專吳渤公布了兼顧強降噪和高保真的損失函數。為了實現 AI 音頻降噪，還融合了AIVAD 避免抑制人聲，融合了AIMD 以避免損傷伴奏，并分享了噪聲和混響一直一體化的訓練策略。
除鳳鳴 AI 引擎之外，人設對話中的大語言模型技術也是另一位「功臣」。在 AI+RTE專場的演講中，聲網 AIGC 算法工程師李忻瑋講解了使用商業達模型時如何構建人設對話中人格、記憶、能力者三個關鍵要素，并分享了 RTE??AIGC 的解決方案架構圖。
RTE 結合 AIGC 之后，整個生態得以「更上一層樓」。
本文作者長期關注 AIGC 的落地與應用，歡迎添加微信：s1060788086，聊聊行業，互通有無～
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
