<mark id="oztn4"></mark>
0
在剛剛過去的機器人學術頂會 ICRA 2024 上，「具身智能」成為熱議，其中圍繞具身智能的一個普遍疑問是：若將 AI 大模型應用到消費級機器人領域，首先是模型適配終端，還是終端適配模型？
過去一年，由于 6B、7B 等小模型的成果井噴，以及 MoE 訓練技術的越發成熟，將模型跑在手機、學習機、平板電腦、機器人甚至汽車等等終端應用上的想象力開始變大，無論算法層還是硬件層都「蠢蠢欲動」。誠然，這已經成為一個明朗的行業方向，但在系統整合上卻要面臨不同話語體系之間的博弈。
以機器人為例。從算法層看，將模型做小是關鍵，但硬件廠商關心的卻是模型能否適配自身的產品：
首先，消費機器人有固定的產品周期，從研發到投入市場往往要經歷大半年到一年半左右的時間。因此，盡管 ChatGPT 破圈后已經過去一年多，但目前已經上市的掃地機中卻沒有已經部署大模型的產品；
其次，硬件底層的芯片有上限，芯片設計完后就是一個性能參數限定的「物理」產品，其中帶寬能跑多少、內存能用多大都已經是已知數，這就直接了應用在硬件上的 AI 模型能用多大參數、跑多快速度。
因此，機器人廠商普遍關注兩個問題：一是如何將目標尺寸的大模型跑在固有的芯片上，二是如何使大模型服務好已有的場景，如掃地、語音交互等。
同樣的問題也出現在其他的終端應用領域，如手機、平板、學習機等。此外，由于視覺是上一代 AI 與終端應用結合的主流，如智能手機中的人臉識別、語音交互，多模態也成為端側大模型的性能首選。
這意味著，接下來的端側大模型爆發將離不開三個要素：一，滿足產品形態與適配芯片的需求；二，具備多模態模型能力；三，能夠在長周期的產品研發投入中保持具有競爭力的價格優勢。
但目前，國內外大模型廠商能聚焦、兼顧三者的團隊寥寥無幾。這意味著，在未來的 2024 年乃至 2025 年，能夠在適配、性能與價格上率先拔得頭籌的算法團隊，將能贏得端側 AI 領域的最終話語權。
圖注：OpenCompass 榜單變化顯示，小參數、高性能模型逐漸成為 AI 技術趨勢
據 AI 科技評論觀察，國內的大模型團隊在端側上也發力迅猛。以多模態能力為例，國外 OpenAI、谷歌，國內阿里、面壁智能等均在 20B 以內參數規模的小模型上有布局。而據了解，20 億幾乎是目前國內芯片廠商正在研發的終端芯片主流支持的參數規模，而面壁正是這一參數量級的代表性玩家。
而近日，主打「小鋼炮」的面壁智能所發布的新成果更尤為值得關注！繼被吳恩達大力推廣的 ChatDev 后，面壁在端側模型上頻出奇招，再次推出端側多模態模型 MiniCPM-Llama3-V 2.5，直接干翻 GPT-4V 與多模態巨無霸 Gemini Pro，引起了海內外的廣泛關注。
1、端側小模型 SOTA 誕生？
據了解，面壁智能最新發布的多模態模型 MiniCPM-Llama3-V 2.5 性能飛躍，今非昔比：
多模態能力飛升：參數規模僅 8B，綜合性能卻超越谷歌的多模態巨無霸 Gemini Pro 與 OpenAI 的 GPT-4V；
OCR 能力 SOTA：能夠精準識別長圖、難圖與長文本，9 倍像素更清晰，同時具備識別與推理能力；
手機端突破：首次整合 NPU 和 CPU 加速框架， 對手機端多模態大模型進行系系統級加速，速度提升 150 倍；
多語種能力：支持 30 多種語言，除了中英雙語，還包括法語、德語、西班牙語等等主流語言，基本覆蓋了一帶一路的所有國家；
……
圖注：面壁新模型 MiniCPM-Llama3-V2.5 綜合能力水平指數
筆者看了表示大為震撼。我們知道面壁在今年 1 月發布的 MiniCPM 是專攻「以小博大」的端側模型，但沒想到短短3個月，從 MiniCPM-V 到 MiniCPM-V 2.0、再到 MiniCPM-Llama3-V2.5，面壁智能的端側模型不斷迭代，在多模態各項能力上竟取得了如此迅速、耀眼的突破！
在綜合評測權威平臺 OpenCompass 上，面壁 MiniCPM-Llama3-V2.5 以小博大，以 8B 量級綜合性能超越多模態巨無霸 GPT-4V 和 Gemini Pro，是目前端側最強的模型：
多模態能力是當前大模型最核心的競爭力之一，手機、PC 等智能終端設備因其高頻的影像視覺處理需求，對在端側部署 AI 模型提出了更高的多模態識別與推理能力要求。
具體從 OCR 識別、模型幻覺能力與空間理解能力來看的話，面壁的最新 MiniCPM-Llama3-V2.5 實現了開源模型的性能 SOTA。展開來看：
OCR 識別中，在 OCR 綜合能?權威榜單 OCRBench 上，面壁「多模態小鋼炮」超越了Claude 3V Opus、GeminiPro 等標桿模型，也超過了原先排名第一的上海人工智能實驗室 InternVL-Chat-V1.5、最新霸榜第一！
排名第二的 InternVL-Chat-V1.5 雖然沒有比面壁 MiniCPM-Llama3-V2.5 落后太多，但前者參數是后者的 3 倍。
幻覺能力上，MiniCPM-Llama3-V 2.5 在Object HalBench 榜單上超越了 GPT-4V 等眾多模型（注：目標幻覺率應為0）：
空間理解能力上，在專注于評估多模態模型基本現實世界空間理解能力的 RealWorldQA 榜單上，MiniCPM-Llama3-V 2.5 再次超越 GPT-4V 和 Gemini Pro：
\
【 圖片來源：null 所有者：null 】
面壁智能 CTO 曾國洋在數月前告訴過 AI 科技評論，他一直認為模型的空間理解能力是實現 AGI 的幾個重要組成能力之一。要實現 AGI，現有的長文本長序列架構還不能滿足，AGI 還需要一個更好的框架來解決模型的記憶與學習問題，一塊是空間記憶，另一塊則是經驗學習。
從這個思路看，面壁智能 MiniCPM-Llama3-V2.5 的發布，或者不只表明了面壁在端側模型上的突破，還有更宏大的 AGI 愿景。
2、「識別」、「推理」比翼雙飛
關于多模態，過去行業的標桿成果往往以物體精準識別為主，但大規模預訓練語言模型誕生后，AI 模型的常識與推理能力愈發成為考量多模態模型的關鍵維度。
能同時兼顧「識別」與「推理」能力的多模態模型鳳毛麟角，此次面壁發布的 8B 多模態小模型成為了其中之一。多個案例展示了面壁多模態小鋼炮的識別-推理能力：
1）《三體》相關建筑圖識別推理——
面壁智能 MiniCPM-Llama3-V 2.5 很快就能推理出這些建筑是為了紀念《三體》及其對中國科幻文學的貢獻而設計：
但 GPT-4V 則答非所問：
2）手機圖片識別與信息提取、結構化輸出——
輸入一張手機拍攝的火車票，MiniCPM-Llama3-V 2.5 能準確提取信息，給出無誤的「json」格式輸出：
3）高精尖行業學術論文圖表分析——
給 MiniCPM-Llama3-V 2.5 一張包含復雜邏輯的流程圖：
MiniCPM-Llama3-V 2.5 不僅能夠輕松看懂流程圖中不同模塊的文字、箭頭之間的空間位置和復雜邏輯關系 ，還能給出清晰易懂的解釋說明：
4）長圖長文本識別與信息推理——
輸入一張包含稠密信息的長文長圖：
向 MiniCPM-Llama3-V 2.5 提問，其能直接根據長圖信息進行推理問答：
復雜推理能力對多模態大模型至關重要，它使得模型不僅能理解單一的文本或圖像等模態信息，還能跨越不同模態間的綜合信息，做出更加準確和深入的分析。
MiniCPM-Llama3-V 2.5 進一步升級，可深入洞察圖像，在更復雜、更接近人類的水平上進行思考和解決問題，無疑是 AI 大模型中的「小福爾摩斯」。
此外，在視覺一塊，面壁 MiniCPM-V 系列模型也實現了識別圖像像素的飛升。
據面壁智能透露，有別于傳統技術僅能識別20萬像素小圖，MiniCPM-V 系列可以高效編碼及無損識別180萬高清像素圖片，并且支持任意長寬比圖像識別、甚至「有點變態」的 1:9 極限寬高比。
3、多語種能力增強 端側部署迎來春天
具體在手機、學習機等等端側的部署應用上，除了識別與推理的能力一體化，面壁 MiniCPM-Llama3-V2.5 的另外兩項優勢體現在多語種能力與端側部署加速上。
多語種能力
得益于 VisCPM 的跨語言泛化技術，在中英雙語多模態能力的基礎上，MiniCPM-Llama3-V2.5 僅通過少量翻譯的多模態數據的指令微調，高效泛化支持了德語、法語、西班牙語、意大利語、俄語等 30+ 種語言的多模態能力，幾乎覆蓋了所有一帶一路的國家，意味著全球上百個國家的數十億人口，都能與 MiniCPM-Llama3-V2.5 絲滑交互。
此處 GIF 為 2 倍速，我們正進一步加速優化中
在對話中，MiniCPM-Llama3-V2.5 表現出了良好的多語言多模態對話性能。
與目前國內較為領先的零一萬物多模態模型 Yi-VL 34B 為參照，多語言版本 LLaVABench 評測結果顯示，MiniCPM-Llama3-V2.5 對話能力更勝一籌：
需要注意的是，并非所有基于 Llama3 微調的模型都有出色的能力，這中間依然涉及到高門檻的訓練技巧。例如，Bunny-Llama-3-8B、XTuner-Llama3-8B-v1.1、LLaVA-NeXT Llama-3-8B 等模型均是借鑒 Llama3，但在綜合能力上卻遠遠落后于 MiniCPM-Llama3-V2.5：
端側部署
如前所述，由于終端硬件產品的物理限制，部署到端側的 AI 模型既要滿足硬件的端側要求，并在成本可控的情況下實現同等參數性能最佳、同等性能參數最小。
在圖像編碼方面，面壁首次整合 NPU 和 CPU 加速框架，在 MiniCPM-Llama3-V 2.5 圖像編碼方面實現了 150 倍加速提升。
在語言模型推理方面，目前開源社區的報告結果中，Llama 3 語言模型在手機端側的解碼速度在 0.5 token/s 上下，相比之下，多模態大模型的端側運行面臨著更大的效率挑戰，經過 CPU、編譯優化、顯存管理等優化方式，面壁將 MiniCPM-Llama3-V 2.5 在手機端的語言解碼速度提升到 3-4 token/s。目前，語言模型的圖像編碼加速也在進行中，更靈敏互動體驗即將到來。
總的來說，面壁最新取得的端側多模態模型成果 MiniCPM-Llama3-V 2.5 是國產端側之光，加速了國產大模型部署在端側的節奏，也給端側 AI 行業提供了多方位的參考。
換言之，在大模型時代，「讓終端硬件變得更智能」不再是一個概念性的說法，而是一個正在發生的現實。面壁之后，期待更多國產大模型團隊帶來更多振奮人心的端側 AI 創新成果！
MiniCPM-Llama3-V 2.5開源地址：?https://github.com/OpenBMB/MiniCPM-V
雷峰網(公眾號：雷峰網)文章
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
