RSS’26最新！大幅領(lǐng)先Isaac Sim與MuJoCo，單卡萬幀+零微調(diào)！視覺仿真器GSP來啦～

長(zhǎng)期以來，仿真平臺(tái)被三大頑疾困?。焊弑Ｕ驿秩九c大規(guī)模并行訓(xùn)練不可兼得，場(chǎng)景資產(chǎn)全靠人工建模耗時(shí)數(shù)周，換一種機(jī)器人就得換一套仿真器。三道瓶頸，讓“仿真里滿分、真機(jī)上翻車”成為行業(yè)常態(tài)。

現(xiàn)在，這三道仿真的枷鎖被一次性打開了。

近日，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）DISCOVER Lab 聯(lián)合謀先飛技術(shù)、原力靈機(jī)、求之科技和地瓜機(jī)器人，提出了新一代高通量視覺高保真仿真器 GS-Playground。

這是業(yè)界首個(gè)將高吞吐并行物理仿真與高保真批量3D高斯濺射（3DGS）渲染深度融合的全棧平臺(tái)，一舉攻克算力、顯存、資產(chǎn)生成三大核心瓶頸，為操作、導(dǎo)航、行走等全任務(wù)場(chǎng)景的大規(guī)模視覺訓(xùn)練與無縫真機(jī)部署，提供了一站式仿真基礎(chǔ)設(shè)施。

該成果已被機(jī)器人領(lǐng)域國際頂級(jí)學(xué)術(shù)會(huì)議 RSS 2026（Robotics: Science and Systems）錄用。

01.

萬幀渲染，碾壓級(jí)吞吐

視覺強(qiáng)化學(xué)習(xí)最大的卡點(diǎn)從來不是算法，而是“看得真就訓(xùn)不快”。GS-Playground用一組數(shù)字改寫了這條規(guī)則：單張RTX 4090，640×480分辨率，最高10000 FPS渲染吞吐，最多同時(shí)渲染2048個(gè)場(chǎng)景。

GS-Playground架構(gòu)圖

這一突破的核心，在于專門設(shè)計(jì)的內(nèi)存高效批量3DGS渲染技術(shù)。針對(duì)剛體仿真環(huán)境，團(tuán)隊(duì)設(shè)計(jì)了專屬優(yōu)化的高效剪枝策略：高斯點(diǎn)數(shù)量削減90%以上，同時(shí)峰值信噪比（PSNR）下降幅度不足0.05，無論是人眼還是視覺運(yùn)動(dòng)策略網(wǎng)絡(luò)，均無法感知任何畫質(zhì)差異。經(jīng)過剪枝后的場(chǎng)景大幅降低顯存占用，從根源上消除了大規(guī)模并行訓(xùn)練中頻發(fā)的顯存溢出（OOM）問題。

在此基礎(chǔ)上，團(tuán)隊(duì)研發(fā)了面向批處理深度優(yōu)化的批量3DGS渲染器，實(shí)現(xiàn)了多場(chǎng)景大規(guī)模高斯渲染的真正并行處理。在三種主流分辨率（256×256、640×480、1280×720）的對(duì)比測(cè)試中，GS-Playground在所有批處理規(guī)模下的渲染吞吐量均大幅領(lǐng)先Isaac Sim光線追蹤渲染器，徹底打破了高保真與高效率之間長(zhǎng)期存在的行業(yè)不可能三角。

此外，團(tuán)隊(duì)還提出了剛性連桿高斯運(yùn)動(dòng)學(xué)（RLGK）機(jī)制，將3D高斯簇與物理引擎中的對(duì)應(yīng)剛體進(jìn)行精準(zhǔn)綁定，確保視覺表征與物理對(duì)象的位姿能夠?qū)崟r(shí)同步更新，實(shí)現(xiàn)零額外開銷的狀態(tài)同步。機(jī)器人高速運(yùn)動(dòng)、頻繁接觸時(shí)畫面依然零偽影，從根源上保障了訓(xùn)練數(shù)據(jù)的可靠性。萬幀級(jí)吞吐意味著：大批次視覺強(qiáng)化學(xué)習(xí)，從此不再被渲染拖后腿。

02.

一張照片，分鐘級(jí)建出仿真世界

傳統(tǒng)場(chǎng)景建模動(dòng)輒數(shù)周，建出來還和真實(shí)世界差距巨大——這正是Sim2Real失敗的根源。

GS-Playground給出了顛覆性方案：設(shè)計(jì)了一套全自動(dòng)化的“圖像到物理”Real2Sim工作流，僅需輸入一張RGB照片，數(shù)分鐘內(nèi)全自動(dòng)生成Sim-Ready數(shù)字資產(chǎn)，全程零人工干預(yù)，同時(shí)保證視覺真實(shí)感與物理一致性。

這套工作流分為兩大核心環(huán)節(jié)：

第一環(huán)節(jié)：目標(biāo)分割與背景修復(fù)。工作流首先通過Grounding DINO實(shí)現(xiàn)目標(biāo)檢測(cè)，結(jié)合SAM1/SAM2完成實(shí)例分割，基于掩碼IoU與邊界重疊規(guī)則實(shí)現(xiàn)實(shí)例去重與過分割修正。在此基礎(chǔ)上，再通過迭代掩碼擴(kuò)展與序列修復(fù)恢復(fù)被遮擋的物體區(qū)域，最終利用LaMa模型完成背景補(bǔ)全與修復(fù)，保證了場(chǎng)景重建的完整性與合理性。

第二環(huán)節(jié)：資產(chǎn)生成與位姿配準(zhǔn)。針對(duì)物體級(jí)資產(chǎn)，工作流通過SAM3D重建其3DGS表征與網(wǎng)格模型，并估計(jì)位姿與尺度；針對(duì)場(chǎng)景級(jí)資產(chǎn)，通過AnySplat生成背景3DGS、深度圖與相機(jī)內(nèi)外參數(shù)，再通過深度對(duì)齊與掩碼匹配實(shí)現(xiàn)物體與場(chǎng)景的亞毫米級(jí)位姿配準(zhǔn)，最終通過Speedy-splat完成3DGS剪枝，進(jìn)一步降低下游任務(wù)的內(nèi)存占用。

場(chǎng)景構(gòu)建效率從“周級(jí)”躍遷到“分鐘級(jí)”，從源頭閉合視覺層面的仿真-真實(shí)鴻溝。

基于該工作流，團(tuán)隊(duì)還發(fā)布了標(biāo)準(zhǔn)化Bridge-GS數(shù)據(jù)集，在Bridge-v2數(shù)據(jù)集的基礎(chǔ)上，補(bǔ)充了場(chǎng)景與物體級(jí)的3DGS表征、物體級(jí)網(wǎng)格模型、6D位姿數(shù)據(jù)與校準(zhǔn)后的相機(jī)參數(shù)，為行業(yè)提供了可直接復(fù)用的高質(zhì)量仿真數(shù)據(jù)基座。

同時(shí)團(tuán)隊(duì)在InteriorGS數(shù)據(jù)集上完成了完整的泛化性驗(yàn)證，充分證明了該管線對(duì)不同室內(nèi)場(chǎng)景的強(qiáng)適配能力與泛化性能。

03.

全場(chǎng)景原生兼容：一個(gè)平臺(tái)訓(xùn)所有機(jī)器人

GS-Playground從底層架構(gòu)就為通用性而生：自研跨平臺(tái)并行物理引擎，原生支持CPU/GPU雙后端與Windows/Linux/macOS全系統(tǒng)運(yùn)行，四足機(jī)器人、全尺寸人形機(jī)器人、多自由度工業(yè)機(jī)械臂開箱即用，無需額外的二次開發(fā)工作，全面覆蓋行走運(yùn)動(dòng)、自主導(dǎo)航、高精度操作三大核心場(chǎng)景。

在傳感器生態(tài)上，平臺(tái)提供豐富的多模態(tài)傳感器套件，除標(biāo)準(zhǔn)RGB與深度相機(jī)外，還集成了高性能批量LiDAR模塊，支持旋轉(zhuǎn)、固態(tài)、非重復(fù)掃描等全類型LiDAR，是首個(gè)基于3DGS表征實(shí)現(xiàn)大規(guī)模并行LiDAR仿真的框架，相關(guān)能力顯著優(yōu)于Isaac Sim與Gazebo。

平臺(tái)同時(shí)提供與MuJoCo等效的接觸信息反饋，接口API完全兼容MuJoCo的MJCF格式，現(xiàn)有項(xiàng)目零摩擦遷移。

GS-Playground 與 Isaac Sim 光線追蹤渲染器在不同分辨率下的渲染吞吐量對(duì)比

04.

零微調(diào)部署真機(jī)，抓取成功率90%

仿真的終極答卷只有一張：真機(jī)能不能跑？

基于三大核心技術(shù)的深度協(xié)同，GS-Playground完整構(gòu)建了從真實(shí)場(chǎng)景重建、大規(guī)模并行訓(xùn)練，到真機(jī)部署的全鏈路端到端閉環(huán)，真正實(shí)現(xiàn)了“重建即訓(xùn)練、訓(xùn)練即部署”的研發(fā)流程革新。平臺(tái)可穩(wěn)定支持?jǐn)?shù)千個(gè)并行環(huán)境同時(shí)運(yùn)行，為全品類機(jī)器人提供大規(guī)模視覺強(qiáng)化學(xué)習(xí)訓(xùn)練支撐。

僅在GS-Playground中訓(xùn)練的視覺策略，無需任何微調(diào)直接部署真機(jī)：

05.

即將開源，與全球共建

GS-Playground將開源全棧代碼與配套數(shù)據(jù)集，面向全球高校、科研機(jī)構(gòu)和產(chǎn)業(yè)伙伴完整開放。

圍繞高通量物理仿真、高保真視覺渲染與自動(dòng)化Real2Sim資產(chǎn)生成，GS-Playground將為具身智能研究提供一套可復(fù)用、可擴(kuò)展、可持續(xù)迭代的開放基礎(chǔ)設(shè)施。

面向未來，GS-Playground有望成為全球具身智能研究者的“數(shù)字試驗(yàn)場(chǎng)”，進(jìn)一步降低高保真仿真的技術(shù)壁壘與硬件門檻，讓更多創(chuàng)新想法能夠快速完成驗(yàn)證、訓(xùn)練與真實(shí)部署，共同解鎖視覺驅(qū)動(dòng)的通用機(jī)器人智能的全部潛力。