CVPR 2026 | 讓3DGS看見內部結構，中關村學院GaussianPile實現切片式容積影像快速重建

來源：公眾號“機器之心”

原文鏈接：https://mp.weixin.qq.com/s/K8Hnh3bp-mnzJRDZvbaShw

近年來，3D Gaussian Splatting（3DGS）在三維視覺和圖形學中展現出很強的表示與渲染能力。相比傳統體素或神經輻射場，它用一組可優化的各向異性高斯來表示三維場景，既能保留連續空間結構，又能實現高速渲染。

但在醫學和科學成像中，一個很自然的問題是：如果面對的不是自然場景中的 “表面”，而是超聲、顯微、MRI 等切片式成像采集得到的三維容積重建數據，3DGS 還能不能發揮作用？

北京中關村學院和清華大學提出的 GaussianPile 正是圍繞這個問題展開。它是一個面向切片式容積成像的稀疏高斯表示與重建框架，嘗試將傳統 voxel grid 形式的三維體數據轉換為一組 3D Focus Gaussian primitives，在保持內部結構可重建的同時，實現壓縮、快速渲染和三維體素化評估。

• 論文標題：GaussianPile: A Unified Sparse Gaussian Splatting Framework for Slice-based Volumetric Reconstruction

• arXiv 地址：https://arxiv.org/abs/2603.20611

GaussianPile 與已有方法在質量、速度和訓練時間上的對比

為什么切片式容積成像需要新的表示

在生物醫學成像中，很多三維數據并不是一次性獲得完整體積，而是由一系列二維切片堆疊得到。例如自動乳腺超聲、光片顯微、結構光顯微和部分 MRI 數據，都可以看作是切片式容積數據。

這類數據通常面臨三個問題：

• 首先是數據量大。高分辨率三維圖像會迅速帶來存儲和傳輸壓力。傳統體素網格雖然直觀，但每個空間位置都需要顯式存儲，隨著分辨率提高，成本增長很快；

• 其次是切片方向的成像特性不能被忽略。真實成像系統并不是理想的 “無限薄切片”。每一張切片往往具有有限厚度和有限焦深，切片內的像素值來自一定厚度范圍內結構的共同貢獻。這一點在超聲和光片顯微中尤其明顯；

• 第三是交互效率。很多隱式神經表示方法可以帶來較好的壓縮率，但優化和查詢通常較慢，更適合作為冷存儲方案，而不適合需要快速訪問、實時瀏覽甚至機器人導航的應用場景。

因此，GaussianPile 希望構建一種表示：既像 3DGS 一樣高效、緊湊、可渲染，又能尊重切片式成像中的物理過程，保留醫學和科學分析真正關心的內部結構。

GaussianPile 的核心思想

GaussianPile 的核心是把切片式成像的 “有限厚度” 顯式寫進高斯渲染過程。

標準 3DGS 主要面向自然場景的表面渲染，通常假設相機是 all-in-focus 的：一個三維點投影到圖像平面時，并不顯式考慮醫學成像中沿切片方向的點擴散和焦深效應。直接把它用于切片數據時，可能出現一個問題：二維切片看起來擬合得還不錯，但三維內部結構并不可靠。

GaussianPile 引入了一個 focus-aware physical model。具體來說，它將成像系統在切片方向上的點擴散函數建模為一個有限厚度的 sensitivity map，并把這個物理響應與每個 3D Gaussian 的投影過程結合起來。這樣，距離當前切片較近的高斯會對圖像產生主要貢獻，而離焦區域的高斯會被自然衰減。

GaussianPile 的 focus-aware rendering pipeline

整個渲染過程可以概括為三步：

1. Scan：在三維高斯表示中采樣不同深度的虛擬切片；

2. Focus：根據切片厚度和系統焦深，對高斯進行軸向重參數化，并調制離焦區域的貢獻；

3. Pile：將經過 focus 調制的高斯投影到二維切片，并采用 additive rasterization 累積體積強度。

這里的 additive rasterization 也很關鍵。自然場景渲染常用 alpha blending 來處理遮擋關系，但切片式醫學成像中的像素強度 intensity 更接近體積信號沿成像方向的積分。因此，GaussianPile 采用加性累積來描述不同高斯對同一像素的貢獻，使渲染過程更符合切片式容積成像的物理含義。

從 voxel 到 Gaussian：壓縮之外，更重要的是可計算的三維表示

GaussianPile 并不只是把體數據 “壓小”。它更像是把切片序列轉換成了一種可計算的三維中間表示。

在這個表示中，每個高斯包含位置、尺度、方向和強度等參數。由于 Gaussian 本身是連續函數，一個高斯可以覆蓋一片空間區域，因此通常不需要像體素網格那樣逐點存儲。同時，GaussianPile 去除了標準 3DGS 中用于表面外觀建模的球諧系數，因為醫學切片強度更接近視角無關的體積密度，而不是自然圖像中的視角相關顏色。

在壓縮階段，GaussianPile 進一步利用高斯參數的空間相關性，對位置、尺度、旋轉和透明度等屬性進行量化與熵編碼。實驗中，GaussianPile 相對于 voxel grid 實現了穩定約 16 倍的壓縮，在部分數據集上壓縮率達到 20 到 26 倍，同時仍能保持非常好的二維切片重建和三維結構一致性。

實驗結果：達到速度、質量和壓縮之間的平衡

實驗部分在自動乳腺超聲（ABUS）、光片顯微（LSM）以及多組細胞顯微數據上評估了 GaussianPile，并與 HEVC、INR/NeRF 類壓縮方法以及原始 3DGS 方法進行了比較。

結果顯示，GaussianPile 在多個數據集上取得了更好的 2D PSNR/SSIM 和 3D PSNR/SSIM。相比 HEVC，它能更好保留細微結構；相比 INR 類方法，它在高頻細節和優化速度上更有優勢；相比直接使用 3DGS，它能顯著改善三維結構不一致和 floating artifacts 等問題。

不同方法在超聲和顯微數據上的二維重建效果對比

在效率方面，GaussianPile 可以在數分鐘內達到較高質量結果。論文中報告的平均收斂時間約為 8 分鐘，部分數據在約 3 分鐘內即可得到較好重建結果。相比需要較長優化時間的 INR/NeRF 類方法，GaussianPile 最高實現約 11 倍加速，同時保留了 Gaussian 表示帶來的實時渲染能力。

三維重建結果對比。適配后的原始 3DGS 雖然可能擬合二維切片，但三維內部結構容易失真；GaussianPile 保持了更好的三維體結構一致性。

除了常規醫學和顯微數據，研究團隊還在電子顯微等更大規模數據上進行了擴展實驗，觀察到 GaussianPile 在更高分辨率體數據上仍具有較好的可擴展性。這說明該表示不僅適用于小規模樣本，也有潛力服務于更大規模的科學成像數據的瀏覽和分析。

在大型數據集上的可擴展性分析

未來方向

在機器人輔助手術中，系統需要盡可能實時地獲得組織的三維結構，并進一步完成腫瘤、血管或其他關鍵區域的定位與理解。傳統方案往往依賴更復雜的陣列硬件或機械掃描來提高三維成像質量，但這會帶來成本、體積和掃描時間上的壓力。另一方面，如果算法側的重建過程過慢，也難以進入 “成像 - 理解 - 規劃 - 執行” 的閉環。

GaussianPile 提供了一種折中路徑，在不改變底層成像模態的前提下，把成像數據轉換為緊湊、連續、可渲染的三維高斯表示。這個表示既可以用于快速瀏覽和壓縮存儲，也可以進一步支持體素化評估、三維分割和后續可能產生的可變形建模。

小結

GaussianPile 嘗試回答的是一個交叉問題：3DGS 這種高效三維表示，能否從自然場景擴展到具有明確物理約束的切片式容積成像？答案是：可以，但不能直接照搬。關鍵在于把真實成像系統中的有限切片厚度和焦深效應納入高斯前向投影過程，讓表示不僅能擬合二維圖像，還能保持三維內部結構的一致性。

從實驗結果看，GaussianPile 在重建質量、訓練速度和壓縮率之間取得了較好的平衡。更重要的是，它將體素網格轉化為一種連續、稀疏、可交互的高斯表示，為醫學影像壓縮、科學數據瀏覽，以及手術機器人場景下的實時三維感知提供了新的技術路徑。

作者簡介

本文第一作者來自北京中關村學院 & 清華大學 2024 級聯培博士生孔迪，通訊作者為清華大學長聘副教授、北京中關村學院共建導師馬騁和清華大學博士后陳譽文，并由王一凱副教授（北京師范大學）、郭文杰（清華大學）、卜一凡（清華大學）、張博雅（北京中關村學院 & 南開大學）、段月欣（北京中關村學院 & 南開大學）、岳夏微（北京中關村學院 & 南開大學）、杜文彪（北京中關村學院 & 北京理工大學）、仲依蔓（北京中關村學院 & 北京航空航天大學）共同合作完成。該研究依托北京中關村學院學生自主立項 “乳腺智能微創手術機器人系統及關鍵技術研究” 項目開展，研究團隊長期聚焦三維視覺與計算成像相關的算法研究。