1. 模态概览

在常规 RGB 之外，不同的波段赋予了机器不同的“超能力”：

  • 太赫兹 (Terahertz, 0.1-10 THz)：
    • 特性：能穿透纸张、木材、墙体；分辨率远高于毫米波；无电离辐射。
    • 优势：许多大分子物质在此波段有独特吸收峰，极适合材质识别。
  • 毫米波 (mmWave, 30-300 GHz)：
    • 特性：利用多普勒效应测距、测速。
    • 优势：全天候。在弱纹理、暗光甚至浓烟环境下，传统 COLMAP 会失效，但毫米波雷达能提供初始的稀疏几何结构。
  • 声场 (Acoustic Field)：
    • 特性：利用回声和混响推断几何。
    • 优势：盲区探测。在完全无光（光学失效）环境下，辅助 3DGS 确定墙壁和障碍物位置。

2. 研究现状 (State of the Art)

毫米波 + 3DGS

这是目前比较热门的方向，代表性工作如下：

  • Rad-GS：场景重建。简单粗暴地将雷达点云与视觉图像结合。
  • RaGS：物体识别。利用雷达的 4D 信息（距离、速度、方位、仰角）辅助 3DGS。
  • RadarSplat：消除噪声。重点研究如何用 3DGS 算法来抑制毫米波固有的噪点，生成高质量数据。

太赫兹 + 3DGS (Early Stage)

  • 现状：市面上缺乏成熟量产传感器，设备多为昂贵巨大的实验室仪器。
  • 方案：目前的论文多基于纯仿真。例如利用开源库 Sionna 设计室内 Mesh，设置电磁参数，通过光线追踪模拟太赫兹波弹射（Terahertz Spatial Wireless Channel Modeling with Radio Radiance Field）。

声场 + 3DGS

  • Extending GS to Audio：将 3DGS 扩展到音频域，实现新视角的声学合成。
  • Visual Acoustic Fields：在椭球中存储“隐含材质属性”，输入敲击声，提取特征推断场景中潜在的声源。

高光谱 + 3DGS

  • 定义：多光谱 (3-10 波段) vs 高光谱 (>100 波段)。波段越丰富，越能理解场景的物理与化学成分（如矿物探测、食品安全）。
  • HyperGS：核心范式在于 “Compress-Render-Decompress”。
    1. 压缩：自编码器将 141 通道压缩为潜在特征向量。
    2. 渲染：3DGS 绘制潜在特征图。
    3. 解压：解码器还原为高光谱图像。

3. 现存痛点 (The Gap)

尽管各个模态都有结合 3DGS 的尝试，但痛点依然明显，这也正是科研的机会所在：

模态 核心痛点 具体表现
毫米波 多径效应 (Multipath) 信号在室内反弹，导致墙后出现“鬼影点”，机器人容易撞墙；且分辨率低，点云稀疏。
偏振光 深度计算困难 擅长看清透明/反光物体表面，但难以定位；偏振信息随视角变化剧烈，几何不稳。
高光谱 落地难 相机昂贵且扫描帧率低，难以实时建图；难以适应户外动态光照。
事件相机 纯色失效 依赖色彩/亮度突变输出，面对纯色物体（如白墙）时直接“瞎”了。