RGB-T TRACKING
RGB-T 多模态目标跟踪基础
RGB 图像提供颜色与纹理，热红外图像在弱光条件下提供目标热辐射信息。多模态跟踪的核心不是简单增加输入，而是让两种信息在对齐、互补和退化条件下被正确利用。
1. 为什么使用 RGB 与热红外
白天、纹理清晰时 RGB 往往更有判别力；夜间、逆光或低照度下，热红外对人体和发热目标更稳定。但热红外通常分辨率较低、纹理较弱，也容易受到背景热源干扰。
2. 融合可以发生在哪里
| 融合方式 | 特点 | 问题 |
|---|---|---|
| 输入级融合 | 实现简单，尽早共享信息 | 对空间对齐误差敏感 |
| 特征级融合 | 可在多层语义空间交互 | 模块设计和计算成本较高 |
| 决策级融合 | 各分支相对独立 | 难以充分利用细粒度互补信息 |
3. 模态退化
两种模态不会始终同等可靠。强光反射可能影响 RGB，热交叉会降低红外区分度。动态权重、门控机制或质量评估分支可以让网络根据场景调整模态贡献。
4. 跟踪任务中的模板与搜索区域
单目标跟踪通常使用模板描述目标外观，再在搜索区域中定位目标。多模板有助于适应外观变化，但错误更新会把背景或遮挡物引入模板，因此需要可靠的更新置信度与模板管理策略。
关键问题：对齐是否可靠、何时融合、哪种模态当前可信、模板何时更新，是 RGB-T 跟踪设计中相互关联的四个问题。
参考资料
- RGB-T Tracking 公开论文与跟踪框架资料。
- Vision Transformer 与单目标跟踪基础资料。