图像/视频分割 VIDEO STREAM SEGMENTATION
ROLE RESEARCH INTERN
2025.09–至今
(Overview)
SAM，全称Segment Anything Model——Meta搞出来的"万物皆可分割"模型。给它一张图，点一个位置，它就能把那个"东西"的轮廓完整地框出来。
我首先用它做的是人物实例分割：给一段Tim的日常Vlog，让原生SAM2在视频流里追踪Tim——框住人，跟踪他的移动轨迹。原生SAM2干得不错。
但重点在后面：如果拿一个在手术视频上微调过的"SAM"（ReSurgSAM2）去看同一段Vlog呢？它闹笑话了——把眼镜当手术剪、把远山当刀刃。我把这叫做"语义入侵"。这个bug，比完美结果更有意思。
(Video)
原生 SAM2 · 人物实例分割。逐帧追踪 Tim——"这一团像素，到底是谁？"
(A) 米开朗基罗·指尖创世——那一触，命名世界的开始
(B) ReSurgSAM2·器械分割掩码——那一框，界定存在的瞬间
(Description)
- 研究背景
- MICCAI 2025 Early Accepted 的 ReSurgSAM2 完整复现。手术器械分割场景极其刁钻：无影灯下的钳子反光、血雾模糊的刃口、手腕快速翻转时的运动模糊——每一帧都是一场辨认游戏。HUST | WNLO 算法研究实习生项目。
- 目标
- 复现 ReSurgSAM2（CSTMamba + CIFS + DLM 架构），验证其在 Ref-Endovis17 手术视频上的分割性能。更关键的是：把它从"手术室"迁移到"日常生活"，故意看它在没见过的场景里怎么崩溃。
- 技术方案
- SAM2（Hiera 架构）做基础视频流分割框架 + Memory Bank 时间记忆。CSTMamba（跨模态时空 Mamba）把 CLIP 文本特征和视觉特征揉在一起，用语言先验引导分割。CIFS 选可信初始帧，DLM（多样性长期记忆）防遗忘。SAM2.1 原生权重做对比基线。关键教训：CSTMamba 的多模态融合虽强，但也带来了"语义先验过强"的副作用——这也是语义入侵的根源。
- 核心成果
- Ref-Endovis17 验证集 76.98% J&F / 80.56% Dice / 61.2 FPS。解决 CUDA 11.7→12.2 版本冲突（无需 root 权限）。offload_video_to_cpu 显存优化：15GB→5-7GB（降幅 50-70%）。Tim 日常视频迁移实验发现"语义入侵"——眼镜→手术剪，远山→刀刃。由此引出 SAM3 presence token 改进思路。
- 我的角色
- HUST | WNLO 算法研究实习生（2025.09–至今）。完整复现 ReSurgSAM2（架构搭建 + 训练 + 评估全流程）。将模型从手术器械分割扩展到人物实例分割（Tim Vlog），独立发现并分析"语义入侵"现象。GitHub: xiaoaojianghu6/rss2。
(NEXT PROJECT)
OCR+多模态RAG+Agent
