Florence-2 + LaMA:用 AI 两步走去掉 AI 视频水印

5 days ago

Florence-2 + LaMA:用 AI 两步走去掉 AI 视频水印

从 Sora 2 到 Runway Gen-4.5,AI 视频生成工具几乎都在成片上烙上了水印。有些是右下角的半透明 Logo,有些是随时间淡入淡出的文字标签,还有些像 Google Veo 一样同时嵌入了不可见的 SynthID 指纹。

对于需要二次剪辑、商用发布或教学演示的用户来说,这些水印成了实际障碍。而 2026 年最值得关注的一个开源方案,是把微软的 Florence-2 和 LaMA 修复模型组合在一起 —— WatermarkRemover-AI,一个 MIT 协议的开源工具,专门处理 AI 生成内容中的水印。


Florence-2:微软的视觉语言模型

Florence-2 是微软研究院 2024 年发布的多模态视觉语言模型(VLM),MIT 开源协议。它的核心能力不是"去水印",而是看懂画面里有什么、在哪里

Florence-2 使用 prompt-based 的架构 —— 你告诉它找什么,它就在图上标注出来。支持的任務包括:

  • 目标检测(object detection):框出画面中特定对象的边界
  • 语义分割(segmentation):像素级别地区分不同区域
  • 图像描述(captioning):用自然语言描述图片内容
  • 短语定位(phrase grounding):将文本描述映射到画面区域

模型训练数据来自 FLD-5B —— 54 亿个标注、1.26 亿张图片构成的自主生成数据集。大版本 Florence-2-large 有 0.77B 参数,轻量但性能强劲。

在水印去除此场景下,Florence-2 的角色是检测器:给它一张带水印的图片,用 "watermark" 作为检测 prompt,它就能精准定位水印区域,输出边界框(bounding box)。


LaMA:大区域修复专家

LaMA(Large Mask Abstraction Model)来自三星研究院,是 inpainting(图像修复)领域的标杆模型。inpainting 的任务很简单:给一张图和一块被遮住的区域,模型负责把遮住的地方"补回来",让整张图看起来自然连贯。

LaMA 的核心突破是高分辨率泛化能力。传统 inpainting 模型要么在低分辨率训练、低分辨率推理(细节丢失),要么在极高分辨率训练(成本不可控)。LaMA 走了一条折中路线:在低分辨率训练,但通过架构设计让模型具备泛化到高分辨率的能力。

具体来说,LaMA 使用了:

  • 频域抽象(frequency-domain abstraction):将中间特征转换到频域处理,避免高频细节丢失
  • 傅里叶层(Fourier layers):在特征融合阶段引入频域信息,提升大面积修复的质量

这意味着即使水印遮挡了画面很大一块区域,LaMA 也能根据周围像素纹理和语义信息,生成合理的填充内容。


组合拳:WatermarkRemover-AI 的工作流程

WatermarkRemover-AI(D-Ogi 的 GitHub 项目)把这两个模型串成了一个完整的工作流:

第一步:Florence-2 检测水印位置

用户上传图片或视频后,Florence-2 用 "watermark" 作为检测 prompt,在每帧画面中识别水印的边界框。工具支持自定义检测 prompt(--detection-prompt),可以针对特定类型的水印调整关键词。

第二步:LaMA 修复被遮挡区域

拿到水印的精确位置后,LaMA 对标记区域进行 inpainting —— 用周围像素信息重建被水印遮挡的内容。

第三步:逐帧处理(视频模式)

对于视频,工具逐帧执行上述两步。提供了几个优化选项:

  • --detection-skip:每隔 N 帧检测一次水印位置,减少计算量
  • --fade-in / --fade-out:处理淡入淡出式水印,自动扩展掩码范围
  • --max-bbox-percent:限制检测区域最大面积比例(默认 10%)

项目还提供 GUI 界面(基于 PyWebview),支持 Windows(run.bat)、Linux/macOS(./run.sh),内置英文、中文、日文、法文、葡文五种语言。


实际使用效果

适用场景

  • Sora / Sora 2 视频水印:右下角 Logo 和文字标签
  • Runway 生成视频水印:固定位置的半透明品牌标识
  • 图片水印:各类平台导出的带水印缩略图、预览图
  • 动态水印:位置随帧变化的漂浮式水印(需要逐帧处理)

硬件要求

  • 推荐 GPU:NVIDIA 显卡(CUDA 加速),4GB+ 显存可运行
  • 视频处理需要 FFmpeg(sudo apt install ffmpeg
  • 图片处理在 CPU 上也能运行,但速度较慢

局限

  • 不可见指纹无法去除:如 Google SynthID 级别的加密水印,Florence-2 检测不到,LaMA 也无法消除
  • 复杂背景效果有限:水印遮挡人脸、精细纹理区域时,修复结果可能出现模糊或不自然
  • 视频处理耗时:逐帧 inpainting 是计算密集型操作,一段 1 分钟 1080P 视频可能需要数小时

与其他方案的对比

方案检测方式修复方式是否开源视频支持
WatermarkRemover-AIFlorence-2 AI 检测LaMA inpainting✅ MIT
LaMa Cleaner手动标注LaMA / MAT / ZITS 等✅ MIT
HitPaw RemoverAI 检测专有算法❌ 闭源
剪映/PR 高斯模糊手动框选模糊处理✅ 免费
无痕AI(wuhenai.com)AI 检测专有模型❌ 闭源

WatermarkRemover-AI 的核心优势在于完全开源 + 自动检测 + 高质量修复三者的组合。LaMa Cleaner 功能更强(支持多模型切换),但需要手动标注水印区域;商业工具虽然体验更好,但通常有使用限制和费用。


如何运行

# 克隆项目
git clone https://github.com/D-Ogi/WatermarkRemover-AI.git
cd WatermarkRemover-AI

# Windows:双击 run.bat(自动下载便携 Python 环境)
# Linux/macOS:需要 Python 3.10+
./run.sh

# CLI 批量处理
python remwm.py --overwrite input.mp4
python remwm.py --transparent input.jpg  # 输出透明区域 PNG
python remwm.py --detection-prompt "logo" input.png  # 自定义检测词

总结

Florence-2 + LaMA 的组合代表了一种检测-修复两阶段的去水印范式:用视觉语言模型定位问题,用 inpainting 模型修复问题。这种思路的好处是模块化 —— 检测器可以换成任何目标检测模型,修复器也可以换成 Stable Diffusion inpainting 或更新的模型。

对于需要处理 AI 生成内容水印的用户来说,WatermarkRemover-AI 是目前最完整的开源方案。但它仍然无法处理不可见水印(如 SynthID),也无法保证复杂背景下的完美修复效果。

去水印技术正在快速演进。从手动模糊到 AI inpainting,再到多模型组合,每一次进步都让水印的防护价值降低一分 —— 这也是为什么越来越多的 AI 内容生成平台开始转向不可见指纹技术的原因。

Author
Admin
Category