Video-Auto-Wipe
If you are interested in AIGC application tools, you can learn a bit about it on this blog.
--------------------------------------------------------------------------------------------------
Erase the fixed-pattern content you don't want to see in your video. This project shares a model for subtitle removal and demonstrates the effectiveness of erasing content with easily recognizable patterns, such as subtitles, logos, and animated icons.
效果预览
1. 字幕擦除
字幕擦除模型的功能是模型自动感知到视频中字幕的位置然后进行擦除，感知字幕的方法为具有统一样式的文字区域被视作字幕。
2. 图标擦除
图标擦除模型的功能是模型自动感知到视频中图标的位置然后进行擦除，感知图标的方法为在时域上静止不动的像素块被视作图标。
3. 动态图标擦除
动态图标擦除模型的功能是模型自动感知到视频中动态图标的位置然后进行擦除，感知动态图标的方法为在时域上闪烁出现或动态移动的固定像素块被视作动态图标。
使用方法
1.环境配置
torch>1.0
其他的缺什么依赖就pip install xxx，需要的东西不多
2.运行方法
下载预训练文件放在pretrained-weight文件夹里。
预训练模型下载地址：链接：https://pan.baidu.com/s/1JN9-8Glw_ozOrSMgBIyHOw 提取码：px0s
更多的输入样例下载地址：https://pan.baidu.com/s/1_tzmvIoEQi3h_24-ieZJ_Q 提取码：cnqf
运行python demo.py。
训练方法
训练数据
背景数据制作
1.基于搜集的300余部高清电影制作了2,709部电影片段数据集；
下载地址：https://pan.baidu.com/s/1CIgJmFmx5iR2JfgAyjVaeg 提取码：xb7o
2.基于搜集的40余部综艺节目制作了864部综艺片段数据集；
下载地址：https://pan.baidu.com/s/1lJk6IIWlwxknAie0LlGYOg 提取码：9rd4
前景数据制作
1.字幕擦除：利用ImageDraw库生成随机样式、字体的文字，并模拟其变换；
2.图标擦除：利用ImageDraw库生成随机的像素区块，并模拟时域一致性（固定在视频中的某一个区域）；
3.动态图标擦除：利用PR软件制作闪烁、跳跃等字幕的动态特效，模拟动态图标的场景。
训练过程
第1步. 针对特定任务的时域感知训练，即让模型能感知到需被擦除的前景数据；
第2步. 融合进擦除模型，进行端到端的微调训练。
后续计划
后续我想实现广告、人物和敏感内容擦除等方向。填补技术效果已经不错了，难点在于感知。图标感知可以利用区域一致性实现，字幕感知可以利用模式一致性实现。人物感知要如何实现？广告感知要如何实现？这种设计不能有缺漏，估计得结合数据本身的规律去做才行。。