Skip to content

视频去重,用AI对视频去字幕、改写文案并重新配音,一种高级视频二创手法。Remake the video by rephrase the captions and AI dubbing. Remove all the original subtitles by auto OCR and video Inpainting.

Notifications You must be signed in to change notification settings

JollyToday/GhostCut_Remake_Video

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 

Repository files navigation

视频去重的定义、识别方法和操作建议

视频去重的背景和意义

对于抖音、快手、TikTok、YouTube shorts等算法推荐的平台来说,高创新度的素材具有极高的价值,能够显著的提高用户在平台的活跃,而创作者也会从平台给予的流量获得激励,进一步提高创作者的创作激情。而视频混剪、视频二创和视频去重生产可以降低视频制作门槛,使更多的用户参与到视频创作和分享中来。平台可以吸引更多的用户加入,扩大用户群体和市场份额,增加平台的活跃度和影响力,进而带来更多的商业价值和合作机会。

但视频混剪、视频二创、同质化视频等批量生产也会给平台带来大量的低质、重复类型的素材,破坏用户体验,降低优秀创作者的激情,因此如何识别优秀的二创,在平台的角度是需要平衡并且需要仔细识别的。本项目根据字节、快手、YouTube的已披露的创作者内容计划和视频去重处理方案,来总结优质视频和二创类去重视频的识别方法和操作建议。

首发视频素材和同质化视频的识别和判定标准

首发素材定义和判定标准

  • 「首发素材」指在平台内首次使用的高创新度素材。
  • 判断逻辑
    • 机器会将素材切割为n个分镜
    • 当一条素材与其他素材的相似分镜(≤10%)在其视频中占比较低时,则判定为首发素材

同质化素材的定义和判定标准?

  • 同质化素材指在平台内非首次使用,且创新程度较低的素材。
  • 判断逻辑:
    • 由系统模型对素材维度的内容进行相似度识别,没有具体的规则和范围,如仅仅替换背景音乐、仅替换3秒前贴、或仅调整素材色调、明暗等容易被判定为同质化素材;

Tips**:素材分镜画面相似性≤10%,首发核心指标;素材分镜画面相似性≥60%,同质化素材的核心指标。**

优质视频素材的评估标准和流程

  • 抖音、快手、TikTok、YouTube等平台评估视频素材是否优质,核心规则从声画质量和内容价值两方面出发,素材需同时满足五个条件才会被判定为优质
    • 五个条件分别是:声音、画面、声画一致性、信息主体、信息表达
    • 五个条件在判定时为「非负即正」的方式,本规则下的每条细则以“及格线”作为执行标准,希望大家都有做出优质素材的机会

image

  • 优质素材的评估在素材上传后启动,经过机器+人工双重审核确认是否优质
  • 当一条视频开始上传并达到一定曝光量级时,自动进入优质素材评估流程,创作者不需要经过额外操作
    • 评估结果为非优质的素材也可能有正常推流,不会有负面影响
    • 评估结果为劣质的素材,系统会给予提示,包括但不限于重复度过高、侵权、画质较低、不适宜内容等等

image

官方和系统允许在合理范围内的素材微改探索,该尺度主要由系统、算法和市场内容的供给情况决定。因此,在单一时间内,并非优质素材一定有量,也不是说低质素材无法爆发,即使是微改动的素材也可能获得不错流量,这是因为算法在每个时间点的评估和推荐状态都是非稳定的,短期的正负反馈是个案。因此,我们经过视频去重处理的二创视频素材,要避免进入低质|重复的素材判断区域,争取进入优质视频的推荐范围。

什么是视频去重以及为什么要做视频去重?

视频去重的存在有其现实意义,视频去重生产可以降低视频制作门槛,使更多的用户参与到视频创作和分享中来。近些年来,随着视频化和算法的越来越重要,而短视频的生命周期进一步变短,这对于短视频的生产速度和质量提出了更高的要求,视频剪辑一方面受制于视频素材的数量过少,另一方面系统要求不断地生产有一定创新度的视频,这对大部分小微创作者实属困难。在商品带货和美食探店,本身商家的拍摄剪辑能力有限,SKU商品的数量业有限,因此视频去重和混剪是一种低成本的高效生产手段。

平台官方和算法系统允许在合理范围内的素材微改探索,但「同质化素材」属于相似度极高的素材,如仅仅替换背景音乐、仅替换3秒前贴、或仅调整素材色调、明暗等是不够的;另外每种剪辑软件和每个视频平台下载的视频都会被视频平台埋入指纹信息,用来禁止搬运别人的素材以侵权。

当我们需要借鉴和剪辑别人的素材,或者当我们手头自己的素材数量不够多的时候,我们需要重复利用这些素材。那么就需要用到去重(消重)的逻辑。

视频去重是一种视频素材微改来实现一定创新度的剪辑操作,可通过对视频分镜、声音、音效、音乐、画面、字幕、表达结构等方面的调整,使得处理后的视频与原视频非同质化,避免进入「同质化素材」的判定逻辑。与此相近的定义和操作包括视频混剪、视频二创/二改、视频改写、视频消重等等,大都逻辑类似。

重复、同质化素材的判断标准和案例

以下是根据字节、抖音、TikTok等官方材料整理的重复、低质素材的标准和案例,是不值得使用的单一去重方式的:

调整方向 子方向 去重检测规则
时序 调整时长 完全相同的素材仅剪辑掉少量片段,减少时长;
完全相同的素材仅增加少量片段,如几秒前贴或几秒后贴,增加时长;
调整顺序 完全相同的素材,仅调整片段的顺序;
视觉 细节调整 仅调整明暗度
仅增加字幕
仅增加部分特效
仅增加部分模板边框
仅改变转场方式
仅改变拍摄角度或距离远近
产品调整 视频主体完全一样,仅改变产品的颜色、位置、角度等;
片段混剪 完全相似片段的互相混剪,内容重复度极高;
声音 背景音 仅替换背景音乐
配音 仅改变配音音色、少量文案等

在上述官方的规则和案例中,我们发现仅仅想通过单一措施,来实现视频的去重基本是无效的。系统会利用各种技术,在素材片段的时序、视觉画面微改动和声音变化的检测上,做了全方位的识别。所以你在市面上看到的那些去重方式,包括但不限于:改变md5,画面剪裁,视频加减速,视频抽帧,视频画中画等等视频处理方法,都属于比较初级的方案,已经逐渐的失效。

要解决这个问题,就要做更高创新度的视频素材,这里能够体现“智力”的劳动的剪辑,通常能获得官方的欢迎。 具体可以参考以下规则

账号评级 搬运 低成本二次创作 高成本二次创作 正常
处理策略 过滤/屏蔽/封禁 谨慎支持/过滤/封禁/屏蔽 支持/谨慎支持 支持
内容判断依据 剪辑手法 无任何剪辑存在他人水印录屏内容 高清且风格统一但没有编辑简单处理(包括但不限于固定文字、贴纸、表情) 增加字幕、解说等高成本处理,增加多种剪辑方式 外链存在,认证或可以证明为原创或原创潜力
账号判断依据 内容占比 以上内容单独或通用达到账号最近 30 条内容 30% 以上内容单独或通用达到账号最近 30 条内容 50% 以上内容单独或通用达到账号最近 30 条内容 50%

限于精力、人力、成本、时间等关系,官方推荐了一些能够提高视频原创程度,进而达到去重的效果的手段。 让我们跟着官方来看看,如何实现高级去重。

在官方指导建议下进行视频去重

官方和系统允许在合理范围内的素材微改探索,但「同质化素材」属于相似度极高的素材,如仅仅替换背景音乐、仅替换3秒前贴、或仅调整素材色调、明暗等是不够的;为了避免有极高的相似度,官方对于二创剪辑有以下建议(不完全版),包括

  1. 内容不变,表现形式改变
  2. 排版&动画做加减法
    1. 增加有设计感的部分,使新素材在设计观感上独立
    2. 画面中元素数量不变、重新排列组合
    3. 自行设计位置排版、大小组合、色彩搭配
  3. 需要声画有关联

让我们理解一下上面的建议

  1. 需要新的文案、脚本或者解说

  2. 需要对画面有较大幅度的改变,包括新的贴纸、动销、音效和字幕等,这些东西的组合需要有创意和美感

  3. 需要新的配音

因此,要对视频的画面、声音、音乐、节奏、镜头等进行全面“手术”,才能真正实现“视频整容”的完美效果。

通过视频改写来全方位视频二创,达到高效去重

鬼手剪辑创新性的用AI来进行视频改写,能来一次性完成画面、字幕、配音、排版、贴纸等重新生成,提高去重比率。GhostCut一次性能完成以下操作

经典去重 画面去重 字幕去重 语音去重 音乐去重 AI模版
基础去重 随机镜像 擦除原字幕 AI配音 匹配指定音乐 好物
修改md5 随机转场 覆写新字幕 数十种音色 智能配乐 增加进度条
去除视频指纹 随机加速 AI重新改写字幕 *声音克隆 保留原背景音乐 智能匹配贴纸
智能调色 随机移动 改变字幕样式 *智能匹配音效
掐头去尾 智能缩放 改变字幕底色
画面锐化 镜像反转 翻译字幕
智能抽帧

经过上述视频改写后,每个视频都跟原视频在画面、字幕、语音、音乐和模版特效上有了较大创新度的变化。

image

如果上述所有的操作能够一次性完成,你想不想试一试?经过上述改写后的视频,能够获得平台较好的流量扶持。

通过鬼手剪辑的高级二创,一次性完成音画和字幕的视频改写

招鲤科技旗下的鬼手剪辑一直使用AI为广大用户提供视频剪辑服务,今天更是在视频去重功能上进行了一次超级大更新!

鬼手剪辑新增的高级二创功能不仅可以自动改写视频内容,还能为你的视频添加声音和字幕,让你的内容焕然一新!这对于口播类内容的创作者来说简直是福音。

鬼手剪辑高级二创的操作流程

鬼手剪辑创新的对画面、声音、字幕、排版、贴纸和分镜等进行AI重新生成,AI改写的文案让每次出品的内容都不一样。AI配音的改变让每个视频都重新焕发声机。鬼手剪辑有中文、英文版本,也支持微信小程序和电脑版。具体手机端的操作流程如下:

打开鬼手剪辑小程序,点击高级二创/口播二创,进入操作页面,具体如下,一共三步

  1. 上传视频

  2. 选择台词处理方式和去重方式

  3. 提交等待结果 image

鬼手剪辑高级二创的技术实现

鬼手剪辑的高级二创核心是视频改写,就是先提取你原视频的内容,然后使用类似于论文去重的方式,将原视频的内容意思不变但是改变措辞等,用不同的话表达出同一种意思,然后将改写后的内容重新配音,并且加上字幕。具体的操作如下:

  1. 提取视频文案
  2. 改写视频文案
  3. 擦除原视频字幕
  4. 对视频进行智能去重操作:更改md5、裁剪、加减速、画中画、截帧、随机镜像、随机转场、动态缩放等等
  5. 在新视频增加字幕
  6. 根据新视频的字幕配音
  7. 根据原视频字幕、语音和画面的对齐位置计算新的配音、字幕和画面的位置进行音画对齐
  8. 增加模版边框
  9. 根据新视频文案,智能增加新的贴纸和音效
  10. 完成视频合成

AI改写的文案让每次出品的内容都不一样。AI配音的改变让每个视频都重新焕发声机。

鬼手剪辑的视频去重的优势?

鬼手剪辑是一款智能去重的产品,他通过 AI 技术和视频处理技术,对于视频的 md5、指纹信息、视觉信息、音频信息、字幕信息等进行加工处理,帮助大家更好更快的进行视频的二创。相比于你用剪映或者 PR 模版去重剪辑,他的特点是:全自动、多模版、支持字幕和语音的搭配使用,是属于更高级的二次创作。

鬼手剪辑的此项功能具备以下优势:

  1. 自动化处理

鬼手剪辑不需要你亲自剪辑每个视频,它可以自动识别相似内容并进行改写。这意味着你可以节省大量的时间和精力,将更多时间用于创作。

  1. 提高内容独特性

传统的视频去重方法只是简单地删除相似内容,但鬼手剪辑却能够巧妙地改写内容,使其保持原有的主题,同时又有全新的表现方式。这让你的视频更具独特性,吸引更多的观众。

  1. 提供声音和字幕

鬼手剪辑不仅仅是一个视频去重工具,它还可以为你的视频添加声音和字幕。这使得你的视频更具吸引力,适合不同语言和听众。

鬼手剪辑创新的对画面、声音、字幕、排版、贴纸和分镜等进行AI重新生成,AI改写的文案让每次出品的内容都不一样。AI配音的改变让每个视频都重新焕发声机。鬼手剪辑有中文、英文版本,也支持微信小程序和电脑版。鬼手剪辑即将推出声音克隆、多合一 视频混剪、一变多 视频裂变等诸多AI视频去重的功能,欢迎大家的关注和体验。

附:视频原创、视频同质化和视频去重相关Q&A

类别
定义 同质化、原创、首发、创新度这些如何区分? 原创、首发、同质化、相似素材都属于创意生态创新度视角下的概念
首发和优质的区别是? 首发和优质都是创意生态的一个子项目,两者都会有激励策略。如果素材同时是首发和优质,将会同时享受两者的激励。
识别 自己原创的素材为什么没有被判定为首发? 首发的概念仅代表在平台内首次上传的素材,同一批视频片段仅更换时间顺序生成的多个视频,大概率仅第一条上传的为首发。
同一个账号里上传的相似的素材,只有一个被判定为首发,其余都判定为非首发? 同一个账号中上传多个类似的创新素材,仅第一个上传的会被判定为首发,其余的被判定为非首发。
被标记被首发的素材未来会不会变成非首发素材?被标记为非首发的素材会不会变成首发? 不会。
首发是“原创脚本+原创拍摄”吗? 首发识别是基于模型对视频分镜的相似判断,建议优先在新素材中使用“原创拍摄”的画面来提升首发素材占比

分镜、相似和占比分别怎么理解,可否理解为视频片段、同样的片段和时长占比?

  1. 分镜相似:视频中某个镜头可视为一个分镜。一般固定镜头+固定模特动作会视为一个分镜、多镜头混剪的视频会视为多个分镜
  2. 相似占比:同时考核相似的时长和相似时长在素材中的时长占比,多个短时间的相似分镜会累计相似时长

发布了一段时间的素材下线后再次投放,是首发还是非首发?

  1. 一个素材(素材ID维度、内容完全一致)若被判定为首发,则轻易不会发生状态变更
  2. 同一条视频修改片头、转场、片尾等内容后,视为一条新的素材,需要重新判断是否首发

附:什么是视频指纹信息?

通常来说,直接下载的无水印视频通常包含以下几个关键信息

1、原视频的 MD5

2、原视频的 meta 信息里被置入了社媒平台的视频指纹信息;【参考下表】

3、通过其他视频算法形成的隐水印,也叫 hidden watermark。

视频指纹是最基本的重复检测要素,视频去重的基础操作是先把这些视频指纹信息去掉。

附:通过鬼手处理后视频指纹信息会改变。

通过下表,你可以了解视频发生了哪些指标变化。

在基础的 md5 和视频指纹信息,鬼手剪辑是全自动进行了改变。

类型 使用无水印软件下载 直接下载-带平台水印 鬼手剪辑去重 备注
文件大小 720 720 720 支持1080p
文件时长 9 s 567 ms 12 s 567 ms 8 s 745 ms 时长随机改变
描述信息 kGKBf4vhCEeIDeGMbRdxd/vDVtJfUMQlz 随机新增
版权信息
数字签名 AZ6e6gmuDHRSid AaGXVlW2x3ix ARpW6Y+7l02g 随机改变

附:去重好坏以及 dou+、粉条的过审跟哪些因素有关?

去重的好坏,一般跟账号的等级、素材的火爆程度、二创的时间有重要关系

  • 本身发布账号的等级需要是高质量,越是新账号以及被平台风控过的账号,则对去重程度要求要高;
  • 素材越是火爆,如来源于大爆款或者明星素材,则对素材的去重要求越高;
  • 时间越近,比如说是当天最火的素材,对去重要求越高;
  • 如果是同平台就地上传,则去重要求也非常高,跨平台的会更容易些。

建议大爆款内容重新导入剪映,再增加其他贴纸、素材片段等,再选择 1080p,60 帧重新导出后上传。

注意:强烈推荐与原作者、MCN 机构沟通以获得原始素材版权,以避免使用他人素材引起的版权纠纷。

官方和系统允许在合理范围内的素材微改探索,该尺度主要由系统、算法和市场内容的供给情况决定。因此,在单一时间内,并非优质素材一定有量,也不是说低质素材无法爆发,即使是微改动的素材也可能获得不错流量,这是因为算法在每个时间点的评估和推荐状态都是非稳定的,短期的正负反馈是个案。 而长期来说,持续贡献平台和用户喜欢的内容,会获得长期正反馈

参考材料

[【创意生态】首发素材项目介绍]

[素材创新——如何低成本创新]

[「同质化素材」说明文档(对外)持续更新]

[字节广告-巨量-低质素材标准细则]

About

视频去重,用AI对视频去字幕、改写文案并重新配音,一种高级视频二创手法。Remake the video by rephrase the captions and AI dubbing. Remove all the original subtitles by auto OCR and video Inpainting.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published