Google的AI视频翻译技术Universal Translator:不但能同步口译成各种语言,连人物嘴型都能配合

来源: 十轮网 通过科技的帮助,现在我们遇到不熟悉的外语时,已经有很多技术可以辅助我们理解。

通过科技的帮助,现在我们遇到不熟悉的外语时,已经有很多技术可以辅助我们理解。

最早,像是一些线上翻译网站,可以帮我们翻译文本;之后,我们在YouTube增至到可以有即时识别语音的功能,把语音先转成文本,然后再翻译成不同的字幕。

然后又有Google Lens,可以拍照之后就把图片中的外国文本转换成你认识的文本,出国的时候遇到看不懂的菜单、海报特别好用。

再来就是ChatGPT的加入,利用AI翻译更多更长的文本,也变成轻松简单。

现在,Google不但打算要攻下同步口译这一块,而且他们打算连说话者的嘴型都要改变。

先前在2023 I/O开发者大会上,Google披露了这项他们正在开发的技术,名为Universal Translator。

顾名思义,该工具旨在将视频不但从一种语言翻译成另一种语言,同时保留整体基调和氛围。这意味着该技术不仅可以将视频从一种语言翻译成另一种语言,还可以模仿说话者的声音、语气和面部表情,人物说话的时候,视频会根据目标语言的发音同步改变口型。

如下图所示,Universal Translator首先检测单词并进行翻译。然后,它会检查说话者的语气以及他们强调的内容。结合这两个方面后,它会生成目标语言的语音。最后,它会根据AI生成的语音的发音同步视频中说话者的口型。

不过,考虑到此工具可能被滥用来创建假新闻,目前Google并不开放给一般人使用,表示将限制对Universal Translator的使用权限。因此,只有Google授权合作伙伴才能将其用于建设性项目,而一般用户暂时无缘。

免责声明:本文内容来自其他媒体或者他人投稿,请自行判断内容的正确性。若本站收录的信息无意侵犯了贵司版权,请给我们来信(info@chuhaihao.com),我们会及时处理和回复。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
搜索