数字人起飞！字节Loopy对口型功能在即梦上线 可根据语境匹配表情和情绪

还记得月初刚发布时就让大家惊艳不已的字节新项目Loopy吗?这个让数字人声音完美匹配画面还匹配表情和情绪的对口型项目已经正式在即梦上线了。

AIbase体验了一下，效果非常不错，可以说是目前支持中文效果最好的对口型服务了。

以往，对口型视频往往存在一个通病，那就是看似嘴型对上了，但总感觉这个声音不是他发出来的，以至于大家看对口型视频的时候，会有一种割裂感。

字节跳动和浙江大学的科研团队联合开发的基于音频驱动的视频扩散模型LOOPY完美解决了这个问题。

不同于以往的对口型只是张张嘴，Loopy可以让对口型视频中的角色在说话或唱歌时，还自动带上该语境下相应的语气，情绪和表情。它可以精准地"指挥"虚拟形象的每一个细微动作，例如叹息等非语音动作、情绪驱动的眉毛和眼睛运动以及自然的头部运动。

目前，这一功能已经集合进字节旗下即梦的视频生成模块内：

AIbase上传了一张女孩的照片测试一下，

即梦里面的对口型目前可以选择两种对口型方式：

1、文本朗读

即梦的操作基本都很简单，只需要上传你要对口型的角色图片或视频，然后输入文本，选择一个配音即可。这里AIbase选了一个高冷御姐的配音，测试效果如下：

可以看到，人物在说话的同时，还会有一些细微的表情，而且说话的时候，法令纹那些细节的动态也比较真实

2、上传本地配音

而且，你不但可以让她说话，还可以上传一段唱歌的音频，让她开口唱歌：

这里AIbase选择了一段抖音最近比较火的野人节选片段，看看效果：

效果真不错，不仅口型对上了，而且声音不会让人有割裂的感觉，仿佛女孩的原声就是这样的。

不过有一个小问题，AIbase选的这个女孩照片，眼睛没看向观众，可能代入感不够强烈，我再换一个正面的试试：

这样是不是好多了，而且人物在唱歌的时候，还会有闭眼，摇头这样很真实的动作。

AIbase还测试了一个男生版的，效果如下：

效果是不是很惊艳？比较让AIbase惊喜的是，它在对口型的时候，还会考虑到喉结，眉毛等这些很细微的变化细节。使得整体的视频更加真实。

感兴趣的可以自行体验哦~

即梦产品入口：https://top.aibase.com/tool/jimeng