轨迹可控！阿里推视频生成模型Tora 寥寥几笔让向日葵转向

继OpenAI的Sora震惊世界后，阿里巴巴的研究团队再次为我们带来了惊喜 - Tora，这个基于轨迹的视频生成新星，正在悄然改变我们对AI视频创作的认知。

主要特点:

• 高保真度:Tora生成的视频质量堪比专业制作，无论是色彩、清晰度还是流畅度，都达到了一流的水准。

• 运动控制:Tora能够精确地控制视频中的每一个动作，无论是快速的运动还是微妙的变化，都能准确呈现。

• 多样化输入:无论是文本描述、静态图像还是动态轨迹，Tora都能够灵活处理，满足你的各种创意需求。

与传统的U-Net架构不同，Tora采用了更为先进的Diffusion Transformer（DiT）架构。这一创新使得Tora能够轻松突破以往视频生成的诸多限制，不仅可以生成长达60秒的高质量视频，还能灵活应对不同的分辨率和纵横比。更令人惊叹的是，Tora生成的视频动作流畅自然，仿佛真实世界的完美复刻。

工作流程:

• 轨迹编码:Tora会将你提供的轨迹信息进行编码，转换成它能理解的格式。

• 运动块生成:通过3D变分自编码器（VAE），将轨迹信息压缩成运动潜在表示。

• 运动融合:MGF将这些运动信息融合到DiT块中，生成一段段符合轨迹的视频。

Tora的核心优势在于其独特的设计理念。它巧妙地将文本、视觉和轨迹条件融为一体，实现了对视频内容的精准控制。通过大量实验，研究人员证实Tora在保持高运动保真度的同时，还能细致入微地模拟物理世界的运动规律。这一突破性成果，无疑为未来的电影特效制作、虚拟现实等领域带来了无限可能。

在与其他方法的对比中，Tora的优势更加凸显。它生成的视频不仅流畅度更高，而且能够严格遵循预设轨迹，避免了物体变形等常见问题，大大提升了视频的保真度。这一优势在长时间、高分辨率的视频生成中尤为明显，Tora的轨迹精度甚至达到了其他方法的3到5倍之多。

以下是AIbase挑选的几个官方演示视频：

提示词：宁静的广角镜头捕捉到一朵向日葵在微风中轻轻摇曳的画面，背景是落日下广阔的金色麦田。这一场景突出了向日葵的微妙运动，它高高耸立在无边无际的麦海中，沐浴在日落温暖的橙色光芒中。麦田的金色色调在暮色中闪闪发光，为风景增添了深度和丰富性。当风吹过田野时，镜头停留在向日葵上，突出了它鲜艳的花瓣和种子的复杂细节。这段视频没有任何文字或附加对象，让观众沉浸在宁静的美丽和自然与光的和谐舞蹈中。

提示词：一片枫叶从左到右优雅地飘落，背景是宁静的湖水，四周环绕着一排生机勃勃的枫树。视频以精致的细节捕捉了枫叶优雅飘落的画面，在枫叶的轻柔运动和水面的静止之间形成了鲜明的对比。枫叶飘落的场景散发出一种平静的感觉。视频只关注这一宁静的时刻，没有额外的文字或物体，创造了一种身临其境的体验，凸显了大自然中动与静的微妙平衡。

提示词：一条鲫鱼优雅地游过火星红色的岩石表面。视频聚焦于鲫鱼流畅的动作，与令人惊叹的火星景观形成鲜明对比。水生生物与荒凉的火星地形的鲜明对比凸显了梦幻般的氛围，将观众带入了这个超凡脱俗的场景。没有额外的文字或物体，让观众充分欣赏元素的有趣和意外融合。

提示词：一群海鸥优雅地翱翔在生机勃勃的海底世界，海底遍布着色彩斑斓的珊瑚礁。视频捕捉到了海鸥在水下飞翔的超现实组合，它们流畅的动作与周围茂密的珊瑚形成鲜明对比。背景是一幅生动的海洋色彩挂毯，珊瑚摇曳生姿，营造出梦幻般的氛围。场景中没有额外的文字或物体，让观众完全沉浸在鸟类优雅与水下奇观的奇妙和谐融合中。

提示词：一个肥皂泡轻轻飘浮，在盛开的野花丛中升起。视频捕捉到了肥皂泡的精致和彩虹般的自然，背景是美丽的花卉。五颜六色的野花在背景中轻轻摇曳，增强了肥皂泡的短暂之美。场景中没有额外的文字或物体，让观众完全沉浸在宁静而迷人的瞬间中，凸显了肥皂泡在充满活力的自然环境中的脆弱和短暂的魅力。

Tora的成功不仅仅在于其卓越的性能，更在于其背后的技术创新。研究团队巧妙地结合了OpenSora的DiT架构，同时引入了轨迹提取器（TE）和运动引导融合器(MGF)等创新模块。这些精心设计的组件使得Tora能够将任意轨迹编码为分层时空运动patch，并将其无缝集成到视频生成过程中。

在实际应用中，Tora展现出了惊人的稳定性和适应性。无论是处理16帧的短视频，还是长达128帧的复杂场景，Tora都能保持出色的表现。特别是在长时间序列的生成中，Tora的优势更加明显，它能够有效控制轨迹误差的增长，确保生成视频的持续高质量。

项目地址：https://top.aibase.com/tool/tora