paper:

Mora是一个新颖的多智能体框架，旨在实现通用视频生成。自从OpenAI在2024年2月推出Sora以来，它是首个引起社会广泛关注的大规模通用视频生成模型。Sora展示了将文本提示转换为详细视频的能力，并且在多种视频生成任务中表现出色。然而，Sora的闭源性质给学术界带来了挑战。为了解决这一问题，本文提出了Mora框架，它结合了多个先进的视觉AI智能体来复制Sora展示的通用视频生成能力。Mora能够在多种任务中成功模仿Sora的视频生成能力，包括文本到视频的生成、文本条件图像到视频的生成、扩展生成的视频、视频到视频的编辑、连接视频和模拟数字世界。广泛的实验结果表明，Mora在各种任务中的性能接近Sora，但在整体评估中存在明显的性能差距。总的来说，作者希望这个项目能够指导未来通过协作AI智能体进行视频生成的发展轨迹。

引言

在人工智能领域，视频生成技术正迅速发展，为内容创作、娱乐产业乃至虚拟现实带来了革命性的变化。今天，我们将深入探讨由Lehigh University和Microsoft Research共同研发的新型多智能体视频生成框架——Mora，以及它与OpenAI推出的Sora模型之间的异同。

Mora：多智能体视频生成的新星

Mora是一个创新的多智能体框架，旨在实现通用视频生成。它通过分解视频生成任务为多个子任务，并由专门的智能体负责执行，从而实现了从文本到视频的转换。Mora在多个任务中表现出色，包括文本到视频的生成、文本条件图像到视频的生成、视频的扩展、编辑、连接以及模拟数字世界等。

Sora：引领潮流的先行者

Sora作为OpenAI推出的先驱性文本到视频生成模型，以其卓越的性能和广泛的应用范围引领了视频生成技术的潮流。Sora能够根据文本提示生成长达一分钟的详细视频，并且在视频编辑、连接和扩展方面展现出前所未有的能力。

Mora与Sora的较量

在性能对比中，Mora在多个基准测试中紧随Sora之后，排名第二。尽管在整体性能上与Sora存在明显差距，Mora在某些领域如动态度和成像质量上展现出了超越现有开源模型的能力。此外，Mora在扩展视频内容和模拟数字世界方面也显示出了与Sora相媲美的表现。

开源与闭源的较量

与Sora的闭源性质不同，Mora的开源框架为学术界和开发者社区提供了更多的可能性。这种开放性不仅促进了技术的民主化，还激发了更多的创新和合作。

Mora的潜力与挑战

尽管Mora在视频生成领域取得了显著进展，但它在数据集的需求、视频质量和长度、以及对指令的遵循能力方面仍面临挑战。未来的研究可能会集中在提升Mora的自然语言理解能力、实时反馈循环的交互式视频创作体验，以及优化计算资源需求等方面。

结语

Mora的问世标志着视频生成技术的一个新里程碑。它的多智能体合作框架为未来的创新和应用开辟了新的道路。随着我们对生成性AI的探索不断深入，Mora等多智能体协作框架将在释放新的创意可能性和应用方面发挥关键作用。