UniVG：UniVG (univg-baidu.github.io)
UniVG是一种统一模态视频生成系统，旨在处理任意组合的文本和图像作为输入条件。该系统将视频生成模型的多个任务重新分类为高自由度生成和低自由度生成两类。通过多条件交叉注意力和偏置高斯噪声等技术，UniVG能够生成与输入图像或文本语义对齐的视频，同时更好地保留输入条件的内容。该方法在MSR-VTT数据库上实现了最低的FVD，超过了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。
UniVG有哪些功能？
- 处理任意组合的文本和图像作为输入条件。
- 实现高自由度和低自由度视频生成。
- 使用多条件交叉注意力和偏置高斯噪声技术。
产品特点：
- 支持灵活的文本和图像输入组合。
- 采用先进的多条件交叉注意力和偏置高斯噪声技术。
- 在视频生成任务中表现优异，达到了最低的FVD。
应用场景：
- **谁**：适用于需要处理文本和图像组合的视频生成任务的用户。
- **什么**：能够生成与输入条件语义对齐的视频。
- **在哪里**：可用于多媒体内容创作、影视制作等领域。
- **何时**：在需要生成具有高自由度和低自由度的视频时。
- **为什么**：因为UniVG具有先进的生成技术和优异的性能。
UniVG如何使用？
1. 准备输入条件：准备文本和/或图像作为视频生成的输入条件。
2. 选择生成模式：根据需求选择高自由度或低自由度生成模式。
3. 运行生成：启动UniVG系统进行视频生成。
4. 输出结果：获取生成的视频文件，可根据需要进行后续编辑或应用。
常见问题：
Q: UniVG支持哪些输入条件？
A: UniVG支持任意组合的文本和图像作为输入条件。
Q: UniVG的性能如何？
A: UniVG在视频生成任务中表现优异，达到了最低的FVD。
