AniPortrait是一款基于音频和静态图像生成高质量动画肖像的创新框架。我们的方法分为两个阶段。首先，我们从音频中提取出3D中间表示，并将其投影到一系列2D面部关键点上。然后，我们使用强大的扩散模型和运动模块，将关键点序列转换为逼真且时间连贯的肖像动画。实验结果表明，AniPortrait在面部自然性、姿势多样性和视觉质量方面具有优势，提供了更加出色的感知体验。此外，我们的方法在灵活性和可控性方面具有很大潜力，可以有效应用于面部动作编辑或面部再现领域。我们在\href{https://github.com/scutzzj/AniPortrait}{https://github.com/Zejun-Yang/AniPortrait}上发布了代码和模型权重。
AniPortrait有哪些功能？
1. 从音频中提取3D面部网格和头部姿势。
2. 将3D表示投影到2D面部关键点序列。
3. 使用扩散模型和运动模块将关键点序列转换为肖像动画。
4. 生成高质量、逼真且时间连贯的肖像动画。
产品特点：
1. 面部自然性：AniPortrait能够捕捉音频中的微妙表情和嘴唇动作，并与音频的节奏同步进行头部运动。
2. 姿势多样性：通过使用3D面部表示，我们可以灵活地修改姿势，从而实现多样的面部动作。
3. 视觉质量：我们的方法采用了强大的扩散模型和运动模块，生成的肖像动画具有逼真的视觉效果和时间连贯性。
应用场景：
1. 虚拟现实和游戏：AniPortrait可以用于虚拟现实和游戏中的角色动画，增强用户的沉浸感。
2. 数字媒体：AniPortrait可以用于数字媒体中的肖像动画制作，提升作品的视觉吸引力。
AniPortrait如何使用？
1. 输入音频和参考肖像图像。
2. 运行Audio2Lmk模块，提取3D面部网格和头部姿势，并将其投影到2D面部关键点序列。
3. 运行Lmk2Video模块，使用扩散模型和运动模块将关键点序列转换为肖像动画。
4. 输出高质量、逼真且时间连贯的肖像动画。
AniPortrait：https://arxiv.org/html/2403.17694v1
