近日，一项名为Make-Your-Anchor的研究成果即将在CVPR2024上展示。这一项目通过输入1分钟视频进行训练，可以合成带手部动作的虚拟人视频，支持嘴型同步，支持换脸。这一创新系统在创造与全身动作的锚点样式视频方面取得了重要突破，尽管基于说唱头像的创作解决方案已有显著进展，但直接生成具有完整躯干和手部动作的视频仍然具有挑战性。
该系统提出了一种全新的解决方案，仅需一个个体的一分钟视频片段进行训练，随后就能自动生成具有精确躯干和手部动作的锚点样式视频。具体而言，他们在输入视频上微调了一个结构引导的扩散模型，将3D网格条件渲染为人类外观。为了将动作与特定外观有效地绑定，他们采用了两阶段训练策略来训练扩散模型。
为了生成任意长的时间视频，他们将帧间扩散模型中的2D U-Net扩展到3D样式，而无需额外的训练成本，并且提出了一个简单而有效的批次重叠的时间去噪模块，以在推理过程中绕过视频长度的限制。最后，引入了一种新颖的特定身份的面部增强模块，以改善输出视频中面部区域的视觉质量。不过这一项目代码还没发布。
经过比较实验，结果显示该系统在视觉质量、时间连贯性和身份保留方面的有效性和优越性，优于当前最先进的扩散/非扩散方法。这一创新的框架为头像生成领域带来了新的可能性和前景。想要了解更多关于Make-Your-Anchor的信息，可以访问产品入口：https://top.aibase.com/tool/make-your-anchor，或查阅论文：https://arxiv.org/abs/2403.16510v1。
