3D Digital Human

3D Digital Human

Open source projects

1.视频驱动肖像动画框架:LivePortrait 13.7k⭐

项目地址：https://github.com/KwaiVGI/LivePortrait
开源时间：2024-07-04
最后更新：2025-01-01
主要语言：Python
项目分类：[AI]
项目标签：[AI生成] [数字人]
推荐理由：视频驱动肖像动画框架，专注于更好的泛化性、可控性和实际使用的效率。为了提高生成质量和泛化能力，我们将训练数据扩展到约 6900 万个高质量帧，采用混合图像 - 视频训练策略，升级网络架构，并设计更好的运动变换和优化目标。
1.1 静态图像生成肖像动画:
1.2 肖像视频合成:
通过结合上文推测可能是用于带有拼接的肖像视频编辑的源视频是通过一个叫 Kling 的工具或主体从一张单独的图像生成而来。

1.3 动物驱动生成:
通过在动物数据上进行微调，这些可爱的猫、狗和熊猫可以被人类精确地驱动。在某种特定的动画生成或行为模拟场景中，人类可以通过特定的方式来控制这些动物的表现，使其按照人类的期望进行动作或呈现特定的状态。

2.多功能数字人项目:Fay 6.7k⭐

项目地址：https://github.com/TheRamU/Fay
开源时间：2022-06-13
最后更新：2024-01-23
主要语言：JavaScript
项目分类：[AI]
项目标签：[AI聊天] [机器学习] [ 人工智能]
推荐理由：一个完整的开源项目，包含了Fay控制器及数字人模型，可用于多种应用场景，如虚拟主播、语音助理、数字人互动等。作为开源项目，Fay提供了灵活的定制和扩展功能，适用于各种数字人应用场景。

3.声音模仿项目:echomimic 3.5k⭐

项目地址：https://github.com/antgroup/echomimic
开源时间：2024-07-03
最后更新：2024-12-10
主要语言：Python
项目分类：[AI]
项目标签：[交互式生成] [数字人]
推荐理由：一个创新的声音模仿项目。通过可编辑的地标调节实现逼真的音频驱动肖像动画,为音频制作和声音特效提供了新的手段。
Star历史曲线：[官网]
3.1 音频驱动
3.2 音频和地标驱动
4.从音频生成面部运动系数的3D渲染工具:SadTalker 2.6k⭐

项目地址：https://github.com/Winfredy/SadTalker
Github趋势榜：
入选2023-04-14周榜,周增⭐878 stars this week
入选2023-05-06月榜,月增⭐2,069 stars this month
开源时间：2022-11-23
最后更新：2023-04-25
主要语言：Python
项目分类：[视频图像] [AI]
项目标签：[AI生成] [音频生成] [语音识别]
推荐理由：一个能够从音频中生成面部运动系数的工具，它利用了3DMM（三维形变模型）和一种新颖的3D感知面部渲染技术。该工具可以根据音频生成头部姿势和表情，用于说话的头部生成。SadTalker 提供了一种创新的方式来生成逼真的面部运动，为音频相关的应用提供了更丰富的表现手段。
4.1 静图说中文:
4.2 可控制的眨眼
5.数字同步工具:LatentSync 2.0k⭐

项目地址：https://github.com/bytedance/LatentSync
开源时间：2024-12-11
最后更新：2025-01-19
主要语言：Python
项目分类：[AI]
项目标签：[AI生成] [交互式生成] [数字人]
推荐理由：一个实用的同步生成项目,可以实现不同数据之间的同步生成，为多媒体创作和数据处理提供了高效的解决方案。
5.1 嘴形同步
原视频:

生成文案嘴形视频:

6.人脸说话生成框架:JoyGen 137⭐

项目地址：https://github.com/JOY-MM/JoyGen
开源时间：2025-01-02
最后更新：2025-01-20
主要语言：Python
项目分类：[AI]
项目标签：[数字人]
推荐理由：一个有趣全新的人脸说话生成框架，包括音频驱动的唇部运动生成和视觉外观合成,能够生成让人感到快乐的图像、视频或文本内容。它可以为用户带来愉悦的体验，在娱乐和创意领域有一定的价值。
6.1 生成口型视频

微信&公众号
欢迎添加微信好友共同学习进步，微信号：open_github

▲关注公众号”GitHub狐动社“，洞察Github开源动态