数字人生(数字人生歌词的含义)


【点击查看】低成本上班族靠谱副业好项目 | 拼多多无货源创业7天起店爆单玩法

【点击查看】逆林创业记 | 拼多多电商店铺虚拟类项目新玩法(附完整词表&检测工具)

【点击查看】逆林创业记 | 小白ai写作一键生成爆文速成课

领300个信息差项目,见公众号【逆林创业记】(添加请备注:网站)

研究意义

虚拟数字人即运用数字技术创造的、拥有数字化表现形式的虚拟人物,大规模生产高质量虚拟数字人化身,既是人类进入“元宇宙”等虚拟世界的基础,也是人类进一步探索更广阔的数字空间的迫切需求。

基于计算机图形学的方法能够生产高拟真的虚拟数字人,但其建模过程复杂,依赖于专业的感知设备和精细的人力工作,无法满足大规模数字人的生产需求,这些限制阻碍了数字人的普及和应用。近年来,利用生成式人工智能技术创造数字人的方法,极大简化了三维数字人建模流程,提升了模型的真实感,展现出巨大的发展潜力。

图1 三类虚拟数字人的典型应用:虚拟偶像、影视角色、真人化身

本文工作

本文从生成式模型的视角对三维数字人技术进行全面回顾,并总结了生成式三维数字人建模流程的三个关键步骤:表示、渲染与学习。重点介绍基于神经网络的数字人研究方法,梳理其技术发展趋势及典型应用场景,让读者能够较为全面地了解数字人的生成技术。

表示:首先,需要确定三维数字人模型的表示方式,常见的表示方式可以分为显式表示和隐式表示两种形式。显式表示包括点云和多边形网格等,是游戏、影视制作等工业应用中的主流表示方式。隐式表示包括符号距离函数、水平集等。随着深度学习的发展,隐式表示也逐渐成为数字人研究的热点,越来越多的方法使用神经网络来逼近隐式函数,并由此恢复出数字人的精细几何与纹理。

渲染:第二个重要步骤是渲染,是从三维数字人模型到二维图像的映射过程,该步骤直接决定了数字人呈现的视觉效果。渲染过程一般是对物理世界成像原理的模拟和简化,但是这种简化会造成渲染质量的下降。神经网络渲染技术引入了数据驱动学习方式,极大地提升了渲染的真实感。近年来数字人生,神经网络渲染技术已经成功应用到数字人生成流程中,使生成高度拟真的三维数字人成为可能。

学习:最后,生成式三维数字人模型需要对数据进行学习,不同的数据类型会造成学习方式的差异。如使用三维扫描数据数字人生,对于网格等显式表示模型,一般需要先将扫描数据与模型进行配准,生成一致的拓扑结构,然后进行学习;而对于隐式表示模型,则一般可以直接从原始扫描数据进行学习。

图2 三维数字人生成流程,模型表示、渲染与学习

总结与展望

现有数字人技术离实现“元宇宙”中高度真实、自然交互的虚拟形象仍存在较大差距,本综述希望能帮助读者快速梳理生成式数字人的技术路径与发展趋势,并启发后续的研究。

(1) 生成式数字人的基础理论

真人的运动是由骨骼、肌肉、皮肤等一系列身体结构参与的复杂过程,但现有的数字人模型仅通过对人体表面的观测结合简化的先验约束来推断数字人的变化与运动规律,缺乏医学方面的理论基础,同时针对隐式表示模型缺乏统一的理论框架,需要探索更本质的数学原理。

(2) 生成式数字人的细节表示

目前生成式三维数字人大多针对人脸、身体等部位建模,而针对头发、衣服等不同材质、不同纹理的细节进行精细化建模的研究较少,需要进一步进行探索。

(3) 高效推理与训练

隐式数字人模型的训练和推理十分缓慢,难以达到实时渲染的要求,如何在保证渲染质量与模型通用性的前提下提升训练与推理效率,仍然需要进一步研究。

(4) 质量评价系统

已有的虚拟数字人质量评价系统尚存在很多不足之处,例如缺乏主观质量评价,无法应用于真实样本数据缺失的场景等。如何改进当前数字人的质量评价系统有待更多的探索与研究。

(5) 工程扩展

对于隐式表示生成的三维数字人,需提前将隐式表示转为显式表示方可应用于现有工业软件,直接针对隐式表示进行编辑或微调的工业级软件仍需进一步探索。

(6) 法律与伦理问题

尽管三维数字人有着广泛的应用前景,其中潜在的伦理、道德、法律风险也不容忽视,需要开展更多讨论与探索。

文章信息

晏轶超, 程宇豪, 陈琢, 彭乙骢, 吴思婧, 张维天,李俊杰, 李逸轩, 高景南, 张维夏, 翟广涛, 杨小康. 基于神经网络的生成式三维数字人研究综述: 表示、渲染与学习. 中国科学: 信息科学, doi: 10.1360/SSI-2022-0319

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站不拥有所有权,不承担相关法律责任。如发现有侵权/违规的内容, 联系QQ3361245237,本站将立刻清除。