打造梅兰芳先生的孪生数字人有多难 _光明网

点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:打造梅兰芳先生的孪生数字人有多难
首页> 文娱频道> 资讯 > 正文

打造梅兰芳先生的孪生数字人有多难

来源:科技日报2021-11-25 09:39

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  某公司推出数字人美妆博主,一条短视频收获百万粉丝;新华社推出数字记者,“TA”也是全球首个数字航天员,吸引众多视线……如今虚拟数字人概念火热,但要打造真正高逼真、超写实的数字人,还有大量技术问题要解决。

  近日,“数字梅兰芳”大师复现项目启动仪式在北京梅兰芳大剧院举行。由北京理工大学参与研制的全国首个高精度京剧数字人“梅兰芳孪生数字人”在仪式现场亮相。

  该项目以京剧大师梅兰芳先生26岁时的模样为原型,对其进行复现。项目由中央戏剧学院、北京理工大学共同发起,腾讯公司提供技术支持,受到“北京高校卓越青年科学家”计划资助,并得到了多家单位和梅兰芳先生家人及弟子的大力支持。

  北京理工大学光电学院研究员翁冬冬告诉科技日报记者,未来他们将不断进行模型实时化升级,并在多个场景应用落地,力争打造国内第一套真正意义上的可实时交互的“京剧数字人”。

  扫描,分解,构建

  做数字人表情有讲究

  虚拟数字人是存在于数字世界的“人”,利用信息技术与人工智能技术,将人全身及肢体动作全方位地进行数字化、可视化复制,最终将现实生活中的人精确地在数字世界中模拟构建出来。

  做虚拟数字人,本身就是啃一块硬骨头。因为人天然就对人的面部特别敏感,虚拟数字人做得稍有不到位,就会让人觉得怪异。

  所以虚拟数字人的一大考验,就是表情。

  研究课题组找到和年轻时梅兰芳先生长相相似的演员,让他模仿梅先生的表情神态,然后利用光场采集技术,采集真实演员毫米级精度的三维数据,并以计算光学为基础构建物理属性皮肤纹理,从而实现对真实演员的高复原度重建。

  “其实一个人的表情神态是很难复现的。我们要扫描演员肌肉的走向、脸部的皱褶等。”翁冬冬说。他们需要将演员做出的表情,编码成几百个基础表情元素。比如完全闭上左眼、左眼半睁开、完全闭上右眼、嘴角向上微微扬起……但人在做表情时,脸上很多部位是联动的。所以,先要将已扫描出的表情拆分成单个的表情元素,再根据实际需要,重新将这些元素组合起来,构成新的表情。

  获取了这些表情之后,课题组还需要将演员脸上的表情,迁移到数字人梅兰芳先生的脸上。“京剧数字人,对眼神和表情的要求非常高。”翁冬冬说。

  由于已经无法采集到梅兰芳先生的真人三维数据源,在收集了大量梅先生的照片作为数字资产构建的参照后,研究团队邀请中央美术学院的师生以历史照片为依据完成了梅兰芳先生的实体肖像。在技术团队与雕塑团队的反复磨合后,完成了以三维数字化为目标的真人雕像数字人制作。

  接下来,他们还需要完善数字人的声音能力,完善数字人的实时语音交互能力,让数字人真正“活起来”。

  消失的布料,失传的手艺

  数字化也是一种抢救性保护

  难题,不仅在于技术。

  这一次,他们这帮技术出身的科研人员,切实感受到了科技和传统艺术的碰撞。“学京剧的人,对传统是很敬畏的,也是相当讲究的。”翁冬冬说。

  梅兰芳先生服装的数字化,就颇费一番周折。

  “现在的布料,和民国时期的布料是不一样的。”翁冬冬说,为了做出接近的衣服质感,项目的另一合作方、中央戏剧学院传统戏剧数字化高精尖中心主任宋震团队,通过各种关系找到了民间收藏的民国留存布样,以其为基础进行逼真服饰材质模拟。

  梅先生戏服上用到的线,叫金线,是用棉绳绕着金箔做出来的。团队被告知,这线现在没法做,因为工艺没有了,手艺失传了,而且当年的棉和现在的棉,根本就不一样。

  有此问题的还有头冠。团队找到专门做盔头的老师傅,来复现京剧《穆桂英出征》中的头冠。但老师傅说,制作这东西,没有图纸,手艺都是口口相传的,靠的是自行领悟。

  这种“只可意会不可言传”,也给数字化扫描带来了难度。

  在困难中,翁冬冬也更深刻体会到这一项目的意义——它其实也是在数字化保存那些正在消失的东西。

  “做梅兰芳先生的孪生数字人,不仅是一个技术实现的过程,也是一个科技和传统文化融合的过程。”翁冬冬说,亲身实践,才会碰到纸上谈兵时不曾想过的问题。融合没那么简单,确实需要双方的磨合、互相倾听和耐心沟通。

  目前,最为人熟知的数字人,当属虚拟偶像。一些主要采用AI换脸技术的数字人,也活跃在市场上。翁冬冬说,从长远来看,三维化的数字人数字资产价值会更高。特别是元宇宙,天然就需要以三维为基础,所以数字人是构成元宇宙的重要基础元素。

  “未来数字人可以成为人机交互的界面,成为人工智能的一个入口。毕竟人还是更容易接受和‘人’沟通交互。”翁冬冬说,但要让高逼真的数字人一颦一笑一举一动都不出戏,还有很长的路要走,“还是要冷静看待数字人的火热。”记者 张盖伦

[ 责编:张晓荣 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 【有声手账】中国好手艺⑪:甘坑的客家凉帽

  • 奔跑在云贵高原上的“幸福慢车”

独家策划

推荐阅读
今日,中国气象局召开12月新闻发布会。中国气象局办公室主任、新闻发言人宋善允在发布会上透露,今年冬季(2021年12月至2022年2月)影响我国的冷空气活动频繁、势力偏强,主要以偏东路径影响我国。
2021-12-03 09:46
记者从国家航天局获悉:11月,我国“天问一号”与欧空局“火星快车”任务团队合作,开展了“祝融号”火星车与“火星快车”轨道器在轨中继通信试验,取得圆满成功。
2021-12-03 09:44
数字人民币多地试点一年多来,应用场景持续创新,公众接受度不断提升。截至今年10月22日,数字人民币已开立个人钱包1.4亿个,企业钱包1000万个,累计交易1.5亿笔,交易额接近620亿元。
2021-12-03 09:43
签署“军令状”、不设门槛、限时攻关……11月15日至19日,2021年成都市“揭榜挂帅”科技项目(国家新一代人工智能创新发展试验区重点场景建设领域)拟支持项目名单公示。
2021-12-03 09:41
如何给长期驻留空间站的航天员提供新鲜食物,一直是令人头疼的问题。世界各国一直没有停下太空种植实验的脚步。据不完全统计,目前已经有包括辣椒、草莓等在内的上百种植物种子,被先后送入国际空间站进行培育。这其中,辣椒是太空种植实验中最受欢迎的食物之一。
2021-12-03 09:40
山东是国内主要“粮仓”之一。按照山东省粮食和储备部门的统计:2020年全省粮食总产量达到5447万吨,占全国粮食产量的8.14%。通过技术减少粮食损失,山东是怎么做的?
2021-12-03 09:39
在2日发表于英国《自然·遗传学》杂志上的一项研究中,安进 (Amgen)制药属下deCODE基因公司的科学家们展示了通过结合序列多样性和RNA表达的数据,测量出迄今最大规模血浆中大量蛋白质的水平,以深入了解人类疾病和其他表型。
2021-12-03 09:31
1965年诺贝尔物理学奖得主菲利普·沃伦·安德森在1973年首次提出一种新物质状态——量子自旋液体。其不同性质在高温超导和量子计算机等量子技术领域有着广阔的应用前景。
2021-12-03 09:29
半个世纪以来,科学家一直在寻找解决“蛋白质折叠问题”的方法。这是生物学领域的一项重大挑战,难倒了几代科学家。但现在,人工智能(AI)解决了这一问题。
2021-12-03 09:27
据英国《自然》杂志2日发表的一项研究,科学家用人多能干细胞建立了一个模型,可用来研究人类胚胎植入子宫的过程。人胚状体(blastoid)是模拟早期人类胚胎的结构,在研究中能准确再现人类胚胎早期发育的关键阶段,包括黏附在体外子宫细胞上。该模型或有助于推进我们对人类发育早期阶段的认识,以及开发不孕不育的治疗方法或避孕药。
2021-12-03 09:26
贺兰山保卫战打响之前,宁夏北部石炭井、汝箕沟等煤炭开采集中区对植被和土壤的破坏,造成了贺兰山脆弱的生态系统进一步退化。
2021-12-03 09:25
王建明介绍,所有病例均是大于18岁的成人,经过PCR核酸检测证实为感染了新冠病毒,且均感染德尔塔毒株。
2021-12-03 09:23
因患范可尼综合征,“轮椅姑娘”李长盈自幼就与骨折、骨软化一路抗争,家庭也陷入困境。在滨州医学院,她享受到了专业教育和“医学大家”的专业救护。好消息是,就在最近,她以专业课第一名的成绩,考取了青岛大学肾内科硕士研究生。
2021-12-03 09:22
“老一辈科学家取得的重要发现令人羡慕,但我们应该知道,这些成就不是一蹴而就的,而是勇于攀登、数年如一日、不忘初心、坚持不懈的成果。”12月2日,中国科学院古脊椎动物与古人类研究所举办弘扬科学家精神主题活动,该所多位研究人员谈了学习杨钟健、裴文中等老一辈科学家精神的心得体会。
2021-12-03 09:19
记者从中国科学技术大学获悉,该校周鑫教授课题组与国内外同行合作,发现东亚季风区11700年前至今的全新世降水最大期在南方出现较早,北方出现较晚,降水最大期出现时间与纬度之间呈现明显的线性关系。
2021-12-03 09:17
在刚刚过去的“双十一”购物节,多家电商平台智能手机销量又创新高。其实,不少人换手机不是为赶时髦,而是因为电池不给力,可谓手机未“老”电池先“衰”。
2021-12-02 09:39
俗话说“民事以为天,食以安为先”。舌尖上的安全与老百姓的日常生活息息相关,也格外引人关注。正因如此,为了博眼球,“有心人”会刻意制造有关食品的谣言,这些谣言闹得人心惶惶,让不少无辜的食物被拉进了黑名单。
2021-12-02 09:38
当在种茶道路上创业十年,连续亏损两千万元,“快撑不下去了”的时候,创业者董桂萍遇到了科技特派员(以下简称科特派)、山东省农科院茶叶研究所“茶博士”田丽丽。
2021-12-02 09:37

2012年的一次大胆尝试,让广西桂林市龙胜各族自治县龙脊镇和平村里排组村民喜出望外,日子越过越甜。“现在我们每家每年靠这个红心猕猴桃就能有10万元收入,感谢猕猴桃,让我们脱贫致富!”近日,村民们这样感慨。

2021-12-02 09:37
加载更多