作者/宁飞虹

作为女团安菟的一员，留歌以个人名义参加了《跨次元新星》的选拔，一曲劲舞后，留歌讲述自己出道后遇到的挫折与坚持，此时镜头切换，留歌的妈妈抹着眼泪说终于看到自己女儿站在舞台上。

这是选秀节目中常见又不起眼的一幕，小娱在此提及，是因为其还有这样的特殊性：留歌不是真人，是一个虚拟数字人；留歌的妈妈是一名工程师，它是留歌能与观众见面的关键人物。

《跨次元新星》用综艺形式将虚拟偶像及其实时表演带到大众面前，有趣的是，在选秀内核之外，它还将大量镜头给了节目背后的虚拟技术工程师。

这些工程师在幕后工作时，会直接吐槽类似人物穿模这样的技术瑕疵，比如angelababy与自己的战队在休息室互动时，其中一位工程师直接说寐鱼的“衣服破了”，还让导演组减少复杂的互动环节。

这是由于实时表演捕捉技术（肢体，手指，面部）、虚拟制片技术（ar/xr）技术以及实时引擎框架下的3d动画制作技术等是虚拟偶像进行才艺展现的关键，这些工程师在节目录制时发挥着举足轻重的作用。

达瓦未来科技首席技术官朱子威告诉小娱，节目在开拍前进行了三次技术测试，第一次测试动捕，第二次测试ar。要实现实时虚拟舞台表演，大致经过下图呈现的技术流程，其中ip方提供资产，建模和材质是基本；达瓦未来科技提供动捕技术和全流程虚拟制片技术，蜜枝科技提供ar舞台秀制作技术。

一个完整的技术流程

蜜枝科技在各方的合作中起到的最大作用是构建一个技术pipeline（流程标准）。在刘勇看来，“不同技术进行系统整合需要一定的磨合期，《跨次元新星》作为先行者，一定会暴露出还不够成熟的地方。但这个节目相当于抛砖引玉，它将虚拟和真人之间的隔阂膜给捅破了，让人们关注并投入到一个全新的世界，这个过程的意义才比较重大”。

在快速扩张的虚拟市场，在节目内和节目外，小娱好奇这些核心技术是如何将虚拟演出展现给大众的。

如何保证角色不穿模？

“选手太照骗了！”《跨次元新星》刚播出时，慕容浅、二娘等角色出场后，由于实际建模与海报相差太多，引来了一波吐槽。

一个虚拟角色的建模好坏，直接影响到后续技术环节的实现程度。比如顾城这个角色，被节目组戏称为“铁金刚头”，是因为他的头发没有骨骼动不了。“如果骨骼少，做物理的时候就很难完成得好。”朱子威说。

“骨骼技术难度并不高，目前业内肢体技术标准化了，但所有的配饰没有标准化。电影行业的解法是后期渲染，无法实时，这就必须要有方案去解决实时的问题，就需要用骨骼来模拟出一个马尾辫的效果。如果骨骼多，它动起来是可以很流畅的；如果只有三根，那么效果必然不好”。

他认为节目中物理效果最好的是苏芷羽的裙摆，整体的服饰及形态很流畅地在滑动。戍心渊是一只狐狸形象，它的五条尾巴“一根尾巴上有二十根骨头”，走起路来的摆动就能非常顺滑。

ip资产建模还会给物理后的动捕造成困扰。“一个角色匹配动捕是有一个过程的，这个过程如果只是1-2天的时间就可能导致穿模。”这与动捕技术实现的原理有关，只有当角色发生动作的时候，才能发现问题出在哪里，如果要进行实时修改则需要较为富余的时间。

技术方面临的一个基本难点是，综艺的工作模式与动画流程完全不同，很难有一个完全确定的分镜台本提供给技术制作团队，在实际拍摄时考验的是临场反应和超短时间的问题解决能力。

“很多拍摄决策是现场就决定的，基本定下方案后就马上执行，从动作捕捉的离线动画快速制作流程到实时表演出片，二十几个选手要10天内全部做完，而且还是直接给到模型后适配到系统里让它可以实时表演。”朱子威表示。

表演时怎么不卡顿，角色不飘走？

节目技术方还面临另一个难点是虚拟?物和真实场景融合度，以及舞台秀舞美氛围的呈现。这主要依靠ar系统去解决，做好3d虚拟灯光和真实灯光的匹配等。

“节目现场有多台ar摄像机，都必须同步，如果不同步，就会导致内部数据包括高度、深度和左右、前后全都出差错，”刘勇说道。vizrt和zero density是节目的ar渲染引擎，蜜枝科技要做的是把ue4引擎跟演出、灯光加上ar摄像机，保证其能与ar渲染引擎系统连接顺畅。“这一套流程和解决方案的开发和经验积累才是最复杂的。”

“我们在现场精确计算了各联路之间的延时（毫秒级），包括硬件的延时和软件的延时，并通过技术手段对延时进行补偿处理，才能让画面同步呈现给观众。” 另外一个难点是九个ar机位的跟踪校准，需要九台渲染主机对真实世界的理解都是一样的。定位不准人就飘走了；跟踪一坏，虚拟人物与特效的叠加合成就会出现偏差，这都会影响观看体验。

这其中系统的数据源非常之多，通常每次要检查几十个终端数据源是否畅通，才能开始进行拍摄。哪怕是一道小小灯光的处理也不简单，“在ar里面有一个虚拟的灯光，打下去之后再反到摄像机里，为了跟现场的灯光做结合，提前录好现场的灯光编排，再将那套灯光全部还原到ar里面，之后再实时地配合现场音乐。

“舞台的控台对接、ar系统的对接等这些技术及软件都不是现成的，需要去自主进行适配和研发。”刘勇提到。

在节目外，虚拟演出场景已经有不少案例，比如说唱歌手travis scott在游戏《堡垒之夜》里开的虚拟演唱会。从技术维度而言，除了服务器端荷载压力外，虚拟演唱会最需要解决的是实时渲染技术。

朱子威表示，“全世界虚拟技术产业上，现在需要最大限度突破的还是计算性能，尤其是渲染性能，其实很多问题最后还是卡在性能上面”。比如最近s10 kda女团表演时的“翻车”事件，即使是大家公认的前列公司拳头，也会在ar播出时遇到性能上的问题。

“现在的瓶颈是，有更好的硬件使得实时播出效果越来越好，但这肯定需要动用更多的计算能力或采用更加激进、巧妙的优化办法，这要通过历史数据的经验总结，得到一个不需要去计算、通过查表就可以得到的结果。”

在国内，还没有大声量的线上虚拟演出示范，但不少技术公司早早就已参与到大型舞台的技术服务中。要在国内举办大型虚拟演唱会，在时间及预算充足的情况下，技术实现不是难点。

不过当下虚拟偶像市场，娱乐公司、技术公司以及娱乐内容制作方，对虚拟角色打造、虚拟数字人的应用场景理解都不尽相同，对于演出这一面向c端的商业化形式，看法也不一。

虚拟数字技术的商业化，c端演出是大方向吗？

前几年，虚拟偶像市场刚起步，不少公司在孵化虚拟ip时基于日本的成功经验，二次元形象是常见的选择，不过这些ip总是会面临用户“抄袭日本”的指责，三四年过去很多ip都销声匿迹了。

“去你的二次元，咱们短时间内做不出能打败日本的东西。”一位业内人士对此市场状况评价道。

在二次元虚拟市场，存在一个隐形鄙视链。第一级是初音未来，第二级是日本《偶像大师》等形象，第三级是国内以洛天依为代表的vsinger系列。“在中国现在要想再做二次元虚拟偶像，是要从审美鄙视链的底端走上来，需要的时间更长，起码要保证3-5年的养成期。”刘勇说道。

刘勇专注于虚拟偶像赛道，他对于虚拟偶像的理解，是要用真人偶像培养的方式去做虚拟偶像，“当下大家都忘了偶像的初心了，偶像的造星逻辑是靠发歌拍mv、线下演出，不停地跑通告慢慢做出来的，我觉得对于做偶像来说这是一条正道。”

不过，刘勇意识到一个二次元虚拟偶像的养成在日本需要五到六年的时间，初音未来用了6年时间才火起来，洛天依在有初音未来的前提下，也花了4年时间才爆火。“所以我们转变为更大众化娱乐的逻辑，从做内容的角度拉回到做演出，做演出这件事情是做偶像的一个不二之选。”

蜜枝科技现在主要提供虚拟演出技术服务，“ar、全息，纯cg，包括游戏、动画中的演出部分，其实都有整套技术方案去解决，在虚拟演出技术服务上我们自己就能做到千万级别。”刘勇说道。

刘勇认为当下大众市场远没有到一个完全接受的程度，在5年后或许才能迎来一个爆发期，“但这需要一个触发性的事件，类似于90年代末初音未来演出禁止引发的‘初音未来消失事件’，使得初音未来真正成为大众二次元代表，让社会意识到虚拟偶像的需求及价值”。

不同于技术公司，娱乐公司重在内容输出和ip运营上。次世文化创始人陈燕认为，“我们一直希望行业跳出虚拟偶像这4个字，不管是主观意识对虚拟偶像的定义局限还是技术应用场景，我们放大到一个虚拟数字人的整体赛道上去看，你会发现更多待开发领域。”

陈燕认为虚拟数字人是虚拟娱乐产品的一种品类，而现阶段，他不会刻意入场相对泛二次元领域的虚拟歌姬、vtuber及传统大众传统认知的“虚拟偶像”赛道，而是在其他细分领域打造了超写实kol 翎ling，虚拟dj purple以及韬斯曼、冷巴等明星虚拟形象。

“当初设计ling，是因为我们发现在国风国潮这个赛道中，即便是真人领域，从16岁到30岁这个年龄，也极少能看到能担起文化传承级别的爱豆或kol，这也就意味着这个赛道存在机会。”

在与魔珐科技合作开发ling的过程中，次世文化把控住角色及世界观设定、人物属性，包括首发物料、分发平台、人物延展方式、商业化路径等。“ling身上有国潮的文化底子，这是泛大众文化领域期待看到的虚拟人产品；ling身上的时尚感也很强，这是我想让包括特斯拉等时尚类型品牌看到的。”

“我们的每个虚拟人产品都会相对精准的变现场景和用户人群，所以我们在进行ling的宣传投放时，布局了娱乐、时尚、美妆类等不同类别的媒体渠道，尽量让不同领域用户都去关注到这个事情。”

陈燕认为未来1-2年内，to b还是虚拟人行业的核心变现及应用路径，“短期内，我们还是想把’人’先做好，但我们也在尝试搭建的虚拟娱乐场景，希望在未来3-5年内给虚拟人更多to c的机会，完成更多用户虚拟身份认知的可能”。

由此看来，虚拟数字人的应用场景与商业化变现，在技术成熟的前提下，当下该做b端的生意还是直接走向c端，还需要更长时间的观察和检测。