上科大“技术的温度”——当光照进人机交互

如何让人形机器人更像人

在人机交互中传递出

更多的技术温度

上海科技大学技术团队

自主研发的“表情迁移”技术

为19个马达

操控的机器人面部

搭建了超写实表情映射

让机器人的脸

不再是冰冷的铁块

而是拥有了丰富的表情

上科大信息学院团队

开发了一个表情的映射系统

通过检测

人脸上的上千个关键点

以及大量的数据训练

映射到机器人

脸部的19个马达上

团队通过大量数据反复迭代

得到从人脸

到索菲亚的表情映射

可控光场是

上科大MARS实验室

主研的一个科研项目

研究者利用这个光场

来拍摄和制作数字人

未来计划将数字人的表情

迁移到机器人上面

在人机协同研究领域

做进一步开发与探索

除此之外

学院团队还开发出

基于UltraStage系统

（由32台相机

与22,080个可控光源构成）

打造了8K多视角

梯度光照数据集

并通过神经网络

实现人体几何

与材质的精细重建

其创新成果发表于

“IEEE国际计算机

视觉与模式识别会议”

并首次在UltraStage环境中

将人形机器人索菲亚引入

通过ARKit面部捕捉

与机械关节的无缝联动

实现了表演、灯光

与多视角镜头的同步控制

并构建了首个

多视角机器人表演数据集

成果发表于

“ACM国际多媒体学术会议”