近日,西安光机所光谱成像技术研究室研究员王荃团队在基于风格转换和个人校准的视线追踪算法研究方面取得新进展。

视线追踪技术又称为眼动追踪技术是采用机械、电子、光学等技术手段获取用户的视觉注意的技术,广泛应用于人机交互、辅助驾驶、军事、游戏、虚拟现实、体育研究等多种领域。虽然传统的基于红外摄像系统的视线追踪算法具有准确度高、速度快的特点,但是需要额外的红外相机以及红外主动光源,并且算法的性能严重依赖于图像分辨率的大小。然而,可见光相机是人们日常生活中使用最广泛的通用相机。因此,研究一种覆盖更广泛用户群体的眼球追踪方法是很重要的。针对该问题,研究团队提出了一种将虚拟图像转换为真实图像风格的利用残差神经网络结合个人校准的视线追踪算法。该算法分为三个步骤:第一步使用虚拟图像生成工具生成了一批虚拟的眼睛图像,通过生成工具可以获得无限量的训练样本,解决了小样本问题。第二步,使用了一个新颖的自适应实例归一化网络将生成的虚拟图像转化为与真实世界的眼睛图像同样的风格,缩小真实图像与虚拟图像之间的差异。第三步,使用风格转换之后的眼睛图像进行训练,并使用一小部分真实世界的个体的眼睛图像结合个人校准对网络参数进行微调。相比于单独使用其中某一种方法,通过这种混合的方法,得到了一种更加稳定的具有代表性的结果,具有较强的实用性。

研究成果以“Style transformed synthetic images for real world gaze estimation by using residual neural network with embedded personal identities”为题,在线发表于Springer出版社旗下的期刊《Applied Intelligence》上。论文的共同第一作者为王荃研究员和中国科学院大学2019级博士研究生王辉。《Applied Intelligence》是一本跨学科的国际化期刊,影响因子5.1,中科院SCI期刊分区二区,重点专注于人工智能和神经网络的研究,涉及现实生活中的制造、国防、管理、政府和工业问题的解决方案。

以上研究工作得到中科院从0到1基础前沿科学研究计划和中科院西安光学精密机械研究所自主部署项目的支持。

图1基于图像风格转换结合个人校准的视线追踪算法的网络模型

图2 不同个体的眼睛模板图像、原始虚拟图像和经过神经网络生成的风格转换之后的图像

图3 MPIIGaze数据集(上)、KLBS-eye数据集(中)和UT-Multiview数据集(下)中不同被试的注视误差分布