近日，上海科技大学生物医学工程学院李远宁课题组与合作者在Science Bulletin上发表标题为“Enhancing neural encoding models for naturalistic perception with a multi-level integration of deep neural networks and cortical networks”的研究论文，介绍了一种新的基于深度神经网络(DNN)与脑网络融合的大脑视觉响应编码预测模型。
基于深度学习与脑网络融合的大脑视觉响应编码预测模型示意图
视觉感知对于生物智能和人工智能的研究都具有重要意义。建立能够准确预测神经反应和相关感知行为的模型，揭示潜在神经过程原理和机制是认知计算神经科学的重要问题。在此项工作中，研究人员设计了DNN模型特征层面和大脑网络层面的双重整合的新型神经编码模型算法：一方面通过集成学习框架整合利用神经网络不同训练阶段各层特征表征的多样性信息，另一方面通过单体素模型构建和划分功能网络，实现大脑图谱级别的编码模型整合来融合脑网络结构信息。通过功能磁共振记录人类被试在观看大量自然场景视频时全脑神经活动，研究人员在大数据集上验证了该模型比以往基于DNN的编码模型具有更优越的预测准确性，并展示了该模型在表示复杂视觉概念（如类别和运动信息）方面的改进提升。该工作展示了如何利用多层次的深度神经网络信息以及大脑功能连接组信息促进全脑神经编码预测，将脑网络研究与单体素预测模型结合，有助于深入理解大脑的高级皮层功能。
上海科技大学生医工学院李远宁教授和宾夕法尼亚大学博士研究生杨虎铮为论文的共同第一作者，李远宁教授和电子科技大学顾实教授为论文的共同通讯作者，上海科技大学为第一完成单位。
沪公网安备 31011502006855号