上海科技大学信息科学与技术学院李权课题组（交互智能与可视分析实验室ViSeer LAB）致力于开发先进的交互和可视分析技术，旨在促进人、机器和数据之间的紧密互联，提高在实际应用中处理大量数据、复杂人工智能模型以及不同背景用户群体的数据探索效率。近日，课题组在生物医药可解释性、医学领域可视分析及人机交互叙事技术方面取得多项研究成果。
SLInterpreter： 基于 GNN 的合成致死预测的探索性迭代人机协同系统
合成致死（Synthetic Lethal, SL）关系在众多基因组合中十分罕见，但在癌症靶向治疗领域具有巨大潜力。近年来人工智能模型的显著提升仍未能充分满足领域专家对该任务模型可解释性和机制探索的需求。特别是在湿实验验证中，由于涉及大量资源及时间成本，对路径和机制的深入探索亟需更好地与特定领域知识相协调。
图| SLInterpreter 由数据处理模块、后端引擎和交互式可视化共同组成迭代性的工作流程。
为此，李权组提出了一个迭代式的人机协作框架，包括两个关键部分：首先是基于元路径策略的人类参与的知识图谱完善；其次是通过跨粒度SL可解释性增强和机制分析，帮助领域专家发现新的SL关系，增强结果的可解释性，并探究图神经网络（GNN）模型推断出的潜在合成致死机制。研究人员基于信息学院郑杰组此前提出的知识图谱图神经网络KR4SL，通过不断循环优化其预测和机制探索，加强了领域专家的参与和干预，提升了他们对模型的信任。这一工作流程整合到一个名为SLInterpreter的交互式可视分析系统中。通过迭代式的人机协作，SLInterpreter确保新生成的解释路径更符合领域知识，更贴近真实世界的生物学原理。案例研究和多次访谈充分验证了SLInterpreter的有效性和可靠性。
图| SLInterpreter 通过迭代式的人机协作，确保新生成的解释路径更加符合领域知识，并提供了机制探索、知识图谱优化等功能。
该研究成果由上海科技大学信息科学与技术学院李权课题组及郑杰课题组合作完成，并以“SLInterpreter: An Exploratory and Iterative Human-AI Collaborative System for GNN-based Synthetic Lethal Prediction”为题发表在IEEE Visualization Conference (IEEE VIS) 2024会议上。信息科学与技术学院2023级项目型硕士研究生姜浩然为论文的第一作者，李权教授为通讯作者。
文章链接：https://arxiv.org/abs/2407.14770
一个用于后遗症分析与建模的两阶段人机协同可视化系统
在医疗保健领域，人工智能技术被广泛应用于风险评估和异常检测等任务。但在复杂医疗数据的分析过程中，其与人类的合作动态往往被过分简化。为此，李权组与复旦大学附属中山医院合作，邀请六名医生和一名数据科学家参与了一项形成性研究。基于此他们提出了一个集成两阶段交互式可视化系统的框架：一方面用于人类主导的人工智能辅助回顾性分析，另一方面用于人工智能介导的人类审查的迭代建模。该框架旨在增强对医疗保健中有效的人-人工智能合作的理解和讨论。
图| 该框架由两个阶段组成：[阶段I]：人类主导、人工智能辅助的回顾性分析。[阶段II]：人工智能中介、人类审核的迭代建模。
该系统通过互动可视化和主动用户支持，提高了分析效率和质量，在一定程度上解决了数据质量和潜在样本偏差问题。这一框架设计最初用于后遗症数据分析，但还可以扩展至生物学和化学等领域，支持药物发现和蛋白质分析。系统的交互设计支持对队列数据的无缝探索以及假设检验中的持续AI协作。核心组件的模块化设计允许根据不同领域的需求进行定制。
图| 系统概览：阶段I包括（A）队列视图，用于理解药物事件与疾病进展之间的关系，（B）患者投影视图，用于探索特定患者群体的特征，以及（C）医疗事件视图，用于详细可视化患者的医疗事件。阶段II包括（D）建模视图，用于迭代的AI模型开发和性能评估，以及（E）日志视图，用于维护模型及相关数据的迭代记录。
该研究成果由上海科技大学信息科学与技术学院李权课题组与复旦大学附属中山医院联合完成，并以“A Two-Phase Visualization System for Continuous Human-AI Collaboration in Sequelae Analysis and Modeling”为题发表在IEEE Visualization Conference (IEEE VIS) 2024会议上。信息科学与技术学院2023级博士研究生欧阳阳为论文的第一作者，李权教授为通讯作者。
文章链接：https://arxiv.org/abs/2407.14769
NotePlayer: 简化数据分析教学视频制作，增强计算笔记本互动性
数据分析中，有效传达代码和分析流程至关重要。传统的数据分析教学视频制作需要多种技能和大量手动操作，虽然已有工具减轻了部分工作量，但对于缺乏视频编辑经验的人来说，制作高质量的教学视频仍具有挑战性。为此李权组提出了一种创新工具NotePlayer。它将笔记本单元与视频片段无缝连接，结合大语言模型和计算引擎，简化了视频的创建和编辑过程。
图| NotePlayer系统无缝连接笔记本单元与视频片段，加速数据分析教学视频的创建。
为设计NotePlayer，课题组进行了形成性研究，并对38个Jupyter教程视频进行了内容分析。这一分析帮助识别了现有教程视频中的关键模式和所面临的挑战，为NotePlayer的开发提供了明确的方向。通过结合使用场景和用户研究的方法，课题组验证了NotePlayer的有效性。结果表明，该工具不仅简化了视频制作过程，还促进了数据分析人员之间的沟通。
图| NotePlayer为使用场景生成的视频示例。该示例包含一系列注释和动画。当音频叙述到达相应部分时，这些注释和动画会被触发。
该研究成果由上海科技大学信息科学与技术学院李权课题组、香港科技大学计算机科学与工程学系及微软联合完成，并以“NotePlayer: Engaging Jupyter Notebooks for Dynamic Presentation of Analytical Processes”为题，发表在ACM Symposium on User Interface Software and Technology (ACM UIST) 2024会议上。信息科学与技术学院2023级博士研究生欧阳阳为论文的第一作者，李权教授为通讯作者。
沪公网安备 31011502006855号