本发明公开一种虚拟数字人视线追随交互方法，本方法通过深度神经网络实时生成具有透明背景的、语音驱动其嘴型和姿态的虚拟数字人，然后应用在后，视频在前，点击透传，边缘融合，最后采用响应状态和跟随状态两种方式实现虚拟数字人与应用及用户的交互，响应状态下，确定用户意图及目标控件后，虚拟数字人响应控件在屏幕中的方位指令从而转动身体部位或生成相关表情，其面部、眼睛、手或身体的作用方向是应用界面中的目标控件；处于跟随状态时，虚拟数字人根据摄像头的人像检测信息，将自己眼睛及头部状态跟踪交互用户进行相应运动。本发明使虚拟数字人与应用软件界面更加自然融合，根据应用内容及用户状态使虚拟数字人与用户之间交互自然。