本发明公开了一种环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景。本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；本发明实现了只依靠手势、识别精度高、设备轻量且支持多人协同操作的虚拟现实交互、漫游功能。