本发明公开了一种视频分析装置、服务器、系统及保护身份隐私的方法，属于隐私保护技术领域。包括：固定第一卷积神经网络的选定池化层及之前层的参数，训练第二卷积神经网络，使得预测身份与真实身份差异尽可能小；调整第一卷积神经网络的选定池化层及之前层的参数，使得预测身份与真实身份差异尽可能大；训练参数调整后的第一卷积神经网络，使得预测结果与真实结果的差异尽可能小；判断是否同时满足第一卷积神经网络的差异值小于阈值且第二卷积神经网络的差异值大于阈值，若是，则结束。本发明通过引入隐私网络，不对原有神经网络结构大幅修改，保证了用户数据隐私的同时,允许根据对隐私性和实用性的需求动态地平衡。