本发明涉及一种自适应方法，尤其为一种基于相似性度量的多源到多目标域自适应的方法，包括相似性度量、域间对齐以及互学习；所述相似性度量为：各域数据经过公共特征提取器以后，在送入到特定于源域的特征提取层，根据源域和目标域的任务及分布间的相似性得到可迁移性较强的源域；所述域间对齐为得到的源域与目标域进行类别对齐；所述互学习为以所提取的特征为对象，在源域间、目标域间进行相互学习对模型进行优化，本发明对多个源域与目标域进行相似性度量得到可迁移源域,并实施域间互学习以对模型对齐进行优化。