本发明公开了一种基于图像处理的橡胶塑炼机控制方法及装置，主要包括：获取局部采样点的可塑度稳定后的橡胶表面图像的灰度图像；分别根据灰度图像中每一像素点到每一局部采样点的距离以及梯度方向之间的关系以及每一像素点的梯度幅值，分别获得每一像素点的预测可塑度；将预测可塑度在预设可塑度范围外的像素点作为第一类像素点，对第一类像素点进行均值漂移聚类获得多个类别；根据每个类别主成分分析后的主成分方向确定每个类别的离散影响值，并根据每个类别的聚类的中心距离以及两相邻类别的离散影响值，获得两相邻类别的权值；当所有两相邻类别的权值中的最小值大于预设权值阈值时停止塑炼机。