本手势识别系统是一个基于视觉的二级识别系统，并且在识别模块中，因为需要包容不同个体相同手势的差异性，以及对相似手势具有敏感性而成为一个难点。针对这一问题，本文采用了基于隐马尔可夫模型的并行识别结构，分别对手势的手形特征与动作的轨迹特征进行建模，并根据出现的最大概率作为判断依据。实验表明，在保证了获得良好的识别效果的同时，也具备实时处理的能力。