根据系统所要面对的具体工作条件,识别性能可反映为准确性、稳健性、扩展性和实时性。识别性能评估是自动目标识别技术研究中极其重要的环节。
识别性能评估中存在多种类型的指标。各类指标反映评估对象不同侧面的特性。常用的评估指标主要包括混淆矩阵、概率型指标、基于接受者操作特征曲线(ROC曲线)的指标、数率型指标等。
混淆矩阵是一种被广泛使用的性能指标,其基本形式是由行和列构成的二维矩阵。矩阵中的元素通常用百分数或概率表示。混淆矩阵中行、列中对应目标类型的排列顺序一致,使得其对角线上单元格内的数据代表自动目标识别算法对各类型目标正确识别能力的高低,而非对角线上的数据表明不同目标之间相互混淆的概率(见表)。对角线单元格上的数目越大,则自动目标识别算法的性能越好;反之,则自动目标识别算法的性能越差。
类别 | 飞机类型1 | 飞机类型2 | 飞机类型3 |
飞机类型1 | 96.32% | 0% | 3.68% |
飞机类型2 | 0% | 95.96% | 4.04% |
飞机类型3 | 2.20% | 3.39% | 94.41% |
平均识别率 | 95.56% |
概率型指标反映自动目标识别过程中特定事件的发生概率。评估的出发点是用随机过程描述算法在特定测试集合上的性能表现,根据问题的实际背景构造反映算法识别性能的统计量,并将这些统计量作为评估算法的性能指标。已有的概率型指标有很多,如检测概率、虚警概率、识别率、错分率等。
ROC曲线最早出现在雷达目标检测领域,用于描述接收机检测概率和虚警概率之间的制约关系。后来曲线逐步应用于其他研究领域,如医学诊断、机器学习、数据挖掘、自动目标识别性能评估等。用于自动目标识别算法评估的ROC曲线指标有很多,最常用的是曲线下面积和平均度量距离。曲线下面积越大,自动目标识别系统的识别性能越好。
数率型指标是另一类对自动目标识别算法进行评估的常用指标,它是一类具有量纲的评估指标。典型例子就是美国空军研究实验室的COMPASE Center针对SAR ATR定义的虚警率(false alarm rate,FAR)。
此外,实时性和收敛速度也是评估识别性能的重要指标。实时性主要反映算法时延,决定了识别算法的工程实时应用性能。收敛速度表现为识别算法收敛的有效时间,决定了识别结果的有效置信时延。
扩展性,又称泛化能力,是指目标识别算法对新样本的学习适应能力。学习的目的是学习隐含在数据背后的规律,对具有同一规律的训练集外数据,识别算法也应给出合适的输出,该能力称为泛化能力。
在国民经济领域中,智能交通系统中的车辆检测和车型识别、自动驾驶技术中的环境感知均需要识别性能评估技术。空间技术领域中的空间目标监视和态势感知,以及国防领域中的敌方非合作目标分类识别的性能评估均依赖识别性能评估技术。