Редактирование: Матрица ошибок (Confusion matrix)

== Матрица ошибок (confusion matrix) ==
Пусть дана выборка <math>x_i</math> (<math>i = 1, \dots, N</math>, <math>y_i</math> - метка класса i-го объекта, <math>y_i \in \{1, 2, \dots, C\}</math>), каждый объект которой относится к одному из <math>C</math> классов и классификатор <math>a</math>,  который эти классы предсказывает. Матрицей ошибок для такого классификатора называется следующая матрица: <math>M = \{m_{ij}\}_{i,j=0}^C, ~m_{ij} = \sum_{k = 0}^N\mathbb{I}[a(x_k) = j]\mathbb{I}[y_k = i]</math>.

Такая матрица показывает сколько объектов класса <math>i</math> были распознаны как объекты класса <math>j</math>.

== Случай бинарной классификации ==
{| class="article-table"
!
!<math>y = 1</math>
!<math>y = -1</math>
|-
|<math>a(x) = 1</math>
|TP
|FP
|-
|<math>a(x) = -1</math>
|FN
|TN
|}
В случае бинарной классификации метка класса <math>y</math> принимает значение <math>+1</math> (положительный класс) или <math>-1</math> (отрицательный). Вводятся 4 величины, соответствующие элементам матрицы ошибок:
* True positive (TP). <math>TP = \sum _{i = 0} ^n [a(x_i) = +1][y_i = +1]</math>
* True negative (TN). <math>TN = \sum _{i = 0} ^n [a(x_i) = -1][y_i = -1]</math>
* False positive (FP). <math>FP = \sum _{i = 0} ^n [a(x_i) = +1][y_i = -1]</math>
* False negative (FN). <math>FN = \sum _{i = 0} ^n [a(x_i) = -1][y_i = +1]</math>

P означает что '''классификатор''' определяет класс объекта как положительный (N - отрицательный). T - значит что класс предсказан правильно (соответственно N - неправильно).

'''Ахтунг!''' Не путать с [[Матрица штрафов (Сost matrix)|матрицей штрафов]].

== Точность, полнота, F мера. ==
accuracy <math> = \frac{TP + TN}{TP + FP + FN + TN}</math> 

precision <math> = \frac{TP}{TP + FP}</math>

recall <math> = \frac{TP}{TP + FN}</math>

<math>F = \frac{2 * precision * recall}{precision + recall}</math>

<nowiki>Литература:</nowiki>
* [http://www.machinelearning.ru/wiki/images/4/4b/Kitov-ML-eng-06-Classifier_evaluation.pdf Китов лекции по оценкам классификаторов (2-7 слайды)]