Оценки классификаторов

Это незавершённая статья Автор, вероятно, переобучился и отправился спать. Вы можете помочь, экстраполировав местную информацию.

Везде ниже $x$ — элемент выборки, $y$ — метка класса, $a(x)$ — классификатор.

Также $TP, FP, FN, TN$ — значения матрицы ошибок бинарной классификации.

Доля правильно классифицированных объектов (accuracy)

Accuracy — самая простая оценка классификации:

$Accuracy(a) = \frac{\sum _{i=1}^N \mathbb{I}[a(x_i) = y_i]}{N} = \frac{TP + TN}{TP+TN+FP+FN}$.

по сути это вероятность того, что класс будет предсказан правильно.

Например, если мы ловим сумасшедших, accuracy показывает долю правильных диагнозов.

• Работает для многоклассовой классификации.
• Плохо работает при высокой априорной вероятности у одного из классов. В таком случае константное предсказание может давать высокое значение accuracy (равное этой априорной вероятности).

Точность (Precision)

$Precision(a) = \frac{TP}{TP+FP}$.

Точность показывает какую долю объектов, распознанных как объекты положительного класса, мы предсказали верно.

На примере: точность — это сколько из пойманных нами и посаженных в психушку людей реально сумасшедшие.

• Только бинарная классификация
• Не зависит от априорной вероятности положительного класса.

Полнота (Recall)

$Recall(a) = \frac{TP}{TP+FN}$.

Полнота показывает, какую долю объектов, реально относящихся к положительному классу, мы предсказали верно.

На примере: полнота — это сколько из сумасшедших людей, которых мы проверили, мы посадили в психушку.

• Только бинарная классификация
• Не зависит от априорной вероятности положительного класса.

F-мера

Точность и полнота хорошо оценивают качество классификатора для задач со смещенной априорной вероятностью, но если мы обучили модель с высокой точностью, то может случиться так, что полнота у такого классификатора низкая и наоборот. Чтобы связать точность с полнотой вводят F-меру как среднее гармоническое точности и полноты:

$Fmeasure = \frac{2 Precision \cdot Recall}{Precision + Recall}$

В некоторых задачах одна метрика важнее другой (например при выдаче поисковых запросов полнота важнее точности, неинтересные страницы мы можем сами пропустить, а вот если поисковик пропустит несколько страниц то мы можем остаться без каких то важных деталей). Для установления важности конкретной метрики мы рассматриваем параметрическую F-меру:

$Fmeasure_{\beta} = \frac {(1 + \beta^2) Precision \cdot Recall}{\beta^2 Precision + Recall}$.

Где $\beta \in [0, \infty)$, при $\beta=0$ получаем точность, при $\beta=1$ — непараметрическую F-меру, при $\beta = \infty$ — полноту.

Кросс-энтропия

это доп фича, так что пока мне лень ее расписывать.

Оценивание качества предсказания вероятностей

добавить инфы с 10-го слайда лекций Китова

Для классификатора оценивающего вероятность $\hat{p}(y|x)$ принадлежности объекта $x$ к классу $y$ вводятся следующие оценки качества предсказания:

Правдоподобие (propability likelyhood):

$Likelyhood(\hat{p}) = \prod _{n=1} ^N \hat{p}(y_n|x_n)$

Brier score:

$BS = \frac{1}{N} \sum _{n = 1} ^N \sum _{c = 1} ^C (\mathbb{I}[y_n = c] - \hat{p}(y=c|x_n))^2$

AUC-ROC также оценивает качество предсказания вероятности.

True positive rate и False positive rate

Вынесено в отдельную статью.

AUC-ROC

Вынесено в отдельную статью.