Отступ (для классификатора)

Отступ (для классификатора) — эвристика, оценивающая то, насколько объект "погружён" в свой класс, насколько эталонным представителем он является. Чем меньше значение отступа, тем ближе объект находится к границе класса, соответственно тем выше вероятность ошибочного прогноза.

Отступ отрицателен $\Leftrightarrow$ классификатор допускает на этом объекте ошибку.

Формальное определение (для линейных классификаторов)

Бинарный случай ($\mathbb{Y} = \left\{-1, 1\right\}$)

$M(x_i, y_i) = y_i\langle x_i, w \rangle$

Многоклассовый случай

$M(x_i, y_i) = \langle x_i, w_{y_i}\rangle - \max_{y \in \mathbb{Y}, y \ne y_i} \langle x_i, w_y\rangle$,

$y_i$ — истинный класс объекта $x_i$.

Через дискриминантные функции

$g_{c}(x)$ — С дискриминантная функция, характеризующая принадлежность объекта классу. Тогда

$M(x_i, c_i) = g_{c_i}(x_i) - \underset{c \in C \backslash \{c_i\}}{\max} g_c(x_i)$.

Формальное определение (kNN)

Зададим $g_{c}(x)=\sum_{i=1}^{K}\mathbb{I}[a_i \in c]$, где $a_i$ — ближайший сосед объекта $x$.

$M(x_i, c_i) = g_{c_i}(x_i) - \underset{c \in C \backslash \{c_i\}}{\max} g_c(x_i)$,

где $c_i \in \{1, 2, \dots, C\}$ — правильный класс для объекта $x_i$.

Классификация объектов в зависимости от отступа

Отрицательный отступ означает, что объект классифицирован неправильно, положительный — правильно. Модуль отступа показывает, насколько классификатор был "уверен" в ответе.

Выбросы — объекты, классифицируемые неправильно, с большим отрицательным значением отступа.

Пограничные объекты — объекты с малым по модулю отступом.

Типичные объекты — объекты, которые правильно классифицированы, с большим значением оступа.

Эталоны — объекты с наибольшим значением отступа.

Пороги определяются отдельно в каждом конкретном случае.

Источники

Лекции Китова, слайд 38

Книжка Воронцова, страница 47