Машинное обучение вики
Advertisement
Sleep.png
Это незавершённая статья
Автор, вероятно, переобучился и отправился спать.
Вы можете помочь, экстраполировав местную информацию.

Везде ниже — элемент выборки, — метка класса, — классификатор.

Также — значения матрицы ошибок бинарной классификации.

Доля правильно классифицированных объектов (accuracy)[]

Accuracy — самая простая оценка классификации:

.

по сути это вероятность того, что класс будет предсказан правильно.

Например, если мы ловим сумасшедших, accuracy показывает долю правильных диагнозов.

  • Работает для многоклассовой классификации.
  • Плохо работает при высокой априорной вероятности у одного из классов. В таком случае константное предсказание может давать высокое значение accuracy (равное этой априорной вероятности).

Точность (Precision)[]

.

Точность показывает какую долю объектов, распознанных как объекты положительного класса, мы предсказали верно.

На примере: точность — это сколько из пойманных нами и посаженных в психушку людей реально сумасшедшие.

  • Только бинарная классификация
  • Не зависит от априорной вероятности положительного класса.

Полнота (Recall)[]

.

Полнота показывает, какую долю объектов, реально относящихся к положительному классу, мы предсказали верно.

На примере: полнота — это сколько из сумасшедших людей, которых мы проверили, мы посадили в психушку.

  • Только бинарная классификация
  • Не зависит от априорной вероятности положительного класса.

F-мера[]

Точность и полнота хорошо оценивают качество классификатора для задач со смещенной априорной вероятностью, но если мы обучили модель с высокой точностью, то может случиться так, что полнота у такого классификатора низкая и наоборот. Чтобы связать точность с полнотой вводят F-меру как среднее гармоническое точности и полноты:

В некоторых задачах одна метрика важнее другой (например при выдаче поисковых запросов полнота важнее точности, неинтересные страницы мы можем сами пропустить, а вот если поисковик пропустит несколько страниц то мы можем остаться без каких то важных деталей). Для установления важности конкретной метрики мы рассматриваем параметрическую F-меру:

.

Где , при получаем точность, при — непараметрическую F-меру, при — полноту.

Кросс-энтропия[]

Todo.png

это доп фича, так что пока мне лень ее расписывать.

Оценивание качества предсказания вероятностей[]

Todo.png

добавить инфы с 10-го слайда лекций Китова

Для классификатора оценивающего вероятность принадлежности объекта к классу вводятся следующие оценки качества предсказания:

Правдоподобие (propability likelyhood):

Brier score:

AUC-ROC также оценивает качество предсказания вероятности.

True positive rate и False positive rate[]

Вынесено в отдельную статью.

AUC-ROC[]

Вынесено в отдельную статью.

Advertisement