Функции потерь в задачах бинарной классификации[править | править код]

В задачах классификации наиболее естественным выбором является пороговая функция потерь Такая функция потерь разрывна, минимизация эмпирического риска оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации.

Непрерывные аппроксимации.png

Здесь отступ для классификатора.

В задачах регрессии наиболее типичным выбором является квадратичная функция потерь (MSE)

Также бывают:

  • MAE:
  • MRE:

Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации.

Основной недостаток — явление переобучения.

Функции потерь, порождающие оптимальные веса, зависящие от части выборки[править | править код]

Такой является кусочно-линейная функция потерь (или hinge loss). Она просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в SVM можно также переписать, используя hinge loss.

Источники:

http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B8%D0%BD%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D1%8D%D0%BC%D0%BF%D0%B8%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D1%80%D0%B8%D1%81%D0%BA%D0%B0

http://www.machinelearning.ru/wiki/images/6/68/voron-ML-Lin.pdf

https://en.wikipedia.org/wiki/Loss_functions_for_classification

Материалы сообщества доступны в соответствии с условиями лицензии CC-BY-SA, если не указано иное.