Машинное обучение вики
Advertisement

Функции потерь в задачах бинарной классификации[]

В задачах классификации наиболее естественным выбором является пороговая функция потерь Такая функция потерь разрывна, минимизация эмпирического риска оказывается сложной задачей комбинаторной оптимизации. Поэтому используются всевозможные их непрерывные аппроксимации.

Непрерывные аппроксимации.png

Здесь отступ для классификатора.

В задачах регрессии наиболее типичным выбором является квадратичная функция потерь (MSE)

Также бывают:

  • MAE:
  • MRE:

Основное достоинство метода: это конструктивный и универсальный подход, позволяющий сводить задачу обучения к задачам численной оптимизации.

Основной недостаток — явление переобучения.

Функции потерь, порождающие оптимальные веса, зависящие от части выборки[]

Такой является кусочно-линейная функция потерь (или hinge loss). Она просто зануляется на тех объектах, которые достаточно далеко от разделяющей поверхности. Задачу оптимизации в SVM можно также переписать, используя hinge loss.

Источники:

http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B8%D0%BD%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D1%8D%D0%BC%D0%BF%D0%B8%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D1%80%D0%B8%D1%81%D0%BA%D0%B0

http://www.machinelearning.ru/wiki/images/6/68/voron-ML-Lin.pdf

https://en.wikipedia.org/wiki/Loss_functions_for_classification

Advertisement