Машинное обучение вики
Advertisement
Добавьте ссылок.png
Эта статья плохо повышает индекс цитируемости
авторов других статей этой вики.


Вы можете помочь, добавив навигационные ссылки.

Todo.png

добавить вероятностную модель, соответствующую регуляризации

Регуляризация — способ предотвратить переобучение модели.

Виды регуляризации[]

Часто регуляризация представляет собой просто некоторую добавку (где — параметры модели) к функции потерь так что задача приобретает вид:

Часто используемые :

  • L2 регуляризация —
  • L1 регуляризация —
  • ElasticNet регуляризация —

Отбор признаков[]

Предположим, что перед нами стоит задача линейной регрессии с L1 регуляризацией (lasso regression):

L1 регуляризация приведет к занулению весов некоторых признаков так как градиент равен: Соответственно при достаточно большом некоторые признаки обязательно обнулятся. Тогда отбираются те признаки, при которых вес не равен нулю. Также есть объяснение в Бишопе на странице 145-146.

Advertisement