Регуляризация

Эта статья плохо повышает индекс цитируемости авторов других статей этой вики. Вы можете помочь, добавив навигационные ссылки.

добавить вероятностную модель, соответствующую регуляризации

Регуляризация — способ предотвратить переобучение модели.

Виды регуляризации

Часто регуляризация представляет собой просто некоторую добавку $R(w)$ (где $w$ — параметры модели) к функции потерь $L(f(x, w), y)$ так что задача приобретает вид:

$\min_{\displaystyle w} \sum_{i=1}^N L(f(x_i, w), y_i)) + \lambda R(w)$

Часто используемые $R(w)$:

• L2 регуляризация — $R(w) = ||w||_2^2 = \sum_{i=1}^d {w_i}^2$
• L1 регуляризация — $R(w) = ||w||_1 = \sum_{i=1}^d |w_i|$
• ElasticNet регуляризация — $R(w) = \lambda_1 ||w||_2^2 + \lambda_2 ||w||_1$

Отбор признаков

Предположим, что перед нами стоит задача линейной регрессии с L1 регуляризацией (lasso regression):

• $f(x, w) = w^Tx + w_0$
• $L(w) = \min_{\displaystyle w} \sum_{i=1}^N (w^Tx_i + w_0 - y_i)^2 + \lambda ||w||_1$

L1 регуляризация приведет к занулению весов некоторых признаков так как градиент равен: $\nabla_w L(w) = \sum_{i=1}^N 2x_i^T (w^Tx_i + w_0 - y_i) + \lambda sign(w)$ Соответственно при достаточно большом $\lambda$ некоторые признаки обязательно обнулятся. Тогда отбираются те признаки, при которых вес не равен нулю. Также есть объяснение в Бишопе на странице 145-146.