Машинное обучение вики
Advertisement
SVM.png
Эта статья нуждается в структуризации!


Вы можете помочь, кластеризовав информацию в этой статье.
Возможно, следует разбить её на разделы или на несколько статей.

Минимизация эмпирического риска[]

. Обучающие объекты и ответы на них независимо выбираются из некоторого распределения :

Необходимо минимизировать функционал:


То есть найти вектор весов, такой что:

Метод максимального правдоподобия[]

 

Но, так как величины независимы.

  (либо плотности, если величины абсолютно непрерывны)

То есть

Поэтому для связи эмпирического риска и метода максимального правдоподобия возьмем

Если добавим регуляризатор[]

- Обучающая выборка, где , - случайная величина с априорной вероятностью. Тогда Функционал :

Рассмотрим

DANGER! Это место вызывает
сомнения или непонимание!

что тут происходит?

Hard.png

Поэтому

То есть РЕГУЛЯРИЗАЦИЯ РАВНА

Вероятностная модель, соответствующая L1, L2 регуляризации[]

Пусть случайная величина ,где

Тогда

Поэтому

Рассмотрим распределение Лапласа :

Пруфы[]

Лекции Китова, слайды 32-34

Конспект

Advertisement