Предположение "наивного Байеса"

Проблема размерности

При поиске вероятности для объекта с n независимыми признаками возникает проблема высокой размерности:

$p(x)=p(x^{1},x^{2},\dots ,x^{D})=p(x^{1})p(x^{2}|x^{1})...p(x^{D}|x^{1},x^{2},...x^{D-1})$,

$x\in X,x=(x^{1},x^{2},...x^{D})$.

Проблема заключается в том, что, чтобы оценить вероятность, необходимо экспоненциальное относительно $D$ число наблюдений.

Предположение "наивного Байеса"

Для решения вышеуказанной проблемы может использоваться предположение "наивного Байеса", которое заключается в том, что признаки статистически взаимно независимы при условии класса:

$p(x|y)=p(x^{1}|y)p(x^{2}|y)...p(x^{D}|y)$.

При этом предположении принцип максимума апостериорной вероятности принимает вид:

${\hat {y}}=\mathrm {arg} \max _{y\in Y}p(y)p(x^{1}|y)p(x^{2}|y)...p(x^{D}|y)$.

Следует отметить, что признаки могут быть зависимы, но независимы при условии класса(пример этого есть в слайдах Китова, но он непонятный).

Примеры использования

• Гауссов классификатор
• Модель Бернулли
• Мультиномиальная модель

Ссылки

Лекции Китова, слайды 22-27

Лекции Воронцова, слайд 9

machinelearning.ru, начало