Машинное обучение вики
Advertisement
Добавьте ссылок.png
Эта статья плохо повышает индекс цитируемости
авторов других статей этой вики.


Вы можете помочь, добавив навигационные ссылки.

SVM.png
Эта статья нуждается в структуризации!


Вы можете помочь, кластеризовав информацию в этой статье.
Возможно, следует разбить её на разделы или на несколько статей.

Рассмотрим задачу бинарной классификации. Пусть — бинарные классификаторы, решающие данную задачу.

Введём случайные величины ошибся (допустим, смогли задать соответствующее вероятностное пространство). . Пусть независимые. Введём , тогда .

Пусть ансамбль из , построенный по принципу простого голосования (голосование по большинству). Тогда нетрудно заметить, что ошибается тогда и только тогда, когда . Вероятность ошибки равна .

Рассмотрим случай сколь угодно большого числа независимых классификаторов . При стремлении к бесконечности значение будет стремиться к нулю, то есть распределение будет стремиться к вырожденному. Так как , то при бесконечном увеличении вероятность ошибки будет стремиться к нулю, если .

Таким образом, при построении ансамбля простым голосованием счётного числа независимых классификаторов возможно построение идеального классификатора.

Advertisement