Машинное обучение вики
Advertisement
Sleep.png
Это незавершённая статья
Автор, вероятно, переобучился и отправился спать.
Вы можете помочь, экстраполировав местную информацию.

Линейный классификатор[]

Линейный классификатор — алгоритм классификации, основанный на построении линейной разделяющей поверхности. Иными словами, это такой классификатор, дискриминантная функция которого линейна. В случае двух классов разделяющей поверхностью является гиперплоскость, которая делит пространство признаков на два полупространства. В случае большего числа классов разделяющая поверхность кусочно-линейна (как сумма выпуклых функций, которая тоже является выпуклой функцией).

Бинарная классификация[]

Пусть объект задается признаками, то есть представим в виде вектора , — метка класса для объекта (). Тогда линейным классификатором для разделяющей плоскости, заданной в пространстве признаков нормалью и скаляром будет следующий классификатор:

DANGER! Это место вызывает
сомнения или непонимание!

Может, +w0? Неважно, конечно, но выглядит странно
У Китова вроде всегда брали с плюсом и 1 как доп.признак. ---абсолютно по барабану, +1 или -1, при обучении просто параметр w0 будет принимать разные по знаку значения (Костя)

Hard.png

.

Зачастую вводится дополнительный признак равный , так, что , а в качестве берется вектор . Тогда тот же классификатор можно представить в более компактном виде:

.

Многоклассовая классификация[]

Для случая нескольких классов (, где — множество всех меток классов) вводится плоскостей, а классификатор определяется так:

.

Где — матрица, состоящая из векторов ().

По факту — это вектор, задающий разделяющую плоскость между классом с меткой и всеми остальными, при классификации алгоритм выбирает тот класс, принадлежность объекта к которому наиболее вероятна (то есть максимизирует отступ для этого объекта).

для бинарной классификации и для многоклассовой подбираются по принципу минимизации эмпирического риска.

Advertisement