Машинное обучение вики
Advertisement

Идея[]

Использование весов для прецедентов с целью снижения влияния "выбросов" в выборке при настройке модели.

Условные обозначения[]

Сергей Иванов: В будущем условные обозначения, принятые во всём курсе, надо перенести в статью по машинному обучению в целом - а то как-то громоздко, оставить здесь только то, что специфично для Робастной регрессии.

— число объектов в выборке;

— размер признакового пространства;

— выборка, ;

— вес -го объекта в выборке, ;

— размер вектора параметров модели;

функция потерь ;

настраиваемая модель ;

регуляризация ;

— убывающая функция ;

— вектора параметров модели , .

Алгоритм[]

Описание:[]

  • Инициализация весов:
  • Повторение, пока не выполнено условие останова:
    • Для каждого :
    • Для каждого :

Условие останова:[]

  • цикл выполнился заданное число раз;
  • выполнилось условие сходимости параметров модели.

Суть процесса:[]

На каждой итерации внешнего цикла происходит настройка модели (поиск ). Перед циклом веса объектов были инициализированы одинаково (равны ). В двух вложенных во внешний цикл циклах содержится реализация идеи использования весов прецедентов с целью снижения влияния "выбросов" в процессе настройки модели. Чем больше значение , тем больше объект похож на выброс. Из убывания функции следует, что объекты-выбросы будут иметь вес меньше, чем у других объектов выборки. Поэтому большие значения функции потерь на объектах-выбросах будут скомпенсированы небольшими весами у этих объектов в минимизируемом функционале. В результате, в процессе поиска параметров модели влияние "выбросов" будет уменьшаться при очередном поиске . С помощью нормировки веса объектов-выбросов будут приближены к 0. Обычно достаточно повторить внешний цикл заданное число раз, например 8.

Ссылки[]

Advertisement