Машинное обучение вики
Advertisement
DANGER! Это место вызывает
сомнения или непонимание!

В комментах говорят об ошибках в терминологии - надо разобраться, что именно называется Impurity function

Hard.png

Критерий информативности (или критерий "перемешанности" классов, Impurity function) - эвристика того, насколько классы перемешаны в некотором подмножестве выборки. Используется для нахождения оптимального разбиения в узлах решающих деревьев.

Формальное определение[]

, где - априорная вероятность встретить объект класса в (то есть количество объектов обучающей выборки с метками класса , попавших в , поделённое на общее количество объектов в ).

Свойства Impurity function как функции от :[]

  • минимум в
  • максимум в

Примеры Impurity function[]

Для регрессии[]

  • MSE
  • MAE

Для классификации[]

Ошибка классификации[]

Интерпретация: частота ошибок при классификации наиболее мощным классом.

Энтропия[]

Интерпретация: мера неопределённости случайной величины.

Критерий Джини[]

Интерпретация: вероятностьь ни

правильной классификации, если предсказывать классы с вероятностями их появления в этом узле

Advertisement