Хенрик Бринк

Цель машинного обучения — обнаружение закономерностей и взаимо­связей в данных и практическое применение полученной информации.

одной задаче — оценить функциональное соотношение между входными признаками и целевой переменной.

Простейшим примером параметрического подхода является линейная регрессия. В этом случае предполагается, что f представляет собой линейную комбинацию числовых значений входных параметров.

Модели с машинным обучением делятся на два основных типа — параметрические и непараметрические. Их основное отличие состоит в том, что в первом случае f принимает вид конкретной функции, в то время как непараметрические модели не имеют столь строгих ограничений. Соответственно, параметрические подходы, как правило, просты и интерпретируемы, но менее точны. Верно и обратное: непараметрические подходы обычно менее интерпретируемы, но дают более точные решения для широкого спектра задач.

распространенных параметрических моделей можно вспомнить также логистическую регрессию, полиномиальную регрессию, линейный дискриминантный анализ, квадратичный дискриминантный анализ, (параметрические) модели смесей и наивный байесовский классификатор (когда используется параметрическая оценка функции плотности). Для выбора параметрической модели часто используются такие подходы, как метод регуляризации Тихонова, лассо и регрессия на главные компоненты.

Недостатком параметрических подходов являются слишком сильные допущения о виде функции f.

непараметрических моделях f не имеет простой фиксированной формы. Форма и сложность этой функции регулируются сложностью данных.

дерево классификации (classification tree). Это набор рекурсивных двоичных решений на базе входных признаков. Алгоритм обучения в этом случае использует целевую переменную для того, чтобы узнать оптимальный набор расщеплений, при котором в конечных листьях появляются экземпляры со сходным значением целевой переменной.

Деревья классификации — непараметрический алгоритм, так как глубина и сложность дерева изначально неизвестны, они определяются самими данными. В случае сложной взаимосвязи между целевой переменной и входными признаками и достаточного количества данных дерево будет расти вглубь, обнаруживая более детализированные шаблоны.

Другие примеры непараметрических подходов к машинному обучению включают в себя метод k-ближайших соседей, сплайны, основные методы разложения, ядерное сглаживание, обобщенные аддитивные модели, нейронные сети, бэггинг, бустинг, «случайные леса» и метод опорных векторов.