Главная arrow книги arrow Копия Глава 20. Статистические методы обучения arrow Ядерные машины
Ядерные машины

Последнее важное свойство оптимального разделителя, определяемого этим уравнением, заключается в том, что веса ai, связанные с каждой точкой данных, являются нулевыми, кроме тех точек, которые являются ближайшими к разделителю; эти точки называются поддерживающими векторами (они получили такое название потому, что на них как бы "опирается" разделяющая гиперплоскость). Поскольку количество поддерживающих векторов обычно намного меньше, чем количество точек данных, результирующее количество параметров, определяющих оптимальный разделитель, также намного меньше, чем N

Итак, обычно не стоит рассчитывать на то, что удастся найти линейный разделитель в пространстве входов х, но легко показать, что можно найти линейные разделители в многомерном пространстве характеристик F(x), просто заменяя точечное произведениев уравнении 20.17 произведением. В этой операции, отдельно взятой, нет ничего необычного (поскольку требуемый эффект может быть достигнут путем замены x на F(x) в любом алгоритме обучения), но точечное произведение обладает некоторыми особыми свойствами. Как оказалось, значение часто можно вычислить без предварительного вычисления характеристики F для каждой точки. В рассматриваемом трехмерном пространстве, определяемом уравнением 20.16, с помощью несложных алгебраических преобразований можно показать, что справедливо следующее соотношение:

Выражение называется ядерной функцией и обычно записывается как . В контексте проблематики ядерных машин под этим подразумевается любая функция, которая может быть применена к парам выходных данных для вычисления точечных произведений в некотором соответствующем пространстве характеристик. Таким образом, утверждение, приведенное в начале данного абзаца, можно сформулировать следующим образом: линейные разделители в многомерном пространстве характеристик F(x) можно найти, заменив выражениев уравнении 20.17 ядерной функцией. Таким образом, может быть организовано обучение в многомерном пространстве, но для этого придется вычислять только значения ядерных функций, а не значения полного списка характеристик для каждой точки данных.