Метод обучения с максимальным правдоподобием может стать основой некоторых очень простых процедур, но обнаруживает определенные серьезные недостатки при работе с небольшими наборами данных. Например, после обнаружения одного вишневого леденца в этом методе вырабатывается гипотеза с максимальным правдоподобием, что данный пакет на 100% состоит из вишневых леденцов (т.е. θ=1. 0). Но если только принятое распределение априорных вероятностей гипотезы не сводится к тому, что в пакетах должны находиться лишь одни вишневые леденцы либо исключительно лимонные леденцы, то такое заключение является необоснованным. В байесовском подходе к обучению параметрам распределению априорных вероятностей гипотезы дается предпочтение над возможными значениями параметров, а само распределение обновляется по мере поступления данных.

В примере с конфетами, приведенном на рис. 20.2, я, имеется только один параметр, Θ, — вероятность того, что случайно выбранная конфета относится к разновидности вишневых леденцов. С точки зрения байесовского подхода θ представляет собой (неизвестное) значение случайной переменной Θ; распределение априорных вероятностей гипотезы представляет собой распределение априорных вероятностей Ρ (Θ). Таким образом, Ρ(Θ=θ) — это априорная вероятность того, что в пакете имеется доля θ вишневых леденцов.

Если параметр θ может иметь любое значение от 0 до 1, то Ρ (Θ) должно представлять собой непрерывное распределение, которое является ненулевым только между 0 и 1 и интеграл которого равен 1. Одним из потенциальных распределений, пригодных для этой роли, является распределение с равномерной плотностью Р(θ)=U7[0,1] (θ) (см. главу 13). Как оказалось, распределение с равномерной плотностью является членом семейства бета-распределений. Каждое бета-распределение определяется двумя гиперпараметрами, а и b, такими, что справедливо следующее соотношение для θ в диапазоне значений [0,1]:

(20.6)

<< В начало < Предыдущая 1 2 3 Следующая > В конец >>