В рамках теории вычислительного обучения был создан новый способ трактовки проблемы обучения. В начале 1960-х годов разработки в области теории обучения сосредоточивались в основном на проблеме успешной идентификации в пределе. В соответствии с этим понятием любой алгоритм идентификации должен возвращать гипотезу, которая точно совпадает с истинной функцией. Один из способов решения этой задачи состоит в следующем: вначале упорядочить все гипотезы в множестве н в соответствии с некоторым критерием простоты, затем выбрать простейшую гипотезу, совместимую со всеми полученными до сих пор примерами. По мере получения новых примеров в этом методе предусмотрен отказ от более простой гипотезы, которая стала недействительной, и принятие вместо нее более сложной гипотезы. Но после того как достигается истинная функция, от нее никогда не происходит отказ. К сожалению, в больших пространствах гипотез количество примеров и продолжительность вычислений, необходимая для достижения истинной функции, становятся колоссальными. Поэтому теория вычислительного обучения не определяет безусловного требования, чтобы обучающийся агент определил "единственный истинный закон", руководящий его средой, а вместо этого допускает, чтобы он нашел гипотезу с определенной степенью прогностической точности. Кроме того, в теории вычислительного обучения большое внимание уделяется выявлению компромисса между выразительностью языка гипотез и сложностью обучения, поэтому развитие этой теории непосредственно привело к созданию важного класса обучающих алгоритмов, получившего название машин поддерживающих векторов (support vector machine).