Лейбниц ввел "классическое" понятие вероятности как доли перечислимых, равновероятных случаев, которое использовалось также Бернулли, но полностью проанализировано Лапласом (1749—1827 гг.). Это понятие является противоречивым из-за наличия частотной и субъективной интерпретации. События могут рассматриваться как равновероятные либо из-за наличия естественной, физической симметрии между ними, либо просто из-за того, что мы не обладаем достаточными знаниями, которые позволили бы считать одно событие более вероятным, чем другое. Подход, предусматривающий использование последних, субъективных соображений, оправдывающих допустимость присваивания равных вероятностей, известен под названием принципа безразличия [792].

Споры между приверженцами объективного и субъективного подходов обострились в XX столетии. Колмогоров [827], Р.А. Фишер [473] и Ричард фон Мизес [1544] были сторонниками относительной частотной интерпретации. Приведенная в работе Карла Поппера [1228] (которая была вначале выпущена на немецком языке, в 1934 году) интерпретация "проявлений закономерностей" позволяет проследить истоки формирования относительных частот вплоть до основополагающих законов физической симметрии. Франк Рамсей [1265], Бруно де Финетти [342], Р.Т. Кокс [304], Леонард Сэведж [1354] и Ричард Джеффри [727] интерпретировали вероятности как степени уверенности конкретных лиц. Проводимый ими анализ степеней уверенности был тесно связан с полезностями и с поведением, а именно в этом направлении анализа оценивалась готовность субъекта делать те или иные ставки. Рудольф Карнап, последовав за Лейбницем и Лапласом, предложил субъективную интерпретацию вероятности другого рода — не как определенной степени уверенности конкретного лица, а как степень уверенности, которую должна иметь идеализированная личность в отношении истинности конкретного высказывания а, если дан конкретный ряд свидетельств е. Карнап попытался продвинуться дальше Лейбница или Лапласа, сформулировав понятие степени подтверждения математически точно, как логического отношения между а и е. Исследования этого отношения имели своей целью создание математической дисциплины, которая была названа индуктивной логикой по аналогии с обычной дедуктивной логикой [224], [225]. Карнап не смог далеко расширить свою индуктивную логику за пределы пропозиционального случая, а Хилари Патнем [1247] показала, что некоторые фундаментальные сложности послужили бы препятствием при создании строгих расширений языков, способных выражать арифметические соотношения.