В распоряжении искусственных агентов имеется целый ряд сенсорных модальностей. К числу тех из них, которые являются общими и для людей, и для роботов, относятся зрение, слух и осязание. Проблема слухового восприятия, по крайней мере, в той части, которая касается восприятия речи, рассматривалась в разделе 15.6. Осязание, или тактильное восприятие, будет рассматриваться в главе 25, где речь идет о его использовании в сложнейших манипуляциях, выполняемых роботами, а остальная часть настоящей главы будет посвящена зрению. Некоторые роботы способны воспринимать модальности, не доступные людям, не пользующимся специальными приспособлениями, такие как радиоволны, инфракрасные лучи, сигналы глобальной системы навигации и определения положения (Global Positioning System — GPS) и другие беспроводные сигналы. Некоторые роботы осуществляют активное восприятие; это означает, что они посылают такие импульсные сигналы, как радарные или ультразвуковые, и принимают отражение этих импульсов от среды.

Существуют два способа, с помощью которых агент может использовать полученные им результаты восприятия. В подходе, основанном на извлечении характеристик, агенты распознают какое-то небольшое количество характеристик в полученных ими сенсорных входных данных и передают эти данные непосредственно в свою программу агента, которая может вырабатывать команды по осуществлению действий, представляющих собой реакцию на изменение этих характеристик, или применять эти данные в сочетании с другой информацией. По таком принципу действовал агент в мире вампуса, оборудованный пятью датчиками, каждый из которых извлекал информацию об одной однобитовой характеристике. Кроме того, недавно стало известно, что в нервной системе мухи извлекаются данные о характеристиках из оптического потока и эти данные направляются прямо на мускулы, которые помогают мухе управлять своим движением в воздухе, что дает ей возможность быстро реагировать и изменять направление полета в течение 30 миллисекунд.

Альтернативным этому подходу является подход на основе модели, в котором сенсорные стимулы используются для реконструкции модели мира. При этом подходе работа начинается с функции f, которая отображает состояние мира W на стимулы S, создаваемые этим миром: